Využití sumarizace pro efektivní trénování jazykových modelů
Utilizing Summarized History for Efficient Language Model Training
Typ dokumentu
bakalářská prácebachelor thesis
Autor
Roman Tomchik
Vedoucí práce
Herel David
Oponent práce
Hůla Jan
Studijní obor
Základy umělé inteligence a počítačových vědStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra kybernetikyPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Efektivní trénink neuronových jazykových modelů často vyžaduje zpracování rozsáhlých kontextových oken, což může výrazně zvýšit výpočetní náklady. Tato práce zkoumá využití shrnutého historického kontextu jako dodatečného vstupu do modelů, s využitím automatizovaných technik shrnování k omezení nutnosti velkých kontextových oken a minimalizaci doby tréninku. Efficient training of neural language models often requires handling extensive Context Windows, which can significantly increase computational costs. This thesis investigates the use of summarized historical context as an additional input to models, leveraging automated summarization techniques to reduce the need for large context windows and minimize training time.
Kolekce
- Bakalářské práce - 13133 [854]