Zkvalitňování fakticity generovaných sumarizací
Improving Facticity of Summarization Methods
Typ dokumentu
diplomová prácemaster thesis
Autor
Václav Halama
Vedoucí práce
Drchal Jan
Oponent práce
Šír Gustav
Studijní obor
Umělá inteligenceStudijní program
Otevřená informatikaInstituce přidělující hodnost
katedra počítačůPráva
A university thesis is a work protected by the Copyright Act. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one?s own expense. The use of thesis should be in compliance with the Copyright Act http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf and the citation ethics http://knihovny.cvut.cz/vychova/vskp.htmlVysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem http://www.mkcr.cz/assets/autorske-pravo/01-3982006.pdf a citační etikou http://knihovny.cvut.cz/vychova/vskp.html
Metadata
Zobrazit celý záznamAbstrakt
Tato práce se zabývá abstraktivní a extraktivní sumarizací textu s důrazem na zlepšení faktické kvality generovaných sumarizací. Byly prozkoumány moderní sumarizační metody a metriky na posouzení kvality sumarizací a byla navržena nová metrika na vyhodnocení fakticity nazvaná BERTSource. Extraktivní modely založené na modelu XLM-R byly trénovány tak, aby optimalizovaly metriku ROUGE a BERTScore, díky čemuž překonaly předchozí extraktivní metody. Kromě toho byl vyvinut přepisovací model pro zvýšení plynulosti extraktivních sumarizací. Kombinací extraktivních modelů a přepisovacího byly vytvořeny dva nové abstraktivní modely, které dále zlepšily ROUGE a BERTScore. Plně abstraktní modely byly trénovány pomocí nové metody nazvané BRIO, která podněcuje model k tomu, aby preferoval sumarizace vyšší kvality, přičemž bylo použito několik metrik pro měření kvality. Lidské vyhodnocení ukázalo, že ačkoli kombinované modely dosahují nejlepších výsledků ve faktické kvalitě, není dosaženo zlepšení oproti současným metodám. Modely založené na metodě BRIO v lidském hodnocení dosáhly nejhorších výsledků, přestože v automatickém vyhodnocení překonaly všechny předchozí metody. Tato práce upozorňuje na omezení současných automatických metrik a poukazuje na potřebu vyvinout nové metriky pro přesné vyhodnocení faktické kvality generovaných sumarizací. Ačkoli nebylo dosaženo zlepšení ve faktičnosti, tato práce přináší cenné poznatky pro budoucí výzkum. This thesis explores the field of abstractive and extractive text summarization, focusing on improving the factual consistency of generated summaries. State-of-the-art methods and evaluation measures are reviewed, and a novel facticity evaluation metric called BERTSource is proposed. Extractive models based on the XLM-R model are trained to optimize ROUGE and BERTScore scores, outperforming previous extractive methods. Additionally, a rewriting model is developed to enhance the fluency of extractive summaries. Two different abstractive models were created by combining the extractive and rewrite models, further improving ROUGE and BERTScore metrics performance. Our fully abstractive models are trained using a novel training paradigm called BRIO, which encourages the model to prefer summaries of higher quality, with multiple quality measures considered. Human evaluation reveals that while the combined models perform best in factual quality, no improvement is achieved over existing methods. The BRIO-based models performed poorly in human evaluation, even though they outperformed all previous methods in automatic evaluation. This work highlights the limitations of current evaluation metrics and suggests the need for a new metric to assess the factual consistency of generated summaries accurately. Although improvements in facticity were not achieved, this work contributes valuable insights for future works.
Kolekce
- Diplomové práce - 13136 [833]