Metody zpracování přirozeného jazyka pro analýzu recenzí

Abstract

Tato práce testuje klasické NLP metody k získání nových indikací nebo vedlejších účinků molekul (léků) z jejich uživatelských recenzí. Prvně je vytvořen dataset, ze dvou webových stránek, který obsahuje názvy léků, uživatelské recenze a již zmapované indikace a vedlejší účinky. Poté je proveden clustering, který spojí podobné indikace nebo vedlejší účinky na základě kosinové podobnosti vektorů získaných z modelu SBERT. Představeny jsou čtyři přístupy: two-tower model, zero/few-shot prompting a fine-tuning jazykového modelu, na kterém je potom zero/few-shot prompting proveden znova. Nakonec je zadefinována ztrátová funkce a jsou zevaluovány výstupy jednotlivých přístupů. Ukázal jsem, že generativní přístupy dosáhly lepších výsledků než two-tower model.

This thesis tests the classic NLP methods for obtaining new indications or side effects of molecules (drugs) from their user reviews. Firstly, the dataset from two websites is made. This dataset contains names of molecules, user reviews, and well-known indications and side effects. The clustering is then performed to combine similar indications or side effects based on the cosine similarity of vectors obtained from the SBERT. Four approaches are presented: the two-tower model, the zero/few-shot prompting, and the supervised fine-tuning of the large language model on which the zero/few-shot prompting is performed again. Ultimately, the loss function is defined, and different approaches are evaluated. I have shown that the generative approaches achieved better results than the two-tower model.