Využití LLM modelů pro zkoumání vlastností léčiv

Abstract

Velké jazykové modely (LLM modely) nabízejí efektivní způsob zpracovávání textu. V této práci ukážeme možná využití těchto modelů ve farmaceutickém odvětví. Nejprve poskytneme stručný přehled historie zpracování přirozeného jazyka, vysvětlíme klíčové koncepty LLM modelů a porovnáme některé populární modely. Dále představíme klíčové otázky týkající se lékových letáků a popíšeme současná řešení se zaměřením na LLM modely. Na základě metod popsaných ve studii PharmBERT natrénujeme vlastní model specializovaný na farmaceutický jazyk a ukážeme, jak si vede na úloze extrakce interakcí léčiv. Výsledky porovnáme s dalšími BERT modely (BERT, BioBERT, ClinicalBERT), abychom posoudili přínos doménově specifického trénování a zaměnitelnost našeho modelu s ostatními. Výsledky také porovnáme s těmi z původní studie. Nakonec natrénujeme samostatný model na datech z evropských lékových letáků a pokusíme se zjistit, zda je rozdíl mezi farmaceutickým jazykem používaným v evropských a amerických letácích.

Large language models (LLMs) provide an efficient way of processing text. This work will demonstrate how LLMs can be utilised within the pharmaceutical industry. First, we will provide an overview of the history of natural language processing, explain the key concepts behind LLMs, and compare some of the most popular models. Next, we will present the key problems of drug labelling and describe current solutions, focusing on LLMs. Based on the methods described in PharmBERT, we will train a model specialised for pharmaceutical language and show how it performs in the drug-drug interaction extraction task. We will compare its performance with other BERT-based models (BERT, BioBERT, ClinicalBERT) to assess the benefits of domain-specific training and the substitutability of our model with others. We will also compare our results to the original work. Finally, we will train a separate version of the model on data from EU drug labels and determine whether there is any difference between the language used in the EU and the US drug labels.