Study on using language models in storytelling games

Studie využití jazykových modelů v příběhových hrách

Supervisors

Reviewers

Editors

Other contributors

Journal Title

Journal ISSN

Volume Title

Publisher

České vysoké učení technické v Praze
Czech Technical University in Prague

Research Projects

Organizational Units

Journal Issue

Abstract

Tato práce se zabývá využitím velkých jazykových modelů k vyprávění herních příběhu prostřednictvím nehráčských postav. Nejmodernější postupy využívání velkých jazykových modelů umožňují s herními postavami volně komunikovat a využívat je k vyprávění konzistentního a koherentního příběhu. V práci jsou analyzovány v současné době nejlépe hodnocené velké jazykové modely, techniky jejich využití v praxi a kritéria jejich hodnocení. Součástí rešerše jsou i tradiční postupy pro tvorbu uvěřitelného příběhu a příběhových postav. Praktickým výsledkem práce je pak hratelný prototyp HaLLMark implementovaný v herním engine Unity. Prototyp slouží především k porovnávání velkých jazykových modelů z hlediska kvality generovaných příběhů a kvality zosobňování herních postav. Hratelný prototyp je přesně k tomuto účelu v průběhu testování využit k ohodnocení v současnosti nejvýkonnějších existujících velkých jazykových modelů. Prototyp HaLLMark však nezaostává ani z hlediska hratelnosti. Testery je chválen především neotřelý koncept hry a fakt, že velké jazykové modely jsou schopny se konzistentně držet jimi generovaného příběhu.

This diploma thesis aims to explore the use of large language models to tell game stories through non-player characters. State-of-the-art techniques for using large language models allow one to freely interact with the game characters and use them to tell consistent and coherent stories. This thesis analyses the currently best-rated large language models, the techniques for their use in practice and the criteria for their evaluation. The theoretical part also includes traditional practices for creating believable narratives and characters. The practical result of this thesis is a playable prototype named HaLLMark, which is implemented in the Unity game engine. The prototype's primary purpose is to compare large language models in terms of the quality of the generated stories and the quality of the impersonation of the game characters. The playable prototype is then used for this exact purpose during testing to evaluate the currently best-performing existing large language models. The HaLLMark prototype does not lag behind from a gameplay perspective. Testers especially praised the novel concept of the game and the fact that the large language models are able to stick to the story they generate consistently.

Description

Citation

Endorsement

Review

Supplemented By

Referenced By