Relace deduktivního a induktivního odvozování v relačním učení

Abstract

Relační učení využívá predikátovou logiku prvního řádu pro reprezentaci dat i modelů. Neoddiskutovatelnou výhodou tohoto formalismu je snadné vysvětlení naučených modelů a možnost reprezentovat širokou paletu problémů, kterými jsou například toxicita molekul nebo doplňování znalostní báze. Na druhou stranu, tento formalismus také přináší jistá úskalí a to zejména v případech aplikování predikátových logických hypotéz. Jejich samotné hledá je náročné kvůli velikému prostoru logických formulí, které plyne z predikátové logiky. Použití hypotéz ve formě predikátové logiky na reálných datech je těžký úkol sám o sobě, protože taková data často obsahují šum a vedou k ne zcela přesným hypotézám.Tato práce cílí na dva výše zmíněné problémy. Zaměřuje se na prořezávání prostoru sentencí ve dvou oddělených úlohách. Cílem první úlohy je generování celočíselných sekvencích, které mohou být popsány pomocí predikátové logiky. Naše výsledky ukazují, že námi navržený nový přístup řešení této úlohy, který připomíná relační dolování vzorů, funguje díky prořezávání prostoru logických formulí. Náš přístup zatím vygeneroval databází celočíselných sekvencí o velikosti jedné sedminy velice populární On-Line Encyclopedia of Integer Sequences (OEIS) a dokonce byl schopen vygenerovat sekvence, které již v této populární databázi jsou. Cílem druhé úlohy je prořezávání prostoru hypotéz v relačních doménách, pro což jsme vytvořili novou metodu, která využívá znalosti obsažené v datech, např. symetrii určitých relací. Pravdou je, že tato znalost musí být nejdříve naučena z dat, nicméně, naše experimenty ukázaly, že i tato část výpočtu je kompenzována efektivitou tohoto prořezávání, které je rychlejší a produkuje méně logických hypotéz aniž by došlo k ohrožení úplnosti prohledávaného prostoru. Posledním problémem, který v této práci řešíme, je použití nedokonalých hypotéz pro doplňování znalostní báze. Jejich přímočaré použití pomocí klasického odvozování z predikátové logiky prvního řádu je v tomto případě málo robustní. Proto jsme navrhli nové rozšíření metody založené na fragmentech dat, pro kterou jsme vyvinuli inferenční algoritmus. Naše rozšíření spočívá v prioritizaci pravidel, která se učíme pomocí heuristického shora-dolů paprskového prohledávání vyvinutého speciálně pro naší inferenční metodu. Experimenty ukazují, že naše inferenční metoda je v případě použití stejných pravidel lepší než ostatní inferenční metody a zároveň, ve spojení s heuristicky naučenými pravidly, je opatrnější než standardní pravidlové přístupy v indukčním nastavení.

Relational learning employs first-order logic for the representation of both data and models. The advantages of this representation arise from the transparent explainability of models and the ability to model a wide variety of tasks, including, for example, the well-known structural alert or knowledge base completion. However, it also poses some challenges when one wants to learn a model relying on an accurate hypothesis, which is quite a challenging problem since the space of hypotheses, i.e., logical formulae, is large and, in turn, makes the learning expensive. Utilizing learned hypotheses in a non-naive way is a challenging problem since learning on real-life data commonly leads to imperfect hypotheses.This thesis addresses these two challenges. Namely, we focus on pruning the space of logical sentences in two separate scenarios. Firstly, we study the problem of generating integer sequences that can be described using first-order logic. We show that our novel approach, which resembles relational pattern mining, is fruitful and scalable by pruning the space of logical formulae. Besides producing a database as large as one-seventh of the well-known On-Line Encyclopedia of Integer Sequences (OEIS), our approach was also able to generate new descriptions of several entries in OEIS. Secondly, we present a novel general technique for pruning hypotheses space by utilizing domain knowledge, which has to be learned at first and, hence, requires additional computational time. However, our experiments show that the method is faster than the standard isomorphism-based pruning and produces fewer hypotheses without sacrificing the completeness of the search. Finally, we consider the problem of utilizing imperfect rules for the knowledge base completion task, for which the standard entailment is too brittle. We propose a novel extension of an existing fragment-based inference algorithm by stratifying rules, which we learn using a heuristically driven top-down beam search suited for the inference algorithm. Our experiments show that the inference method is inferior to some others and, when accompanied by the heuristic rule learner, is more cautious than standard rule-based approaches applied in the inductive setting.