Učení pravidel pro jednokrokové a vícekrokové manipulační úlohy z více demonstrací

Abstract

Současné přístupy v oblasti učení z demonstrace, které extrahují znalosti a omezení na úrovni úloh online z omezené zpětné vazby od člověka, často postrádají interpretovatelnost, vyžadují rozsáhlá tréninková data a nedokážou se adaptovat během provádění. Tato práce představuje REBCAT (REactive Behavior Constraint-Aware Tree learning), který řeší tyto omezení. REBCAT používá model Decision Tree nebo CatBoost pro online klasifikaci pravidel umístění objektů a samostatný algoritmus pro extrakci omezení pořadí akcí v manipulačních úlohách s více kroky. Na základě těchto naučených pravidel systém generuje reaktivní stromy chování založené na pozorovaných vlastnostech objektů a stavu scény, které průběžně zdokonaluje pomocí zpětné vazby od člověka. Experimentální hodnocení porovnalo přesnost modelů Decision Tree a CatBoost v simulačním experimentu s využitím datasetu o 1000 vzorcích a v testech s reálným robotem. Další hodnocení zkoumají vysvětlitelnost modelu, efektivitu tréninku a všestrannost. Ověření v reálném světě demonstruje praktickou účinnost REBCATu jak v jednokrokových, tak v vícekrokových manipulačních úlohách, včetně schopnosti systému adaptovat se online na změny prostředí, jako jsou chybějící nebo přemístěné objekty, prostřednictvím jeho reaktivní architektury založené na stromech chování.Current approaches in Learning from Demonstration that extract task-level knowledge and constraints online from limited human feedback often lack interpretability, require extensive training data, and fail to adapt during execution. This thesis introduces REBCAT (REactive Behavior Constraint-Aware Tree learning), which addresses these limitations. REBCAT adapts Decision Tree or CatBoost model for online classification of object placement rules, while using a separate algorithm to extract action ordering constraints in multi-step manipulation tasks. Based on these learned rules, the system generates reactive Behavior Trees grounded in the observed object properties and scene state, continuously refining them with human feedback. Experimental evaluation compared the accuracy of Decision Tree and CatBoost models in a simulation experiment using a 1000-sample dataset and in real-robot tests. Additional assessments examine model explainability, training efficiency, and versatility. Real-world validation demonstrates REBCAT's practical effectiveness in both single-step and multi-step manipulation tasks, including the system's ability to adapt online to environmental changes such as missing or displaced objects via its reactive behavior tree-based architecture.