Matching of multimodal features
Zarovnávání multimodálních příznaků
Authors
Supervisors
Reviewers
Editors
Other contributors
Journal Title
Journal ISSN
Volume Title
Publisher
České vysoké učení technické v Praze
Czech Technical University in Prague
Czech Technical University in Prague
Date of defense
Abstract
Tato práce se zabývá vztahy mezi prvky detekovanými v datech senzorů s různými modalitami: 2D daty RGB snímků a 3D daty z rotujících LiDARů nebo hloubkových kamer. Popisuje základní příznaky pro obě modality a vybírá konkrétní deterministické detektory klíčových bodů. Pro účely lokalizace byl navržen algoritmus, který zarovnává příznaky extrahované z rozdílných modalit. Algoritmus využívá jedinečné charakteristiky každé modality k nalezení odpovídajících párů jejich klíčových bodů pomocí projekce do 3D prostoru, kd-stromových struktur a algoritmu hledání nejbližšího souseda. Takto identifikované páry jsou následně iterativně zarovnány ve 3D prostoru pro získání transformace mezi dvěma datovými rámci. Navržený deterministický algoritmus byl implementován a vyhodnocen v simulovaném prostředí pro všechny dvojice vybraných detektorů. Experimenty ukázaly nejlepší výsledek pro dvojici detektorů SIFT používaný v obrazových datech a detektor Shi-Tomasi používaný v 3D datech, což potvrdilo použitelnost takového přístupu pro rychlou odometrii pro řídicí systémy.
This thesis deals with relationships among features detected in sensor data with different modalities: 2D RGB images and 3D data from rotating LiDARs or depth cameras. It describes fundamental features for both modalities and selects specific deterministic keypoint detectors. An algorithm was designed to match features extracted from different modalities for localization purposes. The algorithm uses the unique characteristics of each modality to find corresponding pairs of their keypoints by utilizing projection to 3D space, kd-tree structures and a nearest neighbour search. These identified pairs are subsequently iteratively aligned in 3D space to obtain a transformation between two data frames. The proposed deterministic algorithm was implemented and evaluated in a simulated environment across all selected detector pairs. The experiments showcase the best performance for the pair of the SIFT used in image data and the Shi-Tomasi detector used in 3D data, confirming the feasibility of such an approach for rapid odometry in control systems.
This thesis deals with relationships among features detected in sensor data with different modalities: 2D RGB images and 3D data from rotating LiDARs or depth cameras. It describes fundamental features for both modalities and selects specific deterministic keypoint detectors. An algorithm was designed to match features extracted from different modalities for localization purposes. The algorithm uses the unique characteristics of each modality to find corresponding pairs of their keypoints by utilizing projection to 3D space, kd-tree structures and a nearest neighbour search. These identified pairs are subsequently iteratively aligned in 3D space to obtain a transformation between two data frames. The proposed deterministic algorithm was implemented and evaluated in a simulated environment across all selected detector pairs. The experiments showcase the best performance for the pair of the SIFT used in image data and the Shi-Tomasi detector used in 3D data, confirming the feasibility of such an approach for rapid odometry in control systems.
Description
Keywords
multimodální, zarovnávání, registrace, LiDAR, hloubková kamera, odhad pozice, příznaky, klíčové body, Cannyho hranový detektor, Shi–Tomasi detektor rohů, SIFT, multimodal, matching, registration, LiDAR, depth camera, position estimation, features, keypoints, Canny edge detector, Shi–Tomasi corner detector, SIFT
Citation
Underlying research data set URL
Permanent link
Rights/License
A university thesis is a work protected by the Copyright Act of the Czech Republic. Extracts, copies and transcripts of the thesis are allowed for personal use only and at one`s own expense. The use of thesis should be in compliance with the Copyright Act.
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem v platném znění.
Vysokoškolská závěrečná práce je dílo chráněné autorským zákonem. Je možné pořizovat z něj na své náklady a pro svoji osobní potřebu výpisy, opisy a rozmnoženiny. Jeho využití musí být v souladu s autorským zákonem v platném znění.