Použití Object Scene Flow ve video sekvencích

Abstract

Tato práce představuje několik modifikací algoritmu Object Scene Flow (OSF) [MG15]. Algoritmus je určen pro současné odhadování 3D geometrie scény a 3D pohybu ve scéně nazývaného scene flow. Naše navrhnutá modifikace přidává temporální konzistenci do OSF algoritmu ve formě propagace nezávisle se pohybují cích objektů odhadnutých v předchozích snímcích k vylepšení scene flow v právě počítaném snímku. Původní algoritmus OSF nevyužívá scene flow ani žádné jiné informace z předchozích snímků. Detailně se zabýváme i časovými nároky individuálních částí algoritmu. Navrhujeme úpravu, která v průměru více než trojnásobně zrychluje algoritmus. Naše veškeré modifikace vyhodnocujeme na testovací sadě KITTI'15. Ukazujeme, že propagace segmentace a korespondující informace o pohybu nezávisle se pohybujících objektů přispívá ke snížení míry nedetekovaných vozidel. Avšak tato propagace znatelně zvyšuje i počet falešně pozitivních detekcí, která je ovšem redukována dalšími prezentovanými úpravami. S vybranými modifikacemi je celková míra nedetekovaných vozidel snížena o 35%. Navrhnuté úpravy také snižují celkovou chybu odhadnutého scene flow, v benchmarku KITTI'15, z 10.23% na 9.23%. Modifikovaný algoritmus dosahuje prvního místa pro scene flow kategorii - vyhodnocení přes body viditelné v obou kamerách, respektive druhého místa pro scene flow kategorii - všechny obrazové body.

This thesis proposes several modifications of the Object Scene Flow (OSF) algorithm [MG15], algorithm for simultaneous estimation of 3D geometry and 3D motion called scene flow. We focus on the addition of temporal consistency to the algorithm's output. Our proposed modification applies the temporal consistency to the OSF algorithm in the form of previously estimated independently moving objects propagated to the currently estimated frame using constant 3D motion assumption. The OSF does not use the scene flow estimated in previous frame nor any other estimated information. We are also interested in the details of individual parts algorithm's time consumption. We propose an modification to speed-up algorithm more than three times. We evaluate the progress on the KITTI'15 multi-frame dataset. We show that propagating the labels and the corresponding motion information using the estimated flow reduces the false negative rate (missed cars). However, this na?ve propagation also increases the false positive rate significantly. We reduce the false positive rate with further proposed modifications, which result in the same false positive rates as the original OSF, but reduce false negatives by 35%. The proposed modifications also reduce an error of estimated scene flow on the KITTI'15 optical flow from 10.23% to 9.23% ranks 2nd in scene flow estimation category over whole image area, respectively 1st in scene flow estimation category over non-occluded areas only.