Aplikace pro marketingovou analýzu služby Instagram

Abstract

Práce se zabývá automatickou detekcí reklamních sdělení a korepsondujících interakcí uživatele ze záznamu obrazovky sociální sítě Instagram na platformě iOS. Řešení se v pořadí skládá z detekce lokality, nového příspěvku, reklamního sdělení, typu média a následně samotných interakcí. Na jednotlivé podproblémy jsou využity algoritmy počítačového vidění a zpracování obrazu jako template matching, Hough circles, SSIM index nebo segmentace prahováním. Algoritmy jsou implementovány v aplikaci, která na základě vstupního videa, barevného režimu operačního systému a modelu zařízení vytvoří strukturovaný textový soubor skládající se z tzv. transakcí. Transakce popisují reklamní sdělení a obsahují informace jako je lokalita detekce, délka trvání manipulace s reklamou, typ reklamy, typ média a v neposlední řadě interakce. Aplikace dokázala na testovacím datasetu detekovat reklamní sdělení v 92,16 % případů a korespondující interakce s úspěšností 93,53 %. Výsledky na datech z uživatelského testování mají úspěšnost detekce reklamního sdělení 78,57 %. Úspěšnost určení korespondujících interakcí je 81,25 %, avšak s velmi vysokou mírou falešných detekcí.

This thesis aims to automate advertisement detection and corresponding interactions done by a user from a screen recording of the Instagram iOS application. The solution consists of detecting a location, a new post, an advertisement, a type of media, and the actual interactions. Computer vision techniques, such as template matching, Hough circles, SSIM index, or segmentation by thresholding, are used to resolve each subproblem. Algorithms are implemented in the form of an application, which receives video, system skin, and type of the device as input and outputs a structured text file. The output file consists of transactions, which are composed of the advertisement, additional information such as the location of detection, length of interactions with the advertisement or its type, and interactions. On the test dataset, the proposed application achieved to detect the advertisement in 92,16 % of cases and corresponding interactions with a success rate of 93,53 %. Results on the dataset from user testing show 78,57 % correctly detected advertisements and interactions with a success rate of 81,25 %, however with a high rate of false positives.