Strojové učení pro řízení handoveru v mobilních sítích

Abstract

Tato diplomová práce představuje nový přístup k optimalizaci handoveru v mobilních sítích pomocí kombinace optimalizace parametru Cell Individual Offset (CIO), založené na zpětnovazebním učení a předpovědi kvality kanálu, založené na hlubokém učení, pro kanály mezi létajícími základnovými stanicemi (FlyBS) a uživatelským vybavením (UE). Navrhované řešení je součástí dvoufázového procesu, kde jsou kanály FlyBS-UE predikovány na základě známých kanálů mezi pozemními základnovými stanicemi (GBS) a UE, po nichž následuje zpětnovazební učení nastavující hodnoty CIO pro základnové stanice mobilní sítě na základě okamžitého stavu této sítě, včetně predikovaných kvalit kanálu. Diplomová práce také pojednává o funkci odměny zpětnovazebního učení a jejímu vztahu k handoverům, přičemž zdůrazňuje celkový trend této funkce. Hodnota funkce roste s počtem FlyBS, což naznačuje možné zlepšení kvality sítě. Výsledky navrženého řešení jsou porovnány s nejmodernějšími přístupy. Z hlediska kapacity sítě dosahuje navrhované řešení vynikajících výsledků a překonává ostatní nejmodernější přístupy. Kromě toho, v porovnání s ostatními přístupy, navrhované řešení účinně snižuje počet všech handoverů, včetně ping-pong handoverů. Tato diplomová práce demonstruje potenciál kombinace zpětnovazebního a hlubokého učení pro optimalizaci handoverů v sítích nové generace s redukcí signalizace při zjišťování kvality kanálu.

This diploma thesis presents a novel approach for optimizing handovers in mobile networks by combining reinforcement learning-based Cell Individual Offset (CIO) optimization and deep learning-based channel quality prediction for Flying Base Stations (FlyBS) to User Equipment (UE) channels. The proposed solution is part of a two-step workflow, where the FlyBS-UE channels are predicted based on the known Ground Base Station (GBS) to UE channels, followed by a reinforcement learning agent setting CIO values for the network base stations based on the immediate network state, including the predicted channel qualities. This diploma thesis also discusses the reinforcement learning-based reward function and its relationship to handovers, highlighting the overall trend of the function. The function value increases with the number of FlyBSs, indicating potential network quality improvements. The performance of the proposed solution is compared with state-of-the-art approaches. In terms of network capacity, the proposed solution achieves superior results, outperforming other state-of-the-art approaches. Additionally, the proposed solution effectively reduces the number of all handovers as well as ping-pong handovers compared to other approaches. This diploma thesis demonstrates the potential of combining reinforcement learning and deep learning techniques for optimizing handovers in next generation mobile networks with reduced signaling overhead for channel quality acquisition.