Navigasi UAV (Unmanned Aerial Vehicle) Otonom Menggunakan Algoritma SAC (Soft Actor-Critic) dengan Pendekatan Deep Reinforcement Learning

Abstract

Navigasi otonom pada Unmanned Aerial Vehicle (UAV) di lingkungan dalam ruangan atau tanpa sinyal GPS menjadi tantangan krusial karena pendekatan konvensional seringkali tidak adaptif terhadap kondisi dinamis. Penelitian ini mengusulkan solusi menggunakan algoritma Soft Actor-Critic (SAC) dengan pendekatan Deep Reinforcement Learning. Model dilatih selama 350.000 langkah simulasi dalam lingkungan Unreal Engine dan AirSim, yang terdiri dari koridor dengan 15 ruangan dimana tekstur dinding dan posisi lubang diacak untuk meningkatkan kemampuan generalisasi. Pelatihan menggunakan fungsi reward yang mempertimbangkan penalti atas tabrakan dan penggunaan energi, serta mengevaluasi tiga jenis input sensor: DepthMap, Single-RGB, dan Multi-RGB. Meskipun nilai reward selama pelatihan cenderung negatif (-95 hingga -97) akibat desain penalti yang ketat, hasil pengujian menunjukkan tingkat keberhasilan navigasi yang sangat tinggi. Model dengan input DepthMap menunjukkan performa terbaik, mencapai tingkat keberhasilan 95% dengan waktu penyelesaian rata-rata 12.3 detik. Kinerja ini mengungguli model Multi-RGB (94% dengan 12.9 detik) dan Single-RGB (91% dengan 13.4 detik). Temuan ini membuktikan bahwa algoritma SAC efektif memandu UAV di lingkungan kompleks, namun perbaikan pada fungsi reward dan arsitektur tetap diperlukan untuk meningkatkan efisiensi energi dan generalisasi model. Penelitian ini menegaskan bahwa input DepthMap adalah data sensor paling andal untuk tugas navigasi serupa.

Autonomous navigation for Unmanned Aerial Vehicles (UAVs) in indoor or GPS-denied environments presents a crucial challenge, as conventional approaches often lack adaptability to dynamic conditions. This study proposes a solution using the Soft Actor-Critic (SAC) algorithm with a Deep Reinforcement Learning approach. The model was trained for 350,000 simulation timesteps in an environment built with Unreal Engine and the AirSim plugin. This environment features a corridor with 15 enclosed rooms where wall textures and hole positions are randomized to improve the agent's generalization capabilities. The training process utilized a reward function that balanced penalties for collisions and energy consumption, while evaluating three sensor input types: DepthMap, Single-RGB, and Multi-RGB. Despite the training rewards being negative (ranging from -95 to -97) due to the strict penalty design, testing revealed a very high navigation success rate. The model using DepthMap input demonstrated the best performance, achieving a 95% success rate with an average completion time of 12.3 seconds. This surpassed the performance of the Multi-RGB model (94% success rate with a 12.9-second completion time) and the Single-RGB model (91% success rate with a 13.4-second completion time). These findings demonstrate that the SAC algorithm can effectively guide a UAV in complex environments. However, improvements to the reward function and network architecture are still needed to enhance energy efficiency and model generalization. This study confirms that DepthMap input is the most reliable sensor data for similar navigation tasks.