DRONE İLE DRONE TAKİBİ İÇİN DAĞITIK DERİN TAKVİYELİ ÖĞRENME YAKLAŞIMLARI

Abstract

Hedef hareketinin belirsizliği, yerleşik kameraların sınırlı algılama yeteneği ve kısıtlı kontrol, insansız hava araçları için dinamik hedef izleme kontrolünde karşılaşılan en büyük zorluklardan biridir. Takviyeli öğrenme yaklaşımlarındaki gelişmeler bu zorlukları bir nebze de olsa hafifletmeyi başarmıştır. Özellikle otonom sistemler teknolojisindeki yapay zeka temelli ortaya konan yeni fikirler ve geliştirilen yöntemler insansız hava araçlarında heyecan verici noktalara gelmiştir. Bu tez çalışmasında, bir dronun başka bir dronu gerçek zamanlı otonom olarak takip edebilmesi için takipçi dron kamerasını tek girdi kaynağı olarak kullanan derin takviyeli öğrenme tabanlı bir yaklaşım önerilmiştir. Bu çalışma doğrultusunda derin öğrenme ve derin takviyeli öğrenme algoritmaları eşzamanlı olarak kullanılmaktadır. Öncelikle nesne tespit algoritmalarından olan YOLO, yaklaşık beş bin dron resminden oluşturulan veri setini kullanarak eğitilmiş ve takipçi dronun ortamdaki diğer dronu tespit etmesi sağlanmıştır. Kutucuk içerisine alınarak tespiti yapılan dronun, ekrandaki konumu ve kutucuğun boyut bilgileri OpenAI GYM simülatöründe daha önceden problemimize uygun bir şekilde tasarlanarak eğitimi tamamlanan Deep determinstic policy gradient (DDPG) derin takviyeli öğrenme algoritmasına gönderilerek takipçi dronun yapacağı eylem belirlenmiştir. Bu tez çalışması kapsamında literatüre dört önemli katkı sunulmaktadır. Birincisi, başarı oranı yüksek bir dron tespit sisteminin geliştirilmesi, ikincisi dron ile dron takip için etkili bir yöntemin geliştirilmesi, üçüncüsü probleme uygun olarak uyarlanabilen bir derin takviyeli öğrenme yaklaşımının sunulması ve son olarak da nesne takibi, kontrolü ve görev koordinasyonu gibi çeşitli problemlerde kullanılabilecek bütünleştirilmiş bir sistem ortaya konulmasıdır. Ayrıca geliştirilen sistemin başarımı gerçek dünya ortamında test edilerek sonuçlar gözlenmiştir. Geliştirilen dron ile dron takibi modeli beş farklı gerçek ortam senaryosunda test edilmiş ve sonuçlar görselleştirilmiştir. Sonuç olarak takip edilen dronun hızı ve anlık olarak farklı yönlere yönelmesi takip görevini etkilediği görülmüştür.Uncertainty of target motion, limited sensing capability of on-board cameras and limited control are some of the biggest challenges in dynamic target tracking control for unmanned aerial vehicles. Advances in reinforcement learning approaches have alleviated these challenges to some extent. In particular, new ideas and methods developed based on artificial intelligence in autonomous systems technology have reached exciting points in unmanned aerial vehicles. In this thesis, a deep reinforcement learning-based approach is proposed for a drone to autonomously follow another drone in real-time, using the camera of the follower drone as the only input source. In this study, deep learning and deep reinforcement learning algorithms are used synchronously. First, YOLO, one of the object detection algorithms, is trained using a dataset of approximately five thousand drone images, and the follower drone is allowed to detect the other drone in the environment. The location of the detected drone in the box, its position on the screen and the size information of the box were sent to the Deep determinstic policy gradient (DDPG) deep reinforcement learning algorithm, which was previously designed and trained in the OpenAI GYM simulator in accordance with our problem, and the action of the follower drone was determined. This thesis makes four important contributions to the literature. The first is the development of a drone detection system with a high success rate, the second is the development of an effective method for drone tracking with drones, the third is the presentation of a deep reinforcement learning approach that can be adapted according to the problem, and finally, an integrated system that can be used in various problems such as object tracking, control and task coordination. In addition, the performance of the developed system is tested in a real-world environment and the results are observed. The drone tracking model is tested in five different real-world scenarios and the results are visualized. As a result, it was observed that the speed of the tracked drone and its instantaneous orientation in different directions affect the tracking task.