BİR İNSANSIZ HAVA ARACININ MODELLENMESİ VE DERİN PEKİŞTİRMELİ ÖĞRENME TABANLI OTONOM KONTROLÜ

Abstract

İnsansız Hava Araçlarına (İHA) yönelik araştırma ilgisi, çok çeşitli uygulamalar için potansiyel kullanımları nedeniyle hızla artmıştır. İHA'lar uçuş manevrası olarak, top atma ve yakalama, İnsansız Yer Araçlarının (İYA) düzen kontrolü, kritik tarım alanlarında İHA'nın uçan bir sensör görevi görerek örneklemler yapabilmesi ve birçok buna benzer görevleri üslenebilmesi kabiliyeti sayesinde uzak ve riskli ortamlarda tehlikeli ve süreklilik gerektiren görevleri yerine getirebilme yetenekleriyle İHA'lar çok umut vermektedir. Son yıllarda, bilgi teknolojisi ve yapay zekadaki büyük ilerleme, giderek yaygınlaşmakta olan akıllı otonom sistemleri büyük ölçüde etkilemektedir. Bu tür bir gelişime, tam otonom, yarı otonom ve veya uzaktan kontrol edile bilen uçan araçlardan oluşan İnsansız Hava Araçlarını da etkisi altına almıştır. Bu alanda yapılan çalışmaların en temel öncelikli hedefi, İHA'ların herhangi bir insan kontrolü olmadan o anki durum ve şartlara göre kendi yol planlama, manevra yapma ve görev yerine geri dönme gibi kendi kararlarını alabilen bir otonom sistem oluşturmaktır. Otonom bir İnsansız Hava Aracından beklenen temel görev, insan müdahalesi olmaksızın çarpışmalardan kaçınarak ve verimli bir yol boyunca istenen hedeflere yönlenmesi amaçlamaktadır. Bu nedenle bir İHA'nın zorlu ortamlardaki otonom görevlerde bulunması çok önemli bir rol oynamaktadır. Bu çalışmada, derin pekiştirmeli öğrenme yaklaşımını kullanarak otonom bir İHA yolu planlama algoritması oluşturmak hedeflenmektedir. Bu çalışmanın temel amacı, belirli bir üç boyutlu statik engelleri aşarak belirlenen hedefe ulaşmasını sağlamaktır. Bunun için İHA'nın kendi kendini eğitmesi ve belirlenen hedefe eğitilmiş olan ağ yapısını kullanarak ulaşması beklenmektedir. Bu çalışmada, İHA'nın belirlenen hedefine ulaşması için engellerin sağından veya solundan geçerek kendi yolunu oluşturması gerekmektedir. Bu amaç doğrultusunda bu çalışmada sürekli eylem alanına sahip bir Derin Deterministik Politika Gradyanı (DDPG) tasarlanmıştır. Aynı zamanda İHA'nın kontrolü MAVROS iletişim protokolü aracılığı ile İHA ya aktarılmaktadır. Bu iletişim protokolü bu tez çalışmasına özgü olarak yeniden tasarlanmıştır. İHA ile varış noktası arasındaki mesafeyi en aza indirmek ve çarpışmaları cezalandırmak için bu çalışmaya özgü bir ödül işlevi geliştirilmiştir. Bu sayede İHA'nın çarpışmalardan kaçınarak istenilen hedefe en kısa yoldan ulaşması sağlanmıştır.

Research interest in Unmanned Aerial Vehicles (UAV) has increased rapidly due to their potential uses for a wide variety of applications. UAVs offer a lot of promise with their ability to perform dangerous and continuous tasks in remote and risky environments, thanks to the ability of UAVs such as, perform flight maneuvers, ball throwing, and catching, and order control of Unmanned Ground Vehicles, the UAV's ability to perform samples by acting as a flying sensor in critical agricultural areas and to undertake many similar tasks. In recent years, great progress in information technology and artificial intelligence has significantly affected the increasingly widespread intelligent autonomous systems. This kind of development has also influenced Unmanned Aerial Vehicles, which consist of fully autonomous, semi-autonomous, and remotely controlled flying vehicles. The primary objective of the studies in this field is to create an autonomous system that can make its own decisions such as planning its own path, maneuvering, and returning to the duty place according to the current situation and conditions without any human control. The main task expected from an Autonomous Unmanned Aerial Vehicle is to avoid collisions without human intervention and to lead to desired targets along an efficient path. Therefore, it plays a very critical role for a UAV to perform autonomous missions in extreme environments. This thesis, it is aimed to create an autonomous UAV path planning algorithm using a deep reinforcement learning approach. The main purpose of this thesis is to reach the determined target by overcoming certain three-dimensional static obstacles. For this, it is expected that the UAV will train itself and reach the determined target by using the trained network structure. In this thesis, in order for the UAV to reach its determined target, it has to create its own path by passing from the right or left of the obstacles. For this purpose, a Deep Determining Policy Gradient (DDPG) with a continuous action area was designed in this thesis. At the same time, the control of the UAV is communicated to the UAV via the MAVROS communication protocol. This communication protocol has been redesigned specifically for this thesis. A reward function specific to this thesis was developed to minimize the distance between the UAV and the destination and penalize collisions. In this way, it was ensured that the UAV avoided collisions and reached the desired target by the shortest route.