UZAKTAN ALINAN GÖRÜNTÜLERDEN AFET YÖNETİMİ VE DURUM ANALİZİ İÇİN YAPAY ZEKA TABANLI YÖNTEMLERİN GELİŞTİRİLMESİ

Abstract

Dünya kurulduğu günden beri her dönemde çeşitli doğal afetler yaşanmış ve bu afetler ciddi derecede can ve mal kayıplarına neden olmuştur. Derin öğrenme (DÖ) ağlarının gelişmesi ile herhangi bir afetin bıraktığı etki analiz edilebilmekte ve etkilenen alanların tespiti sağlanabilmektedir. Afetin türü ne olursa olsun yarattığı hasar ciddi boyutlarda olabilmektedir. Hasarın oluştuğu alanların ivedilikle tespit edilmesi can ve mal kayıplarının önlenmesi açısından büyük önem taşımaktadır. Bu amaçla son zamanlarda arama kurtarma operasyonlarına insansız hava araçları (İHA) kullanılmaya başlanmıştır. İHA' ların esnek oluşu, hareket ve hızlı konumlanma konusundaki kabiliyetleri, düşük maliyetli oluşları onların arama kurtarma faaliyetlerinde tercih edilme nedenleri olmuştur. Daha başarılı sonuçlar için Derin Öğrenme (DÖ) modellerinin insansız hava araçlarına dahil edilmesi iyi bir yöntem olabilir. Bu çalışmada iki ayrı veri seti kullanılmıştır. İlk veri setimiz olan İHA tabanlı hava felaketi görüntü veri seti (AIDER) üzerinde evrişimsel blok dikkat mekanizmasına dayalı yeni bir transfer öğrenme yöntemi önerilmektedir. Önerilen yöntem, doğal afetlerin hızlı bir şekilde tespit edilebilmesine odaklanmaktadır. Bu aşamada, şehir planlaması ve afet yönetimi için doğru ve hızlı bilgi sağlanması amaçlanmaktadır. İkinci veri setimiz olan sel sonrası sahneyi anlamak için yüksek çözünürlüklü hava görüntüleri veri kümesi (FloodNet) üzerinde Derin Sinir Ağlarını kullanarak bir dizi yöntem önerilmektedir. Transfer öğrenme tabanlı görüntü sınıflandırma ile taşkına uğramış alanlar ile hasarsız alanların ayrımı yapıldı. Su basmış alanların, binaların ve yolların tespiti, doğal su ile sel suyu arasındaki ayrım için anlamsal segmentasyon yöntemleri kullanıldı. Son aşamada görsel sorucevaplar ile sahneler anlamlı hale getirildi. Afet sonrası müdahale süreçlerinin hızlandırılması ve insan müdahalesinin optimize edilmesinde derin öğrenmeye dayalı otomasyon sistemlerinin etkinliği vurgulanmaktadır.Various natural disasters have occurred in every period since the world was founded, and these disasters have caused serious loss of life and property. With the development of deep learning (DL) networks, the impact of any disaster can be analyzed and the affected areas can be identified. Regardless of the type of disaster, the damage it causes can be serious. Immediately identifying the areas where damage has occurred is of great importance in preventing loss of life and property. For this purpose, unmanned aerial vehicles (UAVs) have recently begun to be used in search and rescue operations. The flexibility of UAVs, their ability to move and quickly position themselves, and their low cost have made them preferred in search and rescue activities. For more successful results, incorporating Deep Learning (DL) models into unmanned aerial vehicles may be a good method. Two separate data sets were used in this study. A new transfer learning method based on convolutional block attention mechanism is proposed on our first dataset, UAV-based air disaster image dataset (AIDER).The proposed method focuses on the rapiddetection of natural disasters. At this stage, the aim is to provide accurate and timely information for urban planning and disaster management. A set of methods are proposed using Deep Neural Networks on our second dataset, High Resolution Aerial Imagery Dataset for Understanding Post-Flood Scene (FloodNet). Transfer learning based image classification was used to distinguish flooded areas from undamaged areas. Semantic segmentation methods were used to detect flooded areas, buildings and roads, and to distinguish between natural water and flood water. In the final stage, scenes were made meaningful with visual questions and answers. The effectiveness of deep learningbased automation systems in accelerating post-disaster response processes and optimizing human intervention is emphasized.