AN EFFICIENT INTELLIGENT UAV FOR HUMAN ACTION MONITORING IN SMART CITIES ENVIRONMENT

Abstract

Son zamanlarda çeşitli alanlarda kullanım potansiyelleri nedeniyle otonom insansız hava araçlarına (İHA) ilgi artmaktadır. İHA'ların yapay zeka uygulamaları ile geliştirilmesi, arama kurtarma çalışmaları ve gözetleme gibi görevler için kullanışlıdır. İHA'lar, insan eylemlerini izleyerek akıllı şehirlerde güvenliği sağlayabilir. Covid-19 ve diğer bulaşıcı hastalıklar insanlık için bir tehdit haline geldi ve İHA'lar, gözetim ve sağlık yönergelerine uygunluğun izlenmesi yoluyla yayılmalarını kontrol etmeye yardımcı olabilir. Bu tezde, insan eylemlerini algılamak ve tanımak, bireyler arasındaki sosyal mesafeyi ölçmek ve maske takmayan kişileri belirlemek için çeşitli gömülü akıllı sistemler ve verimli derin öğrenme modelleri geliştirilmiştir ve ayrıca insan eylemlerini kullanarak İHA'ları kontrol edilmiştir. HarNet adı verilen insan eylemi tanıma için önerilen model hafif evrişimli bir sinir ağı modeli ile oluşturulmuştur. UCF-ARG veri seti ile test edildiğinde sınıflandırmada %96,15 başarı oranı elde ederek MobileNet, Xception, DenseNet201, InceptionResNetV2, VGG-16 ve VGG-19 gibi diğer evrişimli sinir ağı mimarilerini geride bırakmıştır. HarNet modeli, düşük düzeyde karmaşıklık, az sayıda parametre ve yüksek düzeyde sınıflandırma performansı dahil olmak üzere çok sayıda avantaja sahiptir. Performansı, UCF-ARG veri seti ile test edilen diğer modellerden daha üstündür. Bu tezde, insan izleme yoluyla Covid-19 ve diğer hastalıkların yayılmasını önlemeye yardımcı olmak için iki ek gömülü sistem önerilmiştir. Uygulama, halka açık alanlarda sosyal mesafeyi zorlamak için derin öğrenme modeli ve bilgisayar görüşü ile donatılmış dronları kullanılmıştır. Önerilen sistem, mesafelerin ihlal edilip edilmediğini başarıyla tespit etmiş ve nesnelerin interneti (IoT) tekniklerini kullanarak sorunlar hakkında sistem sahibine bildirimler gönderilmiştir. Başka bir sistem, halka açık alanlarda insanların maske takıp takmadığını tespit etmek için İHA tarafından yakalanan çerçeveler ve yeni derin öğrenme modelleri kullanılmıştır. Sistem, maske takmayan kişileri başarılı ve doğru bir şekilde tespit etmekte ve akıllı telefon tabanlı bir IoT'ye uyarı göndermektedir. Ek olarak, insan-bilgisayar etkileşimlerini iyileştirmek için insan operatörlerinin İHA'ları insan hareketleriyle kontrol etmesini sağlamak için bilgisayarlı görü ve IoT'yi kullanan bir uygulama geliştirilmiştir. İHA'ların insan izleme uygulamalarının etkinliğini etkileyebilecek faktörler üzerine de araştırmalar yapılmıştır.Recently, there has been increasing interest in autonomous unmanned aerial vehicles (UAVs) because of their potential uses in various fields. Developing UAVs with artificial intelligence applications is useful for tasks such as search and rescue efforts and surveillance. UAVs can ensure security in smart cities by monitoring human actions. Covid-19 and other transmittable diseases have become a threat to humanity, and UAVs can help control their spread through surveillance and monitoring compliance with health guidelines. In this thesis, several embedded smart systems and efficient deep learning models were developed to detect and recognize human actions, measure the social distance between individuals, and identify individuals who are not wearing masks, and we also attempted to control UAVs using human actions. The proposed model for human action recognition, called HarNet, was based on depthwise separable convolutions and is lightweight convolutional neural networks. When tested with the UCF-ARG dataset, it achieved a 96.15% success rate in classification, outperforming other convolutional neural network architectures such as MobileNet, Xception, DenseNet201, InceptionResNetV2, VGG-16, and VGG-19. The HarNet model had numerous advantages, including a low level of complexity, a small number of parameters, and a high level of classification performance. Its performance was superior to that of other models tested with the UCF-ARG dataset. In this thesis, two additional embedded systems were proposed to help prevent the spread of Covid-19 and other diseases through the use of human monitoring. The application used drones equipped with a deep learning model and computer vision to enforce social distancing in public areas. The proposed system successfully determined whether distances were being violated and sent notifications to the system's owner about problems using Internet of Things (IoT) techniques. Another system used UAV-captured frames and novel deep-learning models to detect whether people in public areas were wearing masks. The system successfully and accurately identified people who were not wearing masks and sent an alert to a smartphone-based IoT. Additionally, an application used computer vision and the IoT was developed to enable human operators to control UAVs with human gestures to improve human?computer interactions. The researches were also conducted on factors that might affect the efficiency of human monitoring applications of UAVs.