DERİN ÖĞRENME TABANLI GERÇEK ZAMANLI VİDEO ANALİZ UYGULAMALARI İÇİN DAĞITIK KENAR HESAPLAMA SİSTEMİ

Abstract

Derin öğrenme çalışmaları ve buna bağlı olarak yapay zekâ sistemleri ülkemizde de yoğun ilgi duyulan bir alan olmuştur. Özellikle son 5 yıl içerisindeki çalışmalar bu alandaki eksiklikleri gün yüzüne çıkarmıştır. Bu alandaki çalışmalar için yüksek maliyetli donanım ihtiyacı bulunmaktadır. Ayrıca Türkiye'ye özgü veri seti eksikliği de bulunmaktadır. Bu doktora tezi ile araç plakası, trafik işaretleri ve trafik ışıkları ilgili Türkiye'ye özgü veri setleri hazırlanmış ve uygun derin öğrenme modelleri üzerinde geliştirmeler yapılarak uygulanabilirliği gösterilmiştir. Bu kapsamda trafik işaretleri ve trafik ışıkları tespiti ve tanıma üzerine ön eğitilmiş derin öğrenme modeli API'leri kullanılmıştır. Bu modeller için TensorFlow, Keras derin öğrenme kütüphaneleri kullanılmıştır. Bu kütüphaneleri kullanan TensorFlow Nesne Tespiti API ile ön eğitilmiş Faster R-CNN ve SSD modelleri hazırladığımız veri setleri ile eğitilmiştir. Sırasıyla araç plakası tanıma için 2 adet, araç plaka tespiti için 1 adet, trafik işaretleri tespit ve tanıma için 1 adet ve trafik ışıkları tespit ve tanıma için 2 adet olmak üzere Türkiye'ye özgü toplam 6 adet veri seti hazırlanmıştır. Özellikle endüstri sektörü ve diğer sektörlerde hazırladığımız veri setleri ve bunlarla eğitilmiş modellerin uygun maliyetli donanımlar ile gerçek zamanlı olarak çalıştırılabilmesi önemli bir problemdir. Bunun için uygun maliyetli kenar cihazı ve görüntü işleme kartı kullanılarak kenar cihazları üzerindeki kenar hesaplama yöntemleri ile modellerin uygulanabilirliği gösterilmiştir. Farklı modellerin kenar cihazlar üzerinde video görüntüleri kullanılarak dağıtık olarak kenar hesaplama yöntemleri ile çalıştırılması sağlanmıştır. Bu tez ile Türkiyedeki biçim, boyut, renk standartlarına uygun veri setlerinin özgün şekilde nasıl hazırlanabileceği gösterilmiştir. Hazırlanan bu veri setleri ile eğitilmiş uygun derin öğrenme modellerinin gerçek zamanlı olarak kenar cihazlar üzerinde dağıtık bir yapay zekâ sistemi olarak geliştirilebileceği gösterilmiştir.

Deep learning studies and, accordingly, artificial intelligence systems have become an area of great interest in our country. Especially the studies in the last 5 years have brought to light the deficiencies in this field. There is a need for high cost equipment for studies in this field. There is also a lack of dataset specific to Turkey. With this thesis, datasets specific to Turkey related to license plates, traffic signs and traffic lights have been prepared and their applicability has been demonstrated by making improvements on appropriate deep learning models. In this context, pre-trained deep learning model APIs on detection and recognition of traffic signs and traffic lights were used. TensorFlow, Keras deep learning libraries are used for these models. Pre-trained Faster R-CNN and SSD models with TensorFlow Object Detection API using these libraries were trained with the datasets we prepared. A total of 6 datasets specific to Turkey were prepared, respectively, 2 for vehicle license plate recognition, 1 for vehicle license plate detection, 1 for traffic sign detection and recognition, and 2 for traffic lights detection and recognition. It is an important problem that the datasets we have prepared in the industry sector and other sectors and the models trained with them can be run in real time with cost-effective hardware. For this, it has been tried to show the applicability of the models with edge computing methods on edge devices by using cost-effective edge device and video processing unit (VPU). It has been ensured that different models are run on edge devices with distributed edge computing methods using video images. With this thesis, it has been shown how to prepare data sets in accordance with the format, size and color standards in Turkey in an original way. It has been shown that suitable deep learning models trained with these prepared datasets can be developed as a distributed artificial intelligence system on edge devices in real time.