SÜRÜCÜ DESTEK SİSTEMLERİ İÇİN TERMAL KAMERA GÖRÜNTÜLERİNDE DERİN ÖĞRENME TABANLI YAYA TESPİTİ

Abstract

Son yıllarda şehirlerdeki nüfus yoğunluğu, araç ve trafik yoğunluğunun artmasıyla sürüş güvenliği uygulamaları daha fazla önem kazanmıştır. Sürücülerin düşük ışık ve olumsuz hava koşullarında yoluna çıkan yayaları fark edememesi yaşanan trafik kazalarını yaya, sürücü ve yolcular için ölümcül hale getirmektedir. Gündüz saatlerinde iki kat daha fazla yaralanmalı trafik kazası yaşanırken, gece saatlerinde gerçekleşen kazalardaki ölüm oranının %44 daha fazla olduğu bilinmektedir. Literatürde görünür ışık görüntüleriyle gerçekleştirilen birçok yaya tespit çalışması mevcuttur fakat bu sistemler, ışığın yetersiz olduğu gece ve alacakaranlık şartlarında yeterli verimle işlev sağlayamamaktadır. Termal kameralar, görünür spektrum bandında çalışan kameraların etkisiz kaldığı durumlarda yaya tespit sisteminin etkin olmasını sağlamaktadır. İleri Sürücü Destek Sistemleri kapsamında termal görüntüler kullanılarak gerçekleştirilen yaya tespit çalışmalarının kısıtlılığı, güvenli sürüş için bu teknolojiden faydalanılarak geliştirilen yaya tespit sistemlerine ihtiyaç doğurmaktadır. Bu çalışmada; termal görüntüler kullanılarak tasarlanan tespit sistemiyle düşük ışık ve olumsuz hava koşullarında yaşanan yaya-araç trafik kazalarının önüne geçilmesi ve insan hayatının korunması hedeflenmektedir. Bu motivasyonla, Yönlü Gradyanlar Histogramı tanımlayıcısı ile Destek Vektör Makineleri sınıflandırma yöntemlerinin kullanıldığı bir metodun yanında, son yıllarda görüntülerde nesne tespiti için popüler olarak kullanılan Evrişimli Sinir Ağları mimarisine dayalı AlexNet, Darknet-53 ve ResNet-101 derin öğrenme ağları kullanılarak yaya tespiti gerçekleştirilmiştir. Sürüş esnasında alınan termal görüntüler içeren ve literatürde sıklıkla kullanılan FLIR ADAS ve TarDAL veri setlerinden rasgele seçilerek etiketlenen örnekler, eğitim ve test gruplarına ayrılmış ve modeller eğitilerek tespitler gerçekleştirilmiştir. Elde edilen sonuçlardan modellerin başarı oranları hesaplanmıştır. ResNet-101 mimarisiyle; %98 duyarlılık, %98 hassasiyet ve %95'e ulaşan F1-skor oranları elde edilmiştir. Sonuçlar, bu tezde önerilen yöntemin geçerliliğini kanıtlar niteliktedir.In recent years, with the increase in population density, vehicle numbers and traffic congestion in cities, driving safety has become more important. Drivers' inability to detect pedestrians in low light and adverse weather conditions causes fatal traffic accidents for pedestrians, drivers and passengers. While twice as many traffic accidents with injuries occur during the daytime, it is known that the death rate is 44% higher at night. Although there are many pedestrian detection studies using visible light images in the literature, these systems don't function efficiently in low-light conditions such as night and twilight. Thermal camera technology ensures the effectiveness of this systems when visible spectrum cameras are ineffective. The limitations of pedestrian detection studies utilizing thermal images about safe driving necessitate the development of pedestrian detection systems. This study aims to prevent pedestrian-vehicle traffic accidents in low-light and adverse weather conditions and to protect human life with a detection system designed using thermal images. With this motivation, Histogram of Oriented Gradients descriptor with Support Vector Machines classification method, as well as AlexNet, Darknet-53, and ResNet-101 deep learning networks popularly used for object detection, had been employed for pedestrian detection. Randomly selected thermal images from frequently used FLIR ADAS and TarDAL datasets had been divided into training and test groups. Models had been trained and detections performed. By using the ResNet-101 algorithm, success rates of 94% recall, 98% precision, and 95% F1-score have been achieved. The obtained results validate the effectiveness of the proposed method in this study.