GÖRÜNTÜ VERİLERİNDE DERİN ÖĞRENME TABANLI YÜZ TANIMA VE FİZİKSEL ŞİDDET OLAYLARININ ADLİ BİLİŞİM AÇISINDAN TESPİTİ

Abstract

Teknolojinin hızlı bir şekilde gelişmesi hayatımızın neredeyse tüm alanına sirayet ettiği görülmüştür. Son yıllarda yapay zekâ alanında yaşanılan gelişmelere bakıldığında, yapay zekâ modellerinin insan başarı oranının üzerinde tespit, analiz ve anlamsal bütünlük sağladığı görülmektedir. Adli bilişim de bu alanların başında gelmekte ve yaşanılan teknolojik gelişmelere paralel olarak, yapay zekanın alana entegrasyonu konusunda çaba sarf edilmektedir. Adli bilişim alanında yaşanılan problemlere bakıldığında, adli delillerin incelenmesi ve analizi gösterilebilir. Uzman personel tarafından adli delil içerisinden çıkan dosyaların üzerinde yapılacak analizin hem zaman hem de maliyet açısından büyük dezavantajı bulunmaktadır. Özellikle adli bilişim analiz yazılımlarının görüntü, video ve ses gibi multimedya verileri üzerinde kısıtları düşünüldüğünde bu türden ilgili dosyalar üzerinde detaylı analiz yapılması imkânsız hale gelmektedir. Bu tez çalışmasında adli bilişim süreci adli delil analizi aşamasında meydana gelen problemlerin aşılması, maddi gerçeğin ortaya çıkarılması için delil içinde bulunan kişi/kişilerin ve olayların özelinde şiddet tespitinin yapılması amaçlanmıştır. Kişi ve olay korelasyonu yapılarak adli delil içerisinde bulunan verilerin içeriklerinin anlamsal çıkarımları yapılacaktır. Bu anlamsal çıkarım sadece bu tez özelinde bulunan nesneler dahilinde sınırlı değil, tüm olay ve olguları kapsayacak şekilde genişletilebilmektedir. Bu tez çalışmasında son yıllarda gerçek zamanlı ve yüksek başarımlı nesne tanıma mimarilerinden YOLOv8 kullanılarak kişi tespit, tanıma ve olay tespitlerinin yapılması amaçlanmıştır. Elde edilen sonuçlara bakıldığında en başarılı modellerimiz donanım bağımlı olarak %99 başarım ve 55 fps'de yüz tespiti, %90 başarım ve 55fps'de olay tespiti ve %99,8 oranında kişilerin kimliklendirilmesini yapabilmektedir. Ayrıca yapılan tespitlerin adli bilişim uzmanları tarafından rahatlıkla kullanılabilmesi amacıyla tez çalışması sonucunda bir arayüz oluşturulmuş ve demo versiyonu kullanıcıların hizmetine sunulmuştur.

It has been observed that the rapid development of technology has spread to almost all areas of our lives. Looking at the developments in the field of artificial intelligence in recent years, it is seen that there are many studies that provide detection, analysis and semantic integrity above the human success rate. Forensic informatics is one of these fields and strives to integrate artificial intelligence into our lives with technological developments. Examination and analysis of forensic evidence can be shown as the problems experienced in the field of forensic informatics. The analysis to be performed by specialized personnel on the files extracted from forensic evidence has great disadvantages in terms of both time and cost. Especially forensic analysis software has limitations on multimedia data such as images, video and audio. In this thesis, in order to overcome the problems that occur during the forensic evidence analysis phase of the forensic informatics process, it is aimed to identify the person/persons and events in the evidence in order to reveal the material truth. Thus, by making person and event correlation, semantic inferences of the content of the data contained in the forensic evidence will be made. In this thesis, it is aimed to perform person detection, recognition and event detection using YOLOv8, one of the real-time and high-performance object recognition architectures in recent years. When we look at the results obtained, our most successful models can perform face detection at 55fps with 99% success, event detection at 55fps with 90% success and identification of people at a rate of 99.8% depending on the hardware. In addition, an interface was created as a result of the thesis study in order to make the detections easily used by forensic informatics experts and the demo version was presented to the service of users.