ADLİ DELİL İNCELEMESİ SÜRECİNDE DERİN ÖĞRENME TABANLI ÇOKLU ORTAM İÇERİKLERİNİN ANALİZİ

Abstract

Günümüzde teknolojinin gelişmesi ile birlikte dijital ortamlar insan hayatının vazgeçilmez bir parçası olmuştur. Bu durum adli delil incelemelerinde incelenmesi gereken dijital veri miktarının gün geçtikçe artmasına sebep olmaktadır. Özellikle multimedya verilerinin adli açıdan incelenmesi yapıları gereği içerisinde kolayca arama yapılamadığından daha zordur. Bu durum adli delil incelemelerinin geciktirilmemesi ve sürecin hatasız ilerleyebilmesi için otomatik delil çıkarım sistemlerine olan ihtiyacı doğurmuştur. Son yıllarda derin öğrenme yöntemleri kullanılarak multimedya verileri üzerinde resim ve ses sınıflandırma, nesne tespiti, konuşma ve konuşmacı tanıma gibi alanlarda çok başarılı uygulamalar geliştirilmektedir. Derin öğrenme yöntemlerinin adli bilişim inceleme sürecinde otomatik delil çıkarma için kullanılması adli delil inceleme sürecine ve adli delil inceleme uzmanlarına katkı sağlayacak ve adli delil inceleme uzmanlarının yükünü büyük ölçüde hafifletecektir. Tez çalışması kapsamında adli delil inceleme sürecinde multimedya verilerini otomatik analiz edecek modeller önerilmiştir. Önerilen modeller, görüntü ve video verilerinde otomatik nesne tespiti ve video verilerinin işlenmesini hızlandırma, resim ve video verileri içerisinde müstehcenlik ve çocuk istismarını otomatik tespit etme ve ses verileri içerisinde anahtar kelimeleri tespit etme gibi çözümler sunmaktadır. Önerilen nesne tespit sistemi yeni oluşturulan 19000 resimden oluşan veri seti üzerinde 85 mAP başarı elde etmektedir. Önerilen müstehcen içerik ve çocuk istismarı tespit modeli, NPDI referans veri seti üzerinde %99 başarı sağlamaktadır. Kelime tespit modeli ise yeni oluşturulan Türkçe veri seti üzerinde %77 doğruluk oranına sahiptir. Önerilen modeller deneysel sonuçlar ile adli delil inceleme sürecinde başarılı destek sistemleri geliştirilebileceğini göstermiştir. Tez çalışması kapsamında yapılan çalışmalar adli bilişim alanında delil inceleme sürecinin geliştirilmesi için yapılacak olan gelecek çalışmalara yön verebilme potansiyeline sahiptir.

Today, with the development of technology, digital environments have become an indispensable part of human life. This situation causes the amount of data to be examined in forensics evidence investigations to increase day by day. Especially forensic examination of multimedia data is more difficult as it cannot be easily searched due to its structure. This situation has led to the need for automatic evidence extraction systems in order not to delay forensic evidence examinations and to ensure that the process proceeds without errors. In recent years, successful applications have been developed in various areas such as image and audio classification, object detection, speech recognition, and speaker identification on multimedia data using deep learning methods. The utilization of deep learning methods for automated evidence extraction in forensic investigation processes will contribute to the forensic examination process and alleviate the workload of forensic examiners to a significant extent. Within the scope of this thesis, models to automatically analyze multimedia data in the forensic evidence examination process are proposed. The proposed models offer solutions such as automatic object detection in image and video data and accelerating the processing of video data, automatic detection of obscenity and child abuse in image and video data, and detection of keywords in audio data. The proposed object detection system achieves 85 mAP on a newly created dataset of 19000 images. The proposed obscene content and child sexual abuse detection model achieves an accuracy of 99% on the NPDI benchmark dataset. The keyword detection model achieves an accuracy of 77% on the newly created Turkish speech dataset. The proposed models have shown that successful support systems can be developed in the forensic evidence examination process with experimental results. The studies conducted within the scope of this thesis have the potential to guide future studies in the field of digital forensics for the development of the evidence examination process.