Çok modlu medikal derin sahte (deepfake) tespit yöntemlerinin geliştirilmesi

Abstract

Deepfake teknolojisi, yanlış bilgilendirme, dolandırıcılık ve itibar zedelenmesi için kullanılabilen gerçekçi sentetik görüntüler, sesler ve videolar oluşturmayı mümkün kıldığı için dijital güvenlik sorunu hâline gelmiştir. Bu teknoloji hassas alanları etkilediğinden, bu tez farklı görüntüleme yöntemlerinde sahte tıbbi görüntüler üretmek ve tespit etmek için derin öğrenme tabanlı modeller geliştirmeyi ve değerlendirmeyi amaçlamaktadır. Tezin temel hipotezi, YOLO tabanlı mimarilerin tıbbi deepfake görüntüleri yüksek doğrulukla tespit edebileceğidir. İkincisi, tespit performansının model sürümüne ve tıbbi görüntü türüne göre değiştiğidir. Çalışmada başlangıçta diz osteoartriti röntgeni ve akciğer BT görüntüleri kullanılmıştır. İkinci aşamada, sahte beyin MRG görüntüleri, meme ultrasonu, böbrek BT ve akciğer BT görüntülerinden 3.732 görüntüden oluşan bir veri seti oluşturulmuştur. Metodoloji, görüntü toplama, ön işleme, veri artırma, GAN tabanlı modellerle sahte görüntü oluşturma, sınırlayıcı kutu etiketlemesi, veri seti bölme ve YOLO tabanlı dedektörlerin eğitimini içermektedir. İlk çalışmada YOLOv3, YOLOv5 ve YOLOv8 varyantları karşılaştırılırken, ikinci çalışmada YOLOv8 tabanlı dedektör kullanılmıştır. İlk çalışmadaki bulgular, YOLO modellerinin diz röntgeni deepfake tespitinde neredeyse tam başarı sağladığını, akciğer BT görüntülerinin daha zorlu bir tespit ortamı sunduğunu göstermiştir. İlk çalışmada, YOLOv5su, akciğer BT görüntülerinde 0,997'lik geri çağırma değeriyle doğruluk ve hız arasında en iyi dengeyi sağlamıştır. İkinci çalışmada, YOLOv8 tabanlı model, 0,999 kesinlik, 0,995 mAP50, 0,995 mAP50–95 ve 0,938 ortalama F1 puanı elde etmiştir. Bu sonuçlar, modelin tıbbi görüntülerde gerçek ve sahte örnekleri yüksek başarımla ayırt edebildiğini göstermektedir. Ayrıca hızlı çıkarım süresi sayesinde modelin pratik kullanım senaryoları için uygun performans sunduğu değerlendirilmektedir. Genel olarak sonuçlar YOLO tabanlı mimarilerin tıbbi deepfake tespiti için etkili, ölçeklenebilir ve pratik olduğunu göstermiştir.Deepfake technology has become a digital security issue because it makes it possible to create realistic synthetic images, sounds, and videos that can be used for misinformation, fraud, and reputational damage. Since this technology affects sensitive areas, this thesis aims to develop and evaluate deep learning-based models for generating and detecting fake medical images in different imaging methods. The main hypothesis of the thesis is that YOLO-based architectures can detect medical deepfake images with high accuracy. The second is that the detection performance varies depending on the model version and the type of medical image. Initially, knee osteoarthritis X-ray and lung CT images were used in the study. In the second phase, a dataset consisting of 3,732 images from fake brain MRI images, breast ultrasound, kidney CT, and lung CT images was created. The methodology includes image acquisition, preprocessing, data augmentation, generating fake images with GAN-based models, bounding box labeling, dataset splitting, and training of YOLO-based detectors. While the first study compared YOLOv3, YOLOv5, and YOLOv8 variants, the second study used the YOLOv8-based detector. Findings from the first study showed that YOLO models achieved near-complete success in knee X-ray deepfake detection, while lung CT images presented a more challenging detection environment. In the first study, YOLOv5su provided the best balance between accuracy and speed with a recall value of 0.997 in lung CT images. In the second study, the YOLOv8-based model achieved 0.999 precision, 0.995 mAP50, 0.995 mAP50–95, and an average F1 score of 0.938. These results demonstrate that the model can distinguish between real and fake samples in medical images with high accuracy. Furthermore, the model is considered to offer suitable performance for practical use cases due to its fast inference time. Overall, the results show that YOLO-based architectures are effective, scalable, and practical for medical deepfake detection.