AÇIKLANABİLİR YAPAY ZEKA İLE DEEPFAKE RESİM, VİDEO VE SESLERİN TESPİTİ

Abstract

Teknoloji ve yapay zeka alanındaki son gelişmelerle birlikte, son derece gerçekçi sahte videoların, ses kayıtlarının ve görüntülerin üretilmesi daha kolay hale gelmiştir. Bu tür içerikler; sahte haber üretimi, dolandırıcılık ve itibar zedeleme gibi kötü niyetli amaçlarla kullanılabilmekte, bilgi güvenliğini ve toplumsal düzeni tehdit etmektedir. Bu çalışma, görüntü, video, ses ve çoklu ortam (ses–görüntü) verileri üzerinde çalışan kapsamlı ve açıklanabilir bir derin sahte (deepfake) tespit çerçevesi sunmaktadır. Her bir medya türü için özel olarak tasarlanan ve optimize edilen derin öğrenme modelleri, görüntülerde %99, videolarda %96, seslerde %99 ve çoklu ortam girdilerinde %96 doğruluk oranlarıyla yüksek tespit performansı elde etmiştir. Derin öğrenme modellerinin kara kutu yapısını ele almak amacıyla SHAP, LIME, LRP ve Grad-CAM gibi çeşitli Açıklanabilir Yapay Zeka (AYZ) teknikleri entegre edilerek şeffaf ve yorumlanabilir karar verme süreçleri sağlanmıştır. Bu açıklamalar, hem görsel hem de metinsel çıktılar aracılığıyla sunulmakta ve kullanıcıların bir içeriğin neden gerçek ya da sahte olarak sınıflandırıldığını anlamalarına olanak tanımaktadır. Tüm bileşenler, etkileşimli bir Gradio tabanlı ara yüz altında birleştirilerek gerçek dünya uygulamaları için uygun, pratik, güvenilir ve kullanıcı odaklı bir derin sahte analiz platformu ortaya konmuştur.

With the recent advances in technology and artificial intelligence, it has become easier to produce highly realistic fake videos, audio recordings, and images. These contents can be used for malicious purposes such as fake news, fraud, and reputation damage, threatening information security and social order. This study presents a comprehensive and explainable deepfake detection framework that operates on image, video, audio, and multimodal (audio–visual) data. Dedicated deep learning models are designed and optimized for each media type, achieving high detection performance with accuracies of 99% for images, 96% for videos, 99% for audio, and 96% for multimodal inputs. To address the black-box nature of deep learning models, multiple Explainable Artificial Intelligence (XAI) techniques, including SHAP, LIME, LRP, and Grad-CAM, are integrated to provide transparent and interpretable decision-making processes. These explanations are delivered through both visual and textual outputs, enabling users to understand why a given content is classified as real or fake. All components are unified within an interactive Gradio-based interface, resulting in a practical, reliable, and user-oriented deepfake analysis platform suitable for real-world applications.