HABER KAYNAKLARINDAKİ VİDEOLARIN DERİN SAHTELİĞİNİN GÖRÜNTÜ ANALİZİ VE METİN DOĞRULAMASI İÇİN DERİN ÖĞRENME YÖNTEMLERİNİN KULLANIMI

Abstract

Dijital içerik manipülasyonlarının artması, özellikle deepfake videoların bireysel, kurumsal ve toplumsal güvenliği tehdit eden önemli bir unsur haline gelmesine yol açmıştır. Yapay zeka tabanlı üretici modellerin giderek daha gelişmiş hale gelmesi, sahte video ve ses üretimini kolaylaştırmaktadır. Bu durum doğru bilgiye erişimi zorlaştırarak medya güvenilirliğini zayıflatmaktadır. Bu bağlamda, sahte içeriklerin erken ve doğru tespiti, dezenformasyonun yayılmasını engellemek ve güvenli bilgi ekosisteminin sürdürülebilirliğini sağlamak açısından kritik bir gereklilik haline gelmiştir. Bu tez çalışmasının temel amacı, videolardaki görsel manipülasyonları tespit edebilen, konuşma içeriğini güvenilir biçimde metne dönüştüren ve elde edilen metnin doğruluğunu bağımsız haber kaynaklarıyla karşılaştırarak değerlendiren bütünleşik bir doğrulama sistemi geliştirmektir. Çalışmanın temel hipotezi, görüntü, ses ve metin verilerinin birlikte analiz edildiği çok modlu bir yaklaşımın, tekli yöntemlere kıyasla manipülasyonları daha yüksek doğrulukla tespit edeceğidir. Araştırmada DFDC, FaceForensics++, Celeb-DF ve DFD gibi literatürde yaygın kullanılan büyük ölçekli veri kümeleri ile yaklaşık 300 haber metninden oluşan kapsamlı bir veri seti kullanılmıştır. Yöntemsel olarak videolarda sahte yüz üretimini belirlemek amacıyla ResNeXt-50 ve LSTM tabanlı hibrit bir mimari kullanılmıştır. Ses transkripsiyonu için Whisper modeli tercih edilmiştir. İçerik doğrulaması ise Zemberek, BERTSum, YAKE, SBERT ve N-gram temelli çok katmanlı bir NLP yapısıyla gerçekleştirilmiştir. Elde edilen bulgular, hibrit görüntü modelinin yüz manipülasyonlarını yüksek doğrulukla tespit ettiğini, Whisper'ın farklı ses senaryolarında en düşük hata oranını sunduğunu ve metin doğrulama bileşeninin haber içeriklerini güvenilir kaynaklarla başarılı bir şekilde karşılaştırabildiğini göstermektedir. Sonuç olarak çalışma, deepfake içeriklerin çok boyutlu analizine olanak sağlayan, gerçek zamanlı çalışabilen ve yüksek doğruluk sunan yenilikçi bir doğrulama sistemi ortaya koymaktadır.

The rise of digital content manipulation, particularly deepfake videos, has become a significant threat to individual, institutional, and societal security. Increasingly sophisticated AI-based generative models are facilitating the production of fake video and audio. This situation hinders access to accurate information, weakening media credibility. In this context, early and accurate detection of false content has become critical to preventing the spread of disinformation and ensuring the sustainability of a secure information ecosystem. The main objective of this thesis is to develop an integrated verification system that can detect visual manipulations in videos, reliably convert the speech content into text, and evaluate the accuracy of the resulting text by comparing it with independent news sources. The main hypothesis of the study is that a multimodal approach where image, audio and text data are analyzed together will detect manipulations with higher accuracy compared to single methods. In the research, a comprehensive dataset consisting of approximately 300 news texts and large-scale datasets widely used in the literature such as DFDC, FaceForensics++, Celeb-DF and DFD were used. A hybrid architecture based on ResNeXt-50 and LSTM was used to detect fake faces in videos. The Whisper model was used for audio transcription. Content verification was performed using a multilayer NLP structure based on Zemberek, BERTSum, YAKE, SBERT, and N-gram. The findings show that the hybrid image model detects facial manipulations with high accuracy, Whisper offers the lowest error rate in different audio scenarios, and the text verification component can successfully compare news content with reliable sources. As a result, the study presents an innovative verification system that enables multi-dimensional analysis of deepfake content, operates in real time, and offers high accuracy.