ÖZ DENETİMLİ ÖĞRENME YAKLAŞIMLARI İLE DERİN SAHTE SES VE GÖRÜNTÜ MANİPLASYONUNUN TESPİTİ

Abstract

Derin sahte teknolojisi, ses ve görüntü manipülasyonları yoluyla hızla yaygınlaşan ve ciddi güvenlik riskleri taşıyan bir tehdit unsuru haline gelmiştir. Bu tür sahte içeriklerin tespiti, medya güvenilirliğinin korunması ve sahte içeriklerin toplum üzerindeki olumsuz etkilerinin önlenmesi açısından kritik bir öneme sahiptir. Bu tez çalışmasında, derin öğrenme tabanlı iki farklı yaklaşım kullanılarak derin sahte video içeriklerinin tespiti amaçlanmıştır. İlk yaklaşımda öz-denetimli bir yöntem uygulanmıştır. Bu yöntemde, "deepfake-and-real-images" veri seti kullanılarak, ResNet18 tabanlı bir RotationNet modeliyle görüntülerin döndürülme açısını tahmin etmeye yönelik ön eğitim gerçekleştirilmiş, sonrasında bu modelin özellik çıkarıcı katmanları sabitlenerek gerçek/sahte sınıflandırması için ince ayar yapılmıştır. İkinci yaklaşımda ise çoklu modaliteye dayalı bir derin öğrenme yaklaşımı önerilmektedir. Çalışmada, yaygın olarak kullanılan DeepFake Detection Challenge veri setinden alınan videolar kullanılmıştır. Önerilen yöntemde, video akışlarından yüz görüntülerinin elde edilmesi için MTCNN tabanlı bir yüz tespit ve hizalama yöntemi kullanılmıştır. Bu yüz görüntüleri, daha sonra CNN ve LSTM tabanlı modele girdi olarak verilmiştir. Ses akışlarından çıkarılan Mel spektrogramları ise bir CNN tabanlı modelle analiz edilmiştir. Her iki modaliteden elde edilen özellikler ile bu özelliklerin birleşimini işleyen görsel-işitsel füzyon modeli geliştirilmiştir. Görüntü, ses ve füzyon modellerinden elde edilen tahminler, öğrenilebilir ağırlıklarla birleştirilerek bir ensemble model oluşturulmuş ve nihai karar bu model üzerinden verilmiştir. Yapılan deneysel çalışmalar sonucunda, geliştirilen öz-denetimli yaklaşımın derin sahte videoları, %88.89 doğruluk, %83.15 geri çağırma ve %88.10 F1 skoru ile tespit ettiği gözlenmiştir. Çok modlu modelin ise %92.17 doğruluk, %90.36 geri çağırma ve %92.02 F1 skoru ile başarılı bir şekilde tespit edebildiği gözlemlenmiştir. Bu çalışmalar, kullanılan yöntemlerin derin sahte tespitindeki etkinliğini ortaya koyarak, bu alandaki çalışmalara katkı sunmayı hedeflemektedir.Deepfake technology has become a rapidly spreading threat through audio and video manipulations and poses serious security risks. Detection of such fake content is of critical importance in terms of preserving media credibility and preventing the negative effects of fake content on society. In this thesis, it is aimed to detect deepfake video content using two different deep learning-based approaches. In the first approach, a self-supervised method is applied. In this method, pre-training is performed to estimate the rotation angle of the images with a ResNet18-based RotationNet model using the "deepfake-and-real-images" dataset, and then the feature extractor layers of this model are fixed and fine-tuned for real/fake classification. In the second approach, a multi-modality deep learning approach is proposed. In the study, videos taken from the widely used DeepFake Detection Challenge dataset are used. In the proposed method, an MTCNN-based face detection and alignment method is used to obtain face images from video streams. These face images are then given as input to the CNN and LSTM-based model. Mel spectrograms extracted from audio streams were analyzed with a CNN-based model. An audiovisual fusion model was developed that processes features derived from both modalities and their combination. Predictions from the image, audio, and fusion models were combined with learnable weights to create an ensemble model, and the final decision was made based on this model. As a result of the experimental studies, it was observed that the developed self-supervised approach detected deepfake videos with 88.89% accuracy, 83.15% recall and 88.10% F1 score. It was observed that the multimodal model could successfully detect 92.17% accuracy, 90.36% recall and 92.02% F1 score. These studies aim to contribute to the studies in this field by revealing the effectiveness of the methods used in deepfake detection.