DEEPFAKE TESPİTİ İÇİN DERİN ÖĞRENME TABANLI HİBRİT MİMARİLERİN GELİŞTİRİLMESİ

Abstract

Derin öğrenme teknolojileri gün geçtikçe popülerliği artan uygulamalardan biri olmuştur. Bunlardan bir tanesi de deepfake olarak adlandırılan derin sahte uygulamalarıdır. Temel olarak deepfake, gerçek gibi görünen yanıltıcı içerik oluşturmak için görüntülerin, seslerin ve videoların yapay olarak oluşturulmasını veya değiştirilmesini sağlayan yeni bir teknolojidir. Eğitim, eğlence ve araştırma gibi alanlarda olumlu etkileri olmasına rağmen, sahte haber, propaganda, itibar zedeleme, şantaj gibi kötüye kullanımı da söz konusudur. Bu nedenle sahtecilik ile mücadelede derin sahteleri tespit etmek için çeşitli derin öğrenme tabanlı teknikler önerilmiştir. Bu mücadeleye katkıda bulunmak için yürütülen bu çalışmada Xception ve EfficientNet yöntemlerini kullanan 3 farklı derin sahte algoritması kullanıldı. Ayrıca, Choquet Bulanık İntegrali ile birleştirilerek yeni bir derin sahte tespit yöntemi sunuldu. Önerdiğimiz yöntem, kendi alanlarında iyi olan 3 farklı algoritmayı alarak her bir algoritmanın tek başına çalışabileceği doğruluk değerlerine karşılık gelen bulanık üyelik değerlerini Choquet Bulanık İntegrali kullanarak tek bir çatı altında toplamış ve böylece derin sahtecilik alanında daha önce yapılmamış bir çalışmaya imza atarak derin sahte tespitinin doğruluk oranını önemli ölçüde artırmıştır. FaceForensics ++, DFDC, Celeb-DF-v2 ve DeepFake-TIMIT-HQ veri kümesi kullanılarak elde edilen deneysel sonuçlar, Choquet Bulanık İntegral tekniğine dayalı önerilen yaklaşımın derin sahtecilik sınıflandırması için tek sınıflandırıcılardan daha iyi performans gösterdiğini ve %99,8'lik en yüksek AUC'ye ulaştığını göstermektedir. Bu yöntemde, başka etkili modeller kullanılarak daha etkili bir sonuç elde edilebilir. Önerilen ikinci yöntemde ise görüntü işleme teknolojilerde son teknoloji olarak kullanılan ve güncel olan Görüntü Dönüştürücü (ViT) kullanılmıştır. Yöntemde ViT ile birlikte literatürde derin sahte tespit yöntemlerinde öncülük eden ve mimari olarak çok hafif olan MesoNet yöntemi kullanılmıştır. Önerilen yöntem küçük miktarda veri setinde eğitilmesine rağmen %92,6 doğruluk oranı ile kabul edilebilir bir performans göstermiştir. Ayrıca kullanıcılar için görüntülerini analiz edebilecekleri gerçek zamanlı derin tespit uygulaması tasarlanmıştır. Önerilen yöntemin araştırmacılara ilham vereceğine ve daha da geliştirileceğine inanıyoruz.Deep learning technologies have become one of the applications that are becoming increasingly popular. One of these is applications called deepfake. Basically, deepfake is a new technology that allows images, sounds and videos to be artificially created or modified to create misleading content that looks like real. Although it has positive effects in areas such as education, entertainment and research, it is also misused such as fake news, propaganda, reputation damage and blackmail. For this reason, various deep learning-based techniques have been proposed to detect deepfakes in the fight against forgery. In this study, which was carried out to contribute to this fight, 3 different deepfake algorithms using the Xception and EfficientNet methods were used. In addition, a new deepfake detection method was presented by combining it with Choquet Fuzzy Integral. Our proposed method takes 3 different algorithms that are good in their own fields and gathers the accuracy values and fuzzy membership values that each algorithm can work on its own under a single roof using Choquet Fuzzy Integral, and thus, it has significantly increased the accuracy rate of deepfake detection by signing a study that has not been done before in the field of deepfake. Experimental results obtained using FaceForensics ++, DFDC, Celeb-DF-v2 and DeepFake-TIMIT-HQ dataset show that the proposed approach based on Choquet fuzzy integral technique outperforms single classifiers for deepfake classification and reaches the highest AUC of 99.8%. In this method, a more effective result can be obtained by using other effective models. In the second proposed method, Image Transformer (ViT), which is the latest technology used in image processing technologies and is up-to-date, is used. In the method, together with ViT, the MesoNet method, which is a pioneer in deepfake detection methods in the literature and is very lightweight in terms of architecture, is used. Although the proposed method was trained on a small amount of dataset, it showed an acceptable performance with an accuracy rate of 92.6%. In addition, a real-time deep detection application is designed for users to analyze their images. We believe that the proposed method will inspire researchers and will be further developed.