Derin öğrenme tabanlı ön eğitimli görüntü modellerinin saldırılara karşı dayanıklılık analizi

Abstract

Derin ö!renme tabanlı görüntü sınıflandırma modelleri, standart kıyaslama veri kümelerinde yüksek do!ruluk de!erleri elde etmesine ra!men, adversaryal pertürbasyonlara kar"ı ciddi kırılganlık sergilemektedir. Bu tez çalı"masında, yaygın olarak kullanılan önceden e!itilmi" mimarilerin (ResNet- 50, VGG-16, E$cientNet-B0, ViT-B/16) adversaryal saldırılar altındaki sa!lamlık profilleri kapsamlı bir deneysel çerçevede de!erlendirilmi"tir. FGSM, PGD, C&W, DeepFool ve AutoAttack gibi çe"itli saldırı yöntemleri kullanılarak, hem L→ hem de L2 norm kısıtları altında sistematik bir kar"ıla"tırma gerçekle"tirilmi"tir. Deneysel sonuçlar, dönü"türücü tabanlı ViT-B/16 modelinin, tüm saldırı türleri ve bozunum bütçeleri altında CNN tabanlı modellere göre tutarlı biçimde daha yüksek sa!lam do!ruluk sergiledi!ini ortaya koymu"tur. AutoAttack altında ViT-B/16 %53.4 sa!lam do!ruluk elde ederken, en kırılgan model olan VGG-16 %32.8 düzeyinde kalmı"tır. Frekans analizi bulguları, bu avantajın temel nedenini açıklamaktadır: ViT'nin global kendine-dikkat mekanizması, modelin dü"ük frekanslı semantik özelliklere odaklanmasını sa!layarak yüksek frekanslı adversaryal gürültüye do!al bir duyarsızlık kazandırmaktadır. Çalı"ma ayrıca, adversaryal e!itimli CNN ile standart e!itimli dönü"türücü arasındaki performans farkının yalnızca 4.4 puan oldu!unu ortaya koyarak, mimari seçiminin savunma stratejisi kadar kritik olabilece!ini göstermektedir. CNN ve dönü"türücü mimarilerinin birlikte kullanıldı!ı topluluk savunma stratejisinin, siyah kutu saldırılarına kar"ı tek modele göre %25-30 daha yüksek direnç sa!ladı!ı deneysel olarak kanıtlanmı"tır.Deep learning-based image classification models achieve high accuracy on standard benchmark datasets; however, they exhibit significant vulnerability to adversarial perturbations. In this thesis, the robustness profiles of widely used pretrained architectures (ResNet-50, VGG-16, E$cientNet-B0, and ViT-B/16) under adversarial attacks are evaluated within a comprehensive experimental framework. A systematic comparison is conducted using several attack methods, including FGSM, PGD, C&W, DeepFool, and AutoAttack, under both L→ and L2 norm constraints. The experimental results reveal that the transformer-based ViT-B/16 model consistently demonstrates higher robust accuracy than CNN-based models across all attack types and perturbation budgets. Under AutoAttack, ViT-B/16 achieves 53.4% robust accuracy, whereas the most vulnerable model, VGG-16, remains at 32.8%. Frequency analysis findings explain the underlying reason for this advantage: the global self-attention mechanism of ViT enables the model to focus on low-frequency semantic features, thereby providing a natural insensitivity to high-frequency adversarial noise. The study further shows that the performance gap between an adversarially trained CNN and a standardly trained transformer is only 4.4 percentage points, indicating that architectural choice can be as critical as defense strategies. Moreover, an ensemble defense strategy combining CNN and transformer architectures is experimentally shown to provide 25–30% higher resistance to black-box attacks compared to a single-model approach.