Doğruluğun Ötesinde: HAM10000 Çok Sınıflı Cilt Lezyonu Kıyaslama Veri Setinde Derin Öğrenme Modellerinin Performans İstikrarının Metodolojik Değerlendirmesi

Abstract

Amaç: Derin öğrenme modellerinin yaygın kullanımına karşın tek bir performans ölçütüne dayalı değerlendirmelerin, sınıf dengesizliği içeren çok sınıflı veri kümelerinde modelin genelleştirilebilirliğini yete rince yansıtmayabileceği savunulmaktadır. Bu çalışma, dermoskopik deri lezyonlarının çok sınıflı sınıflandırılması için tek bir kıyaslama veri kümesi içinde derin öğrenme modellerinin veri bölme ve rastgele baş latmaya duyarlılığını niceliksel olarak araştırmaktadır. Gereç ve Yön temler: Bu amaçla EfficientNetB0 ve MobileNetV2 mimarileri kullanı larak, HAM10000 veri kümesine 3 katlı×3 tohumlu yinelemeli çapraz doğrulama protokolü uygulandı. Model performansı doğruluk, makro ortalama F1, hassasiyet, geri çağırma ve eğri altındaki alan ölçütleri kullanılarak değerlendirildi; her ölçüt için ortalama ve standart sapma değerleri rapor edildi. Tüm analizler, kontrollü koşullar altında perfor mans değişkenliği üzerindeki veri bölümleme ve rastgele başlatmanın etkilerini izole etmek için tek bir halka açık veri kümesi (HAM10000) üzerinde gerçekleştirilmiştir. Bulgular: MobileNetV2 modeli ortalama 0,725±0,025 doğruluk elde ederken, EfficientNetB0 modeli ortalama 0,715±0,045 doğruluk elde etmiştir. Buna karşılık makro ortalama F1 puanları, EfficientNetB0 için 0,461±0,155 ve MobileNetV2 için 0,531±0,056 olarak hesaplanmış olup, özellikle EfficientNetB0 mode linde yüksek değişkenlik gözlemlenmiştir. Benzer şekilde doğruluk değerleri, bazı katman ve başlangıç kombinasyonlarında %74’e ulaşır ken, F1 makro değerleri 0,27-0,41 aralığına düşmüştür. Varyans ayrış tırması, makro ortalamalı metriklerdeki değişkenliğin ağırlıklı olarak çapraz doğrulama katman bileşiminden kaynaklandığını, rastgele baş latmanın ise toplam varyansa nispeten daha küçük bir oranda katkıda bulunduğunu ortaya koymuştur. Sonuç: HAM10000 veri kümesine göre elde edilen bulgular, modellerin doğruluk değerlerinin nispeten istikrarlı bir performans göstermesine rağmen sınıf dengeli performans metrikle rinin, önemli dalgalanmalar gösterebileceğini ortaya koymaktadır.