Göğüs hastalıkları teşhisi için çok modlu bir derin öğrenme modeli

Abstract

Klinik uygulamalarda, özellikle birden fazla patolojinin bir arada bulunduğu durumlarda, göğüs hastalıklarının erken teşhisi büyük önem taşımaktadır. Derin öğrenme tabanlı medikal görüntü analizi her ne kadar umut verici sonuçlar vadetse de, literatürde yer alan mevcut araştırmaların büyük bir çoğunluğu tek modlu veri füzyonuna ve sabit ölçekli veri kümelerine dayanmaktadır. Bu durum, modellerin genelleştirme kapasitelerini ve klinik geçerlilik düzeylerini sınırlandırmaktadır. Bu çalışmada, çok etiketli göğüs hastalıklarına ait radyoloji görüntüleri ve hastalara ait metadata bilgileri kullanılarak farklı veri ölçekleri ve tek modlu ile çok modlu derin öğrenme modellerinin karşılaştırmalı analizi kapsamlı bir şekilde ele alınmaktadır. Çalışma kapsamında ResNet50, EfficientNetB3 ve DenseNet121 olmak üzere üç sinir ağı mimarisi temel alınarak, veri ölçeğinin füzyonlar üzerindeki etkisinin incelenebilmesi açısından 5.606 veriden oluşan küçük ölçekli ve 121.120 veriden oluşan büyük ölçekli veri kümelerinin tek modlu ve çok modlu veri füzyonlarının her birine entegre edilmesiyle toplamda 12 adet model geliştirilmiştir. Bu modellerin performansları, Area Under the Receiver Operating Characteristic Curve (AUROC) metriği kullanılarak değerlendirilmiştir. Deneysel değerlendirme sonuçları, çok modlu füzyon içeren mimarilerin tek modlu füzyon içeren mimarilere oranla artan veri sayılarıyla birlikte daha tutarlı performans gösterdiğini ortaya koymaktadır. Buna ek olarak, özellikle nadir görülen patolojiler için veri hacminin artması daha iyi genelleme ve düşük performans varyansı elde edilmesine yol açmıştır. Çalışma kapsamında elde edilen bu sonuçlar, göğüs hastalıklarının tanı ve teşhis süreçlerinde güçlü klinik karar destek sistemlerinin kurulmasını desteklemekle beraber çok modlu veri füzyonunun çok etiketli öğrenmede tanı doğruluğunu artan veri ölçeğiyle birlikte nasıl iyileştirebileceğini göstermektedir.

In clinical practice, especially in cases where multiple pathologies coexist, the early diagnosis of chest diseases is of great importance. Although deep learning-based medical image analysis shows promising outcomes, the vast majority of existing studies in the literature rely on unimodal data fusion and fixed-scale datasets. This limits the generalization capabilities and clinical validity levels of the models. This study comprehensively addresses the comparative analysis of various data scales and unimodal and multimodal deep learning models using radiology images of multi-labeled chest diseases and metadata information belonging to patients. Within the scope of this study, three neural network architectures (ResNet50, EfficientNetB3, and DenseNet121) were used as a basis to a total of 12 models were developed by integrating unimodal and multimodal data fusion into each of the small-scale dataset comprising 5,606 data points and the large-scale dataset consisting of 121,120 data points, in order to examine the effect of data scale on fusions. The performance of these models was evaluated based on the Area Under the Receiver Operating Characteristic Curve (AUROC).0020Experimental evaluation results demonstrate that architectures incorporating multimodal fusion exhibit more consistent performance than those incorporating unimodal fusion as data quantity increases. In addition, the increasing volume of data, particularly for rare pathologies, has led to improved generalization and lower performance variance. These findings support the development of robust clinical decision support systems for the diagnosis and treatment of chest diseases. They also demonstrate how multimodal data fusion can improve diagnostic accuracy in multi-labeled learning as data scale increases.