OPTİK KOHERENS TOMOGRAFİ VE RETİNAL FUNDUS GÖRÜNTÜLERİ KULLANILARAK ÇOK SINIFLI VE ÇOK ETİKETLİ GÖZ HASTALIKLARININ DERİN ÖĞRENME TABANLI SINIFLANDIRILMASI

Abstract

Yapay zeka (YZ) teknikleri kullanılarak çok sınıflı ve çok etiketli görüntülerin sınıflandırılması problemi literatürde hala çalışmaya ihtiyaç duyulan önemli bir sorundur. Bu tez çalışmasında, tıbbi görüntüleme alanında Optik Koherens Tomografi (OKT) ve fundus görüntülerini kullanarak göz hastalıklarının sınıflandırılmasına yönelik geliştirilen Evrişimli Sinir Ağları (ESA) ve Hibrid Vizyon Transformer (HVİT) tabanlı derin öğrenme modellerinin çok sınıflı ve çok etiketli veri setleri üzerinde başarımı değerlendirilmiştir. OKT ve fundus görüntülerini içeren farklı veri setleri üzerinde gerçekleştirilen deneysel çalışmalar sonucunda önerilen modellerin genelleme kabiliyetleri ve literatürdeki mevcut yöntemlerle kıyaslamalı performansları kapsamlı şekilde analiz edilmiştir. Çalışmada halka açık OKT görüntülerini içeren Kermany UCSD, OCTDL ve OCTID veri setleri ile fundus görüntülerini içeren ODIR5K veri seti üzerinde deneysel çalışmalar yürütülmüştür. Bu OKT veri setleri çok sınıflı farklı hastalık sınıflarını içermekte olup, fundus veri seti ise çok sınıflı ve çok etiketli farklı hastalık sınıflarını içeren bir veri setidir. Çok sınıflı ve çok etiketli veri setlerinde sınıf dengesizliğini ortadan kaldırmak için çeşitli yaklaşımlar geliştirilmiş ve uygulanmıştır. Bu amaçla Çekişmeli Üretken Ağ (ÇÜA) tabanlı sentetik görüntü üretimi gerçekleştirilmiştir. OKT veri setleri üzerinde önerilen ESA tabanlı yöntem ile Kermany UCSD veri setinde gerçekleştirilen sınıflandırma çalışmasında sırasıyla; %96.5, %98,29, %99,56, %98,31 ve %98,3 doğruluk, F1-skoru, AUC, kesinlik ve duyarlılık değerleri elde edilmiştir. Ayrıca, yine aynı veri seti üzerinde önerilen HVİT modeli ile gerçekleştirilen sınıflandırma çalışmasında sırasıyla; %99.7, %99.7, %100, %99.9, %99.7 ve 0.99 doğruluk, F1-skoru, AUC, kesinlik, duyarlılık ve Kappa skoru elde edilmiştir. OCTDL veri setinde önerilen ESA tabanlı yöntem ile sırasıyla; %95.26, %92.16, %99.74, %93.11 ve %91.53 doğruluk, F1-skoru, AUC, kesinlik ve duyarlılık değerleri elde edilmiştir. Önerilen HVİT modeli ile de sırasıyla; %96.58, %96.06, %99.92, %96.65, %95.72 ve 0.86 doğruluk, F1-skoru, AUC, kesinlik, duyarlılık ve Kappa skoru elde edilmiştir. OCTID veri seti üzerinde önerilen ESA tabanlı yöntem ile sırasıyla; %93.81, %92.49, %99.96, %93.37 ve %92.23 doğruluk, F1-skoru, AUC, kesinlik ve duyarlılık değerleri elde edilirken, önerilen HVİT modeli ile de sırasıyla; %94.41, %94.14, %99.55, %94.02, %94.4 ve 0.82 doğruluk, F1-skoru, AUC, kesinlik, duyarlılık ve Kappa skoru elde edilmiştir. Fundus veri seti ODIR-5k üzerinde önerilen HVİT modeli ile sırasıyla; %81.14, %81.03, %97.99, %81.08, %81.16 ve 0.80 doğruluk, F1-skoru, AUC, kesinlik, duyarlılık ve Kappa skoru değerleri elde edilmiştir. Elde edilen sonuçlar, literatürde yapılan çalışmalarla kıyaslanmış ve önerilen modellerin OKT ve fundus görüntü sınıflandırma problemlerinde yüksek doğruluk, F1-skoru, Kappa skoru, kesinlik, duyarlılık ve AUC değerleriyle başarılı sonuçlar gösterdiği ortaya konulmuştur. Bununla birlikte sınıf dengesizliği ve veri çeşitliliği ile model genelleştirilebilirliği gibi faktörlerin de dikkate alınması gerektiği ve önerilen ESA ve HVİT modellerinin, klinik karar destek sistemlerinde güvenilir ve etkili çözümler sunma potansiyeline sahip olduğu sonucuna ulaşılmıştır.The classification of multi-class and multi-label images using Artificial Intelligence (AI) techniques remains a significant and actively researched problem in the literature. In this thesis, the performance of deep learning models based on Convolutional Neural Networks (CNN) and Hybrid Vision Transformer (HViT), developed for the classification of ocular diseases using Optical Coherence Tomography (OCT) and fundus images in the field of medical imaging, is evaluated on multi-class and multi-label datasets. Comprehensive experimental studies were conducted on various datasets containing OCT and fundus images to analyze the generalization capabilities of the proposed models and their comparative performance against existing methods in the literature. Experimental studies were carried out on the Kermany UCSD, OCTDL, and OCTID datasets comprising OCT images, as well as the ODIR-5K dataset containing fundus images. The OCT datasets consist of multiclass disease categories, while the ODIR-5K dataset includes both multi-class and multi-label disease annotations. To address the class imbalance problem often encountered in such datasets, various strategies were developed and implemented, including the generation of synthetic images using Generative Adversarial Networks (GANs). Using the proposed CNN-based approach on the Kermany UCSD dataset, the following classification performance metrics were achieved: 96.5% accuracy, 98.29% F1-score, 99.56% AUC, 98.31% precision, and 98.3% recall. In comparison, the proposed HViT model achieved 99.7% accuracy, 99.7% F1- score, 100% AUC, 99.9% precision, 99.7% recall, and a Kappa score of 0.99 on the same dataset. On the OCTDL dataset, the CNN-based method yielded 95.26% accuracy, 92.16% F1-score, 99.74% AUC, 93.11% precision, and 91.53% recall. The HViT model achieved 96.58% accuracy, 96.06% F1-score, 99.92% AUC, 96.65% precision, 95.72% recall, and a Kappa score of 0.86. On the OCTID dataset, the CNN-based model achieved 93.81% accuracy, 92.49% F1-score, 99.96% AUC, 93.37% precision, and 92.23% recall, while the HViT model achieved 94.41% accuracy, 94.14% F1-score, 99.55% AUC, 94.02% precision, 94.4% recall, and a Kappa score of 0.82. For the ODIR-5K fundus image dataset, the proposed HViT model achieved 81.14% accuracy, 81.03% F1-score, 97.99% AUC, 81.08% precision, 81.16% recall, and a Kappa score of 0.80. The obtained results were compared with those reported in the literature, demonstrating that the proposed models achieve high accuracy, F1-score, Kappa score, precision, recall, and AUC in OCT and fundus image classification tasks. Furthermore, it was concluded that factors such as class imbalance, data diversity, and model generalizability should be taken into account. The proposed CNN and HViT models show strong potential as reliable and effective solutions for clinical decision support systems.