DERİN ÖĞRENME YÖNTEMLERİ KULLANARAK MEDİKAL GÖRÜNTÜLERİNDEN OTOMATİK HASTALIK TESPİTİ VE TIBBİ RAPORLARININ YAZILMASI

Abstract

Göğüs röntgeni görüntüleri birçok hastalığın teşhisinde kritik rol oynamaktadır ancak görüntülerin geleneksel yöntemler ile analiz edilerek yorumlanması zaman alıcı, uzman personel gerektiren ve insan hatası riski yüksek bir süreçtir. Bu tez çalışmasının amacı, göğüs röntgeni görüntülerinden çok etiketli hastalıların teşhisi ve raporlanması için derin öğrenme tabanlı, yüksek performanslı, düşük maliyetli ve esnek modeller geliştirmektir. Çalışmada içerisinde 112.104 etiketli göğüs röntgeni görüntüsü olan ChestX-Ray14 veri seti, göğüs röntgeni görüntüleri ve raporlarından oluşan Indiana Üniversitesi göğüs röntgeni veri seti, tıbbi görüntü alt yazılama çalışmalarında kullanılan ROCOv2 veri seti ve tez kapsamında etik kurul izni ile göğüs röntgeni görüntüleri ve raporlarından oluşturulan Türkçe tıbbi raporlama veri seti kullanılmıştır. Tez çalışmaları kapsamında beş farklı uygulama yapılarak tıbbi görüntülerin raporlanması üzerine çalışmalar yürütülmüştür. İlk uygulamada, EfficientNet ve koordinat dikkat mekanizması birleştirilerek hesaplama maliyeti düşük ve yüksek başarılı bir model geliştirilerek14 hastalığın sınıflandırılmasında 0,8309 AUC oranı elde edilmiştir. İkinci uygulamada, G-CNX adı verilen ConvNeXt ve GRU mimarilerinin kodlayıcı-kod çözücü altyapısında birleştirildiği melez model ile paragraf düzeyinde raporlar üretilmiş ve Bleu-1 değerlendirme metriğinde 0,6544 olarak literatürdeki en yüksek raporlama puanına ulaşılmıştır. Üçüncü çalışmada DeiTGPT adı verilen damıtma tekniği kullanan model %66 zaman verimliliği ile dikkat çekmektedir. Dördüncü uygulamada transförmatör mimarilerinden güç alan Vi-Ba mimarisi 0,274 Rouge puanı elde etmiş ve esnekliğiyle ön plana çıkmıştır. Son uygulamada Türkçe tıbbi rapor üretimine odaklanılan Model-SEY mimarisi Bleu-1 metriğinde 0,6412 puanına ulaşarak teknik hem dilsel açıdan etkili sonuçlar üretmiştir. Tez kapsamında önerilen modeller, tıbbi raporlamanın verimliliğini artırabilecek, uzman doktorların iş yükünü azaltabilecek, tanı süreçlerinin kalitesini iyileştirebilecek ve olası insan hatalarını önleyebilecektir.Chest X-ray images play a critical role in the diagnosis of many diseases, but analyzing and interpreting images using traditional methods is a time-consuming process that requires specialized personnel and carries a high risk of human error. The aim of this thesis is to develop deep learning-based, high-performance, low-cost, and flexible models for the diagnosis and reporting of multi-labeled diseases from chest X-ray images. The study uses the ChestX-Ray14 dataset, which contains 112,104 labeled chest X-ray images, the Indiana University chest X-ray dataset consisting of chest X-ray images and reports, the ROCOv2 dataset used in medical image captioning studies, and a Turkish medical reporting dataset created from chest X-ray images and reports with ethical committee approval. Within the scope of the thesis, five different applications were developed to study the reporting of medical images. In the first application, EfficientNet and a coordinate attention mechanism were combined to develop a low-cost, high-performance model, achieving an AUC of 0.8309 in the classification of 14 diseases. In the second application, a hybrid model combining ConvNeXt and GRU architectures in an encoder-decoder infrastructure called G-CNX was used to generate paragraph-level reports, achieving the highest reporting score in the literature of 0.6544 on the Bleu-1 evaluation metric. In the third study, the model using the distillation technique called DeiTGPT attracted attention with its 66% time efficiency. In the fourth application, the Vi-Ba architecture, which draws power from transformer architectures, achieved a Rouge score of 0.274 and stood out with its flexibility. In the final application, the Model-SEY architecture, which focuses on Turkish medical report generation, achieved a score of 0.6412 on the Bleu-1 metric, producing effective results both technically and linguistically. The models proposed in this thesis can increase the efficiency of medical reporting, reduce the workload of specialist doctors, improve the quality of diagnostic processes, and prevent potential human errors.