Medikal operasyon videoları için yapay zeka modeli kullanan büyük dil modeli tabanlı işlem önerisi oluşturma yaklaşımı

Abstract

Gelişen yapay zeka teknolojileri, medikal görüntü ve video verilerinin sistematik biçimde analiz edilmesine olanak sağlamaktadır. Minimal invaziv cerrahi operasyon videolarının yapay zeka ile işlenmesi, cerrahi iş akışının anlaşılması, fazlara ayrılması ve karar destek mekanizmalarının geliştirilmesi açısından önemli bir araştırma alanıdır. Bu tezde, medikal operasyon videolarından cerrahi faz bilgisinin otomatik olarak çıkarılması ve bu bilginin büyük dil modeli tabanlı yapılandırılmış işlem önerilerine dönüştürülmesi amaçlanmıştır. Çalışmanın temel hipotezi, görsel temsil kalitesi ve zamansal bağlam kullanımının faz tanıma başarımını artıracağı; mevcut faz, güven değeri ve olası sonraki faz bilgilerinin birlikte kullanılmasının ise daha açıklayıcı ve tutarlı işlem önerileri üretebileceğidir. Tez kapsamında iki ayrı yöntemsel yaklaşım geliştirilmiştir. Birinci yaklaşımda, Cholec80 veri setindeki laparoskopik kolesistektomi videolarından elde edilen kareler kullanılarak tek kare tabanlı cerrahi faz tanıma gerçekleştirilmiş; EfficientNet-B0 modeli ile yedi cerrahi faz sınıflandırılmış ve Grad-CAM tabanlı açıklanabilirlik analizi yapılmıştır. İkinci yaklaşımda ise görsel öznitelik dizileri üzerinden Çok Aşamalı Zamansal Evrişimsel Ağ (MS-TCN) tabanlı temporal faz tanıma gerçekleştirilmiş; model çıktıları faz geçiş bilgisi, güven değeri ve olası sonraki faz dağılımlarıyla birlikte büyük dil modeli tabanlı öneri üretim katmanına aktarılmıştır. Sistem, öneri metni, güvenlik notu ve JSON biçimli yapılandırılmış çıktılar üretmiş; FastAPI ve Streamlit bileşenleriyle prototip olarak sunulmuştur. Deneysel çalışmalarda 80 video ve 184.578 kare üzerinde yedi cerrahi faz değerlendirilmiştir. Tek kare tabanlı yaklaşım %85,87 doğruluk, %75,18 Makro F1 ve %97,59 Makro ROC-AUC; temporal yaklaşım ise %85,40 doğruluk, %78,88 Makro F1 ve %74,67 Edit Score değerlerine ulaşmıştır. Sonuç olarak tez, cerrahi faz tanıma, temporal iş akışı modelleme ve büyük dil modeli tabanlı işlem önerisi üretimini bütünleştiren modüler, araştırma prototipi niteliğinde bir yaklaşım sunmaktadır.

Advances in artificial intelligence technologies enable the systematic analysis of medical image and video data. The processing of minimally invasive surgical operation videos using artificial intelligence constitutes an important research area in terms of understanding surgical workflow, segmenting it into phases, and developing decision-support mechanisms. This thesis aims to automatically extract surgical phase information from medical operation videos and transform this information into structured procedure suggestions based on large language models. The main hypothesis of the study is that visual representation quality and the use of temporal context will improve phase recognition performance, while the combined use of the current phase, confidence score, and possible next-phase information will generate more explanatory and consistent procedure suggestions. Within the scope of the thesis, two distinct methodological approaches were developed. In the first approach, single-frame-based surgical phase recognition was performed using frames obtained from laparoscopic cholecystectomy videos in the Cholec80 dataset; seven surgical phases were classified using the EfficientNet-B0 model, and Grad-CAM-based explainability analysis was conducted. In the second approach, temporal phase recognition based on a Multi-Stage Temporal Convolutional Network (MS-TCN) was performed using visual feature sequences; the model outputs were transferred to the large language model-based suggestion generation layer together with phase transition information, confidence scores, and possible next-phase distributions. The system generated suggestion text, safety notes, and JSON-formatted structured outputs, and was presented as a prototype through FastAPI and Streamlit components. In the experimental studies, seven surgical phases were evaluated on 80 videos and 184,578 frames. The single-frame-based approach achieved an accuracy of 85.87%, a Macro F1 score of 75.18%, and a Macro ROC-AUC of 97.59%; whereas the temporal approach achieved an accuracy of 85.40%, a Macro F1 score of 78.88%, and an Edit Score of 74.67%. As a result, this thesis presents a modular research-prototype approach that integrates surgical phase recognition, temporal workflow modeling, and large language model-based procedure suggestion generation.