Büyük dil modelleri ve rag mimarisi ile Türkçe ilaç dokümanlarından akıllı bilgi erişimi

Abstract

Sağlık alanında doğru, güncel ve güvenilir bilgiye hızlı erişim büyük bir öneme sahiptir. Özellikle ilaçlara ilişkin bilgiler çoğunlukla uzun ve karmaşık dokümanlar içerisinde yer almaktadır. Bu durum kullanıcıların ihtiyaç duydukları bilgiye zamanında ulaşmasını zorlaştırmaktadır. Büyük dil modelleri doğal dilde yanıt üretme konusunda oldukça güçlüdür. Ancak doğrulanamayan bilgi üretimi ve halüsinasyon problemi nedeniyle sağlık gibi kritik alanlarda doğrudan kullanımları sınırlıdır. Bu çalışmada, Türkçe farmasötik dokümanlar üzerinde güvenilir ve bağlama duyarlı bilgi erişimi sağlamak amacıyla Retrieval-Augmented Generation (RAG) tabanlı bir ilaç bilgi erişim sistemi geliştirilmiştir. Çalışma kapsamında Türkiye İlaç ve Tıbbi Cihaz Kurumu (TİTCK) tarafından yayımlanan Kısa Ürün Bilgisi (KÜB) ve Kullanma Talimatı (KT) dokümanları toplanmış, temizlenmiş ve bölüm bazlı olarak yapılandırılmıştır. Geliştirilen sistemde, kullanıcı sorgularına yanıt üretilmeden önce ilgili doküman parçaları geri getirilmekte ve yanıtlar yalnızca bu içeriklere dayandırılmaktadır. Sistem performansı hem nitel hem de nicel yöntemlerle değerlendirilmiştir. Nicel değerlendirme kapsamında 50 sorudan oluşan bir test seti kullanılmış ve bağlama sadıklık, yanıt uygunluğu ve halüsinasyon oranı metrikleri üzerinden analiz gerçekleştirilmiştir. Elde edilen sonuçlar, sistemin bağlama sadıklık açısından %96, yanıt uygunluğu açısından %90 başarı gösterdiğini ortaya koymuştur. Halüsinasyon oranının %10 seviyesinde kalması, modelin bağlam dışı bilgi üretme eğiliminin sınırlı olduğunu göstermektedir. Nitel değerlendirme bulguları da sistemin ürettiği yanıtların büyük ölçüde resmi dokümanlarla uyumlu ve izlenebilir olduğunu desteklemektedir. Bu çalışma, sağlık alanında güvenilir ve denetlenebilir bilgiye erişim için RAG tabanlı yaklaşımların etkili bir yöntem olduğunu göstermektedir. Geliştirilen sistem, özellikle belge temelli bilgiye ihtiyaç duyulan senaryolarda etkili bir çözüm sunmaktadır. Bu sayede kullanıcıların doğru bilgiye daha hızlı ve etkin bir şekilde ulaşması mümkün hale gelmektedir.

Access to accurate, up-to-date, and reliable information is of great importance in the healthcare domain. Information related to medications is often presented within lengthy and complex documents. This makes it difficult for users to access the information they need in a timely manner. Large language models are highly capable of generating responses in natural language. However, their direct use in critical domains such as healthcare is limited due to issues such as unverifiable outputs and hallucinations. In this study, a Retrieval-Augmented Generation (RAG)-based drug information retrieval system was developed to provide reliable and context-aware access to Turkish pharmaceutical documents. Within the scope of the study, Summary of Product Characteristics (SmPC) and Patient Information Leaflet (PIL) documents published by the Turkish Medicines and Medical Devices Agency (TİTCK) were collected, cleaned, and structured at the section level. In the developed system, relevant document segments are retrieved before generating responses to user queries, and the answers are grounded solely in these contents. The system performance was evaluated using both qualitative and quantitative methods. For the quantitative evaluation, a test set consisting of 50 questions was used, and the system was analyzed based on metrics such as faithfulness, answer relevance, and hallucination rate. The results indicate that the system achieved 96% in terms of faithfulness and 90% in terms of answer relevance. The hallucination rate remaining at 10% suggests that the model has a limited tendency to generate out-of-context information. Qualitative findings also support that the generated responses are largely consistent with official documents and are traceable. This study demonstrates that RAG-based approaches are an effective method for providing reliable and verifiable information access in the healthcare domain. The developed system offers an effective solution, particularly in scenarios requiring document-based information. In this way, users are able to access accurate information more quickly and efficiently.