RAG TABANLI BÜYÜK DİL MODELLERİYLE KURUMSAL SOHBET ROBOTU TASARIMI VE UYGULAMASI

Abstract

Büyük Dil Modelleri (BDM), doğal dil işleme tabanlı sohbet robotları ve soru-cevap sistemlerinde yaygın olarak kullanılmakta; ancak güncel ve alan-özgü bilgi gerektiren kurumsal bağlamlarda doğruluk ve güvenilirlik sorunları ortaya çıkabilmektedir. Bu tez çalışmasının amacı, BDM tabanlı kurumsal sohbet sistemlerinde halüsinatif içerikleri azaltmak ve yanıt doğruluğunu artırmaya yönelik doğrulama odaklı bir yaklaşım geliştirmektir. Çalışmanın temel hipotezi, Retrieval-Augmented Generation (RAG) mimarisine entegre edilen bir doğrulama katmanının, üretilen yanıtların geri getirilen bağlamla olan tutarlılığını artıracağı ve halüsinatif içerik oranını azaltacağı yönündedir. Ayrıca önerilen yaklaşımın, sistemin genel işlem verimliliğini olumsuz etkilemeden uygulanabilir olduğu varsayılmaktadır. Araştırmanın örneklemini, Türkçe kurumsal metinlerden oluşturulmuş bir doküman koleksiyonu ve bu koleksiyon üzerinden hazırlanan soru-cevap veri seti oluşturmaktadır. Çalışmada, temel RAG mimarisi ile önerilen doğrulama katmanı entegre edilmiş RAG yaklaşımı karşılaştırmalı olarak değerlendirilmiştir. Yöntem kapsamında, geri getirilen belgeler ile üretilen yanıtlar arasındaki tutarlılık cümle düzeyinde analiz edilmiş ve doğruluk performansı nicel metrikler aracılığıyla ölçülmüştür. Elde edilen bulgular, doğrulama katmanının halüsinatif içerik oranını azalttığını ve yanıtların bağlamsal tutarlılığını artırdığını göstermektedir. Sonuç olarak bu tez, Türkçe kurumsal sohbet sistemlerinde doğruluk ve güvenilirliği artırmaya yönelik uygulanabilir bir yöntem sunmaktadır.

Large Language Models are widely used in chatbot and question answering systems due to their strong natural language understanding and generation capabilities. However, when applied to institutional contexts that require accurate, up to date, and domain specific information, these models may generate incomplete, inaccurate, or hallucinated responses, which limits their reliability. The aim of this thesis is to improve the accuracy and trustworthiness of institutional chatbot systems by addressing hallucination related limitations of Large Language Models through a verification oriented approach. In this study, a Retrieval Augmented Generation architecture is adopted and extended with an additional verification layer designed to evaluate the consistency between retrieved documents and generated responses. The proposed method analyzes response content at the sentence level to determine whether the generated information is supported by the retrieved context. The experimental setup is based on a dataset constructed from Turkish institutional documents and a corresponding question answering set. A comparative evaluation is conducted between a baseline Retrieval Augmented Generation system and the proposed architecture with the verification layer. The findings indicate that incorporating verification into the generation pipeline reduces hallucinated content and improves contextual consistency of the responses without causing a significant decrease in system efficiency. The results demonstrate that the proposed approach provides an effective and applicable solution for enhancing the reliability of institutional chatbot systems operating on Turkish language data.