Akıllı geri alma artırılmış üretim: Büyük dil modellerinde bağlamsal hassasiyet ve verimliliği geliştirmek

Abstract

Bu tezin amacı, büyük dil modellerinin bağlamsal doğruluğunu ve hesaplama verimliliğini artırmak için akıllı Geri Alma Destekli Üretim (Retrieval Augmented Generation - RAG) yöntemleri geliştirmektir. Şu anda bilgi yoğun görevlerde kullanılan bu modeller, dış bilgilere erişim eksikliği ve yüksek hesaplama maliyetleri gibi sınırlamalarla karşı karşıyadır. Bu çalışma, bağlamsal doğruluk ve hesaplama verimliliğinin aynı anda optimize edilebileceği hipotezini ortaya koymaktadır. Operasyonel olarak, önerilen RAGSmart yönteminin temel RAG yaklaşımlarına kıyasla sadakat metriğinde en az %8, bağlam hassasiyetinde en az %7 ve yanıt alaka düzeyinde en az %9 oranında iyileşme sağlaması beklenmektedir. Büyük dil modelleri (LLM'ler), doğal dil işleme alanında devrim yaratmış olsa da, güncel bilgilere erişim ve bağlam doğrulama ile ilgili bazı sınırlamaları bulunmaktadır. RAG kavramı, bu sınırlamaların üstesinden gelmek için harici bilgi kaynaklarını LLM üretim sürecine entegre etmeyi içerir. Bununla birlikte, mevcut RAG sistemleri dinamik bağlam yönetimi, arama verimliliği ve hesaplama maliyeti açısından sınırlıdır. Bu çalışmada, dinamik semantik segmentasyon, hibrit vektör arama, çapraz kodlayıcı yeniden sıralama ve uyarlanabilir bağlam sıkıştırma (ACC) tekniklerini içeren RAGSmart adlı akıllı bir RAG mimarisi önerilmiştir. Sistem, Natural Questions (NQ) veri seti kullanılarak değerlendirilmiş; sadakat, bağlam hassasiyeti, yanıt alaka düzeyi ve geri alma verimliliği metrikleri dikkate alınarak temel RAG yaklaşımlarıyla karşılaştırmalı analiz yapılmıştır. Sonuçlara göre, önerilen RAGSmart çerçevesi, temel RAG yaklaşımlarına kıyasla tüm değerlendirme metriklerinde önemli bir iyileşme göstermiştir; sadakat %91'e, bağlam hassasiyeti %89'a ve yanıt alaka düzeyi %92'ye ulaşmıştır.

The aim of this thesis is to develop intelligent Retrieval Augmented Generation (RAG) methods to improve the contextual accuracy and computational efficiency of large language models. Currently, these models, used in information-intensive tasks, face limitations such as lack of access to external information and high computational costs. This study proposes the hypothesis that contextual accuracy and computational efficiency can be optimized simultaneously. Operationally, the proposed RAGSmart method is expected to provide at least an %8 improvement in faithfulness, at least a %7 improvement in contextual precision, and at least a %9 improvement in answer relevance compared to basic RAG approaches. Although large language models (LLMs) have revolutionized the field of natural language processing, they have some limitations related to access to current information and context validation. The concept of retrieval augmented generation (RAG) involves integrating external information sources into the LLM generation process to overcome these limitations. However, current RAG systems are limited in terms of dynamic context management, search efficiency, and computational cost. This study proposes an intelligent RAG architecture called RAGSmart, incorporating dynamic semantic segmentation, hybrid vector search, cross-encoder reordering, and adaptive context compression techniques. The system was evaluated using the Natural Questions (NQ) dataset; a comparative analysis was conducted with basic RAG approaches, considering faithfulness, context sensitivity, answer relevance, and retrieval efficiency metrics. According to the results, the proposed RAGSmart framework showed significant improvement in all evaluation metrics compared to basic RAG approaches; faithfulness reached %91, context sensitivity %89, and answer relevance %92.