PARAMETRE VERİMLİ İNCE AYAR YÖNTEMİ İLE AÇIK KAYNAK BÜYÜK DİL MODELLERİNİN TÜRKÇE DİL BİLGİSİ VE MUHAKEME YETENEKLERİNİN İYİLEŞTİRİLMESİ

Abstract

Büyük Dil Modelleri, son dönemlerde GPT-3 modelinin ardından büyük ilgi görmeye başladı. Ardından farklı açık kaynaklı dil modelleri geliştirildi. Bunların geliştirilmesi ile büyük dil modellerinin ince ayarı büyük önem taşımaya başladı. Son zamanlarda araştırmalar konu olan en önemli konulardan biri ince ayarın verimli ve daha maliyetsiz bir şekilde yapılmasıdır. Büyük Dil Modellerinde ince ayar yapılırken yaşanan bazı problemler vardır. Bu problemlere parametre boyutunun büyük olmasından kaynaklanan depolama alanlarının yetersizliği sorunu, boyutların büyüklüğünden kaynaklanan hız sorunu vs. örnek verilebilir. Bu sorunlara çözüm bulmak için farklı yaklaşımlar geliştirilmiştir ve geliştirilmeye devam etmektedir. Bu çalışmada, büyük dil modellerinde ince ayar teknikleri ve bu tekniklerin uygulanırken hız, verimlilik ve depolamada maliyetin azaltılması için uygulanabilecek teknikler sunulmaktadır. Bu teknikler farklı Parametre Verimli İnce Ayar teknikleridir. Temel olarak olarak istem ayarlama, DüşükSıralı uygulama (LORA), bağdaştırıcılar ve önek ayarlama yöntemleri sunulmaktadır.

Large Language Models have recently gained a lot of attention following the GPT-3 model. Then different open source language models were developed. With the development of these, the fine-tuning of large language models has become of great importance. One of the most important issues that has been the subject of recent research is fine-tuning in an efficient and cost-effective way. There are some problems when fine-tuning Large Language Models. Examples of these problems are the problem of insufficient storage space due to the large parameter size, the speed problem due to the large size, etc. Different approaches have been and continue to be developed to find solutions to these problems. In this paper, we present techniques for fine-tuning large language models and techniques that can be applied for speed, efficiency and cost reduction in storage. These techniques are different Parameter-Efficient Fine Tuning techniques. The main ones are prompt tuning, Low-Rank Adaption(LORA), adapters and prefix tuning.