T5 modeli ile doğal dil işleme yaklaşımıyla eğitim materyallerinden otomatik soru üretimi

Abstract

Otomatik soru üretimi, verilen bir metin veya bağlamdan anlamlı ve cevaplanabilir sorular üretmeyi amaçlayan önemli bir doğal dil işleme problemidir. Eğitim alanında bu görev, öğretmenlerin sınav, quiz ve alıştırma soruları hazırlama sürecini desteklemesi ve öğrencilerin okudukları metinler üzerinde pratik yapmasına katkı sağlaması açısından önem taşımaktadır. Günümüzde büyük dil modelleri genel amaçlı olarak soru üretebilse de eğitim materyalleri için denetlenebilir, eğitilebilir ve ölçülebilir özel soru üretim süreçlerine ihtiyaç duyulmaktadır. Bu tez çalışmasında, eğitim metinlerinden açık uçlu ve çoktan seçmeli sorular üretmek amacıyla T5 tabanlı bir otomatik soru üretim yaklaşımı geliştirilmiştir. Çalışmada bağlam ve cevap bilgisinin birlikte kullanıldığı cevap odaklı bir üretim yapısı oluşturulmuş; T5-base ve T5-large modellerinin performansları karşılaştırmalı olarak incelenmiştir. Deneysel süreçte SQuAD veri setinin train bölümü kullanılmış, veri seti 80.512 eğitim ve 9.861 doğrulama/değerlendirme örneği olacak şekilde düzenlenmiştir. Bağlam, cevap ve soru alanları T5 modelinin metinden metne üretim yapısına uygun biçimde hazırlanmıştır. Model performansı BLEU, ROUGE, METEOR ve BERTScore metrikleriyle değerlendirilmiştir. Elde edilen bulgular, T5-large modelinin tüm otomatik metriklerde T5-base modelinden daha yüksek sonuçlar verdiğini göstermiştir. T5-large için BLEU-4 değeri 21.389, ROUGE-L değeri 50.881, METEOR değeri 51.011 ve BERTScore değeri 92.730 olarak elde edilmiştir. Ayrıca eğitilen model eğitim metinleri üzerinde uygulanmış; açık uçlu soru üretiminin yanında uygun örneklerde çoktan seçmeli soru üretimi de gerçekleştirilmiştir. Sonuç olarak çalışma, genel amaçlı büyük dil modellerinden farklı olarak, eğitim alanına uyarlanabilir, ölçülebilir ve öğretmenlerin soru hazırlama sürecini destekleyebilecek özel bir soru üretim süreci sunmaktadır. Elde edilen sonuçlar, T5 tabanlı yaklaşımın eğitim materyallerinden açık uçlu ve çoktan seçmeli soru üretimi için kullanılabilir bir yapı sunduğunu göstermektedir.Automatic question generation is an important natural language processing problem that aims to generate meaningful and answerable questions from a given text or context. In education, this task is important because it can support teachers in preparing exam, quiz, and practice questions, while also helping students practice on the texts they read. Although large language models can generate questions for general purposes, educational materials require controllable, trainable, and measurable question generation processes. In this thesis, a T5-based automatic question generation approach was developed to generate open ended and multiple-choice questions from educational texts. An answer-aware generation structure was designed by using context and answer information together, and the performances of T5-base and T5-large models were comparatively examined. In the experimental process, the train split of the SQuAD dataset was used and organized into 80,512 training examples and 9,861 validation/evaluation examples. The context, answer, and question fields were prepared in accordance with the text-to-text generation structure of the T5 model. Model performance was evaluated using BLEU, ROUGE, METEOR, and BERTScore metrics. The results showed that the T5-large model achieved higher scores than the T5-base model across all automatic evaluation metrics. For T5-large, the BLEU-4 score was 21.389, the ROUGE-L score was 50.881, the METEOR score was 51.011, and the BERTScore was 92.730. In addition, the trained model was applied to educational texts, and multiple-choice question generation was also performed for suitable examples alongside open-ended question generation. In conclusion, unlike general-purpose large language models, this study presents a question generation process that can be adapted to education, measured, and used to support teachers in preparing questions. The results show that the T5-based approach provides a usable structure for generating open-ended and multiple choice questions from educational materials.