Comparative Analysis of Transformers Based Architectures for Turkish Sentiment Classification

Abstract

Sentiment classification based on Transformers is a topic that has recently been widely studied in natural language processing and machine learning. There are many areas where it can be used, such as the interpretation and classification of emotional expressions in texts, social media analysis, market research, user experiences, etc. For this reason, this study aims to realize sentiment classification using Transformers-based architectures. In this study, 8 different BERTurk and 2 different ELECTRA variations were used for sentiment classification on the TRSAv1 dataset consisting of 150000 data. These models are pre-trained models to be used in sentiment classification studies on Turkish texts. The models were trained on the dataset using 3 different methods and the results were evaluated comparatively. As a result of the experiments, the sentiment classification performance of the models was measured using accuracy and F1-score metrics. The results of the experiments revealed the effectiveness of Transformers models in sentiment classification and the performance evaluations of the models used.Transformers tabanlı ile duygu sınıflandırma, son zamanlarda doğal dil işleme ve makine öğrenmesi alanında yaygın olarak çalışılan bir konudur. Metinler içerisinde karşılaşılan duygusal ifadelerin anlamlandırılması ve sınıflandırılması, sosyal medya analizi, piyasa araştırması, kullanıcı deneyimleri vb. gibi kullanılabileceği birçok alan mevcuttur. Bu sebeple, bu çalışmada Transformers tabanlı mimariler kullanılarak duygu sınıflandırmasının gerçekleştirilmesi hedeflenmiştir. Bu çalışmada, 150000 veriden oluşan TRSAv1 veriseti üzerinde, 8 farklı BERTurk ve 2 farklı ELECTRA varyasyonu üzerinde duygu sınıflandırma işlemi için kullanılmıştır. Bu modeller, Türkçe metinler üzerinde duygu sınıflandırılması çalışmalarında kullanılmak için önceden eğitilmiş modellerdir. Veri seti üzerinde 3 farklı metot kullanılarak modeller eğitilmiş ve sonuçlar karşılaştırmalı olarak değerlendirilmiştir. Yapılan deneyler sonucunda, modellerin duygu sınıflandırma performansları doğruluk ve F1-skor metrikleri kullanılarak ölçülmüştür. Deney sonuçları, Transformers modellerinin duygu sınıflandırması konusundaki etkinliğini ve kullanılan modellerin performans değerlendirmelerini ortaya koymuştur.