Sentiment Analysis in Turkish Texts: The Effect of Deep Learning Approaches and Preprocessing Processes on Model Performance

Abstract

Nowadays, with the increased use of computers, a surge in data production has emerged, making data access more convenient. In this context, a substantial amount of textual data is generated on e-commerce sites, social media, and various electronic platforms. Analyzing and extracting meaningful insights from this amassed data proves valuable for numerous institutions, organizations, and individuals. Sentiment analysis is a commonly employed technique to derive sentiments from textual data, and contemporary sentiment analysis models often leverage the high performance offered by deep learning approaches. Prior to model training, several pre-processing steps are typically applied to the text data. In this study, three distinct deep learning approaches were proposed for sentiment analysis. These models were analyzed on two different datasets: winvoker and Beyazperde. Hyper-parameters and depth of models were optimized using the Bayesian optimization method to enhance the accuracy of model. Additionally, the impact of various pre-processing techniques on model performance were assessed. When non-preprocessed data is utilized, the models trained on the winvoker dataset achieve an accuracy of 94.16%, while those trained on the Beyazperde dataset reach 86.64%. With the application of pre-processing, these accuracies improve to 94.64% for the winvoker dataset and 89.08% for the Beyazperde dataset. Based on these findings, it was concluded that the effect of pre-processing decreased and the accuracy was higher for the winvoker data set with a higher number of samples.

Günümüzde bilgisayar kullanımın artması ile birlikte insanlar daha fazla veri üretmeye başlamış ve verilere ulaşım kolaylaşmıştır. Bu bağlamda e-ticaret sitelerinde, sosyal medyada ya da diğer elektronik platformlarda çok fazla metin verisi üretilmiştir. Toplanan bu verilerin analiz edilerek anlamlandırılması birçok kurum, kuruluş ya da birey için faydalı bilgiler sağlamaktadır. Bu amaç doğrultusunda duygu analizi günümüzde sıklıkla uygulanmaktadır. Duygu analizi modellerinde derin öğrenme yaklaşımları oldukça yüksek performans göstermekte ve model eğitimi yapılmadan önce metinlere birkaç ön işlem uygulanmaktadır. Bu çalışmada duygu analizi için, evrişimsel sinir ağı, Transfomer ve hibrit olmak üzere üç farklı derin öğrenme yaklaşımı önerilmiş ve modeller winvoker ve Beyazperde olmak üzere iki farklı veri seti kullanılarak analiz edilmiştir. Modellerin doğruluğunu artırmak için hiper-parametreleri ve model derinliklileri Bayesian optimizasyon yöntemi kullanılarak optimize edilmiştir. Ön işlem süreçlerinin model performansına etkisini ölçmek için veri setlerine çeşitli ön işlem yapılarak analizler tekrar edilmiştir. Ön işlem uygulanmamış veriler kullanıldığında, winvoker veri seti ile eğitilen modellerde %94,16, Beyazperde veri seti ile eğitilen modellerde ise %86,64 doğruluğa ulaşılmıştır. Ön işlem uygulandığında ise bu başarı oranları, winvoker veri seti ile eğitilen modellerde %94,64, Beyazperde veri seti ile eğitilen modellerde ise %89,08 değerlerine ulaşmıştır. Bu sonuçlar doğrultusunda örnek sayısı daha fazla olan winvoker veri seti için ön işlemlerin etkisinin azaldığı ve doğruluğun daha yüksek olduğu sonucu çıkarılmıştır.