Sentiment Analysis with DistilBERT and Traditional Machine Learning Models: Performance Benchmarking

Abstract

This study compares the classification performance of traditional machine learning models and the deep learning-based DistilBERT model by performing sentiment analysis through social media data. Twitter US Airlines Sentiment dataset is used to analyze customer sentiment towards US-based airlines. Machine learning based Random Forest, XGBoost and Gradient Boosting models and deep learning based DistilBERT model are compared and their classification performance is evaluated using metrics such as accuracy, precision, recall and F1 score. In the analysis results, the DistilBERT model demonstrated a clear superiority over traditional machine learning models with an accuracy of 97.8%. In the dataset with unbalanced class distribution, the DistilBERT model distinguished between positive (positive) and negative (negative) emotion classes much more successfully. The high precision (0.96), sensitivity (0.97) and F1 score (0.97) values of the DistilBERT model demonstrate the superiority of transformer-based approaches for text classification. The findings have important implications for airlines to analyze customer feedback more effectively and develop data-driven strategies to improve service quality.

Yapılan çalışma, sosyal medya verileri aracılığıyla duygu analizi gerçekleştirerek, geleneksel makine öğrenmesi modelleri ile derin öğrenme tabanlı DistilBERT modelinin sınıflandırma performanslarını karşılaştırmaktadır. ABD merkezli havayolu şirketlerine yönelik müşteri duyarlılığını analiz etmek amacıyla Twitter US Airlines Sentiment veri seti kullanılmıştır. Makine öğrenmesi tabanlı Random Forest, XGBoost ve Gradient Boosting modelleri ile derin öğrenme temelli DistilBERT modeli karşılaştırmalı olarak incelenmiş ve modellerin sınıflandırma başarısı doğruluk (accuracy), kesinlik (precision), duyarlılık (recall) ve F1 skoru gibi metrikler kullanılarak değerlendirilmiştir. Analiz sonuçlarında, DistilBERT modeli %97.8 doğruluk oranı ile geleneksel makine öğrenmesi modellerine kıyasla bariz bir üstünlük sergilemiştir. Dengesiz sınıf dağılımına sahip veri setinde, DistilBERT modeli olumlu (pozitif) ve olumsuz (negatif) duygu sınıflarını çok daha başarılı bir şekilde ayırt etmiştir. DistilBERT modelinin yüksek kesinlik (0.96), duyarlılık (0.97) ve F1 skoru (0.97) değerleri, transformer tabanlı yaklaşımların metin sınıflandırmaki üsütnlüğünü ortaya koymuştur. Elde edilen bulgular, havayolu şirketlerinin müşteri geri bildirimlerini daha etkin analiz edebilmesi ve hizmet kalitesini artırmaya yönelik veri odaklı stratejiler geliştirebilmesi açısından önemli katkılar sunmaktadır.