DERİN ÖĞRENME TABANLI ÇOK MODLU DUYGU ANALİZİ YÖNTEMLERİNİN GELİŞTİRİLMESİ

Abstract

Sosyal medya uygulamalarının toplum tarafından geniş kullanımı, insanlara bir durum, olay, hizmet veya ürün hakkında hızlıca geri bildirim sağlamalarına olanak sağlamıştır. Duygu analiziyle insanların sosyal medya paylaşımlarından bir konu veya ürün hakkındaki duygu ve düşüncelerinin tespit edilmesi mümkündür. Temel duygu analizi yaklaşımları genellikle tek tip veri tipi üzerinde gerçekleştirilmektedir. İnternetin ve akıllı cihazların yaygın kullanımı ve sosyal medya uygulamalarının çeşitliliği sonucu günlük üretilen veriler metin, görüntü, video veya ses formatlarında olabilmektedir. Çok modlu duygu analizi, farklı türdeki verileri bir bütün olarak analiz edilerek, kullanıcı paylaşımının duygusunun ortaya çıkarılması sürecidir. Bu tez çalışmasında sosyal medya uygulamalarından toplanan kıyaslama veri kümeleri üzerinde çok modlu duygu analizi yapılmıştır. Çok modlu duygu analizi için iki yaklaşım ele alınmıştır. Bu yaklaşımlardan birincisi çok modlu derin öğrenme modellerinin kullanımı dayalı yöntemdir. Bu yaklaşımda stratejik olarak farklı metin temsillerini (Karakter-tabanlı, Word2vec, FastText), farklı derin öğrenme yöntemleriyle (LSTM, GRU, BiLSTM, CNN) birlikte kullanan yeni bir hibrit derin öğrenme modeli geliştirilmiştir. Bu yaklaşım için önerilen model farklı veri temsilleri üzerinde farklı derin öğrenme yöntemleriyle öznitelik çıkarmakta, bu öznitelikleri birleştirerek metinleri duygu bakımından sınıflandırmaktadır. İkinci yaklaşımda, çok modlu veri kümeleri üzerinde duygu analizi gerçekleştirmeye dayalı yöntemdir. Farklı sınıflandırıcıların farklı veri türlerindeki etkin performansından yararlanan yumuşak oylamaya dayalı bir topluluk modeli önerilmiştir. Yapılan deneysel çalışmalarla önerilen yöntemlerin duygu analizi sonuçları doğrulanmıştır.The wide use of social media apps by the public has allowed people to provide rapid feedback on a situation, event, service or product. In sentiment analysis, it is possible to determine people's feelings and thoughts about a subject or product from social media posts. Basic sentiment analysis approaches are generally performed on a single modality. As a result of the widespread use of the Internet and smart devices and the diversity of social media applications, the data produced daily can be in text, image, video, and audio. Multimodal sentiment analysis is the process of revealing the sentiment of user post by analyzing different modality as a whole. In this thesis, multimodal sentiment analysis was conducted on the benchmark datasets collected from social media. Two approaches are considered for multimodal sentiment analysis. The first is based on the use of multimodal deep learning models. In this approach, a novel hybrid deep learning model has been developed that strategically uses different text representations (Character-level, Word2vec, FastText) together with different deep learning methods (LSTM, GRU, BiLSTM, CNN). The proposed model for this approach extracts features from different representations with different deep learning methods, and classifies texts in terms of sentiment by combining features. The second approach is a method based on sentiment analysis on multimodal datasets. An ensemble learning model based on soft voting is proposed that takes advantage of the effective performance of different classifiers on different modality. Sentiment analysis results of the proposed methods have been verified with experimental studies.