GRAPH NEURAL NETWORK-BASED MULTIMODAL EMOTION RECOGNITION

Abstract

Günümüzde Makine Öğrenimi (ML) ve Derin Öğrenme (DL), insan duygularından bilgi çıkarmak için kullanılmaktadır. Bu çalışmanın amaçlarından biri, görsel, konuşma ve metin verileri analiz etmek için grafik sinir ağı (GNN) tabanlı duygu hesaplamayı kullanmaktır. Duyguları tanımak zordur çünkü; yaş, kültür, yüz ifadesi, çevre senaryosu ve fiziksel yorgunluğa göre değişirler. Mevcut çalışmalar, çalışmamızın amaçlarından biri olan GNN tabanlı duygu hesaplama konusundaki en son analiz gelişmelerini ve başarılarını henüz tam tamamlanmamıştır. GNN, görsel, konuşma ve metin verilerden duygu analizi gerçekleştirmeyi desteklemek için daha da kabul edilebilir. Geneleksel duygu analizi tekniklerinden ziyade, çalışmamız doğruluk ve daha spesifik sonuçlar elde etme sürecine dayanmaktadır. Ayrıca bir çalışma, insanlar ve makineler arasındaki uçurumu kapatmaya yardımcı olacaktır.

Nowadays, Machine Learning (ML) and Deep Learning (DL) have been used to extract knowledge from human feelings. One of the objectives of this study is to use graph neural network (GNN) based emotion computing to analyze visual, speech, and textual data. Recognizing emotions is difficult because they change based on importance, age, culture, facial expression, surroundings scenario, and physical tiredness. For instance, physical exhaustion and psychological fatigue are two types of human feelings with significant differences. Existing studies have yet to completely include the most recent analysis developments and achievements in GNN-based emotion computing, which is one of our study's objectives. GNN is more acceptable for supporting realizing end-to-end sentiment analysis from visual, speech, and textual data. Rather than traditional emotion analysis techniques, our study relies on the process to achieve valuable accuracy and more specific results. Also, a study must be completed to bridge the gap between humans and machines.