DERİN ÖĞRENME VE SES TABANLI DUYGU TANIMA

Abstract

Duygu, bireyin ruh halinde içsel ve çevresel faktörlerin etkileşiminden doğan kompleks psikofizyolojik bir değişimdir. Duygular, insanların dış dünyayla olan etkileşimlerinde, aldığı kararlarda ve eylemlerinde önemli bir rol oynar. Dolayısıyla duygu tanıma ve yorumlama özellikle insan bilgisayar etkileşimi için önemlidir ve bilgisayarları mantıksal işlem yapan makinelerin ötesine taşımaktadır. Duyguların tespit edilmesinde görsel, işitsel, dokunsal ve diğer biyometrik sinyaller kullanılmaktadır. Bu sinyaller arasında insanlar arasındaki iletişimin en yaygın aracı olan konuşma önemli bir yere sahiptir. Bu durum konuşma tabanlı duygu tanıma uygulamalarının, giderek artan bir ilgiyle ilerletilen bir araştırma alanı olmasına imkân tanımıştır. Bu tez çalışmasında ses işleme tabanlı duygu tanıma uygulaması gerçekleştirilmiştir. SAVEE, RML ve RAVDESS olmak üzere 3 farklı veri seti kullanılmıştır. Mevcut ses dosyalarına ön işlem ve özellik çıkarımı uygulandıktan sonra Uzun- Kısa Süreli Bellek Ağları ile sınıflandırılmıştır. Sistemin duygu tanıma doğruluk oranları SAVEE veri seti için %72,13 RML veri seti için %70,35, RAVDESS veri için %68,8 olarak bulunmuşturEmotion is a complex psycho-physiological changes in the mood of an individual arising from the interaction of internal and environmental factors. Emotions play an important role in people's interactions with the outside world, in their decisions and actions. Therefore, emotion recognition and is especially important for human-computer interaction, and it takes computers beyond machines that do logical processing. Visual, auditory, tactile and other biometric signals are used to detect emotions. Among these signals, speech, which is the most common means of communication between people, has an important place. This has enabled speech-based emotion recognition applications to become a field of research that has been developed with increasing interest. In this thesis, voice processing-based emotion recognition application was carried out. Three different data sets are used as SAVEE, RML and RAVDESS. After pre-processing and feature extraction are applied to existing audio files, they are classified with Long Short-Term Memory. The emotion recognition accuracy rates of the system were found 72.13% for the SAVEE data set, 70.35% for the RML data set, and 68.8% for the RAVDESS data.