A PERFORMANCE ANALYSIS OF DEEP LEARNING ALGORITHMS FOR EMOTION DETECTION BASED ON EEG

Abstract

İnsan duyguları, bir kişinin etrafındaki olaylara tepkisidir. İnsan duyguları, bir kişinin hayatında önemli bir rol oynar ve günlük ruh haline göre davranış ve eylemleri üzerinde büyük bir etkiye sahiptir. Son yirmi yılda bilgisayarların gelişimi, insan-makine etkileşimi uygulamalarına olan ilginin artmasına neden olmuştur. Bu uygulamalar arasında son zamanlarda psikologlar tarafından oldukça fazla ilgi gören insan duyguları uygulamaları yer almaktadır. Bu tezin temel amacı, derin öğrenme tekniklerini kullanarak insan duygularını tespit etmektir. Bu tezde, insan duygularını ayrık duygular modeline ve boyutsal duygu modeline göre sınıflandırmak için fizyolojik bir veri seti olan GAMEEMO kullanılmıştır. GAMEMO veri seti, 28 denek için 128 Hz sinyallerden oluşan bir EEG veri setidir. Bu tezin üç ana görevi vardır. İlk görev: Dört özellik çıkarma yöntemi (istatistiksel özellikler (SF), SF ve Welsh güç spektral yoğunluğunun (PSD) bir kombinasyonu, SF ve Fast Fourier dönüşümünün (FFT) bir kombinasyonu ve SF ve dalgacık paket ayrıştırmasının birleşimi ( WPD), daha fazla özellik çıkarmak için önceden işlenmiş EEG sinyallerine uygulanır. İkinci görev: Verileri iki sınıfa ve dört sınıfa göre ayırmaktır. Üçüncü görev: 1D CNN kullanarak bir evrişimli sinir ağı (CNN), Uzun süreli bellek (LSTM) kullanan sinir ağı (RNN) ve hibrit bir model 1D CNN + LSTM mimarilerinin oluşturulmasıdır. Bu tezde, WPD+SF öznitelik çıkarma yöntemini kullanarak her iki duygu modelinde de %98'den fazla doğrulukla yüksek performans elde edilmiştir.Human emotions are a person's reaction to events around him. Human emotions play an important role in a person's life and greatly impact his behavior based on his daily mood. The development of computers in the past two decades has led to increased interest in human-machine interaction applications. Among these applications are human emotions applications, which have gained a lot of attention lately by psychologists. The main aim of this thesis is to detect human emotions using deep learning techniques. In this thesis, a physiological data set GAMEEMO was used to classify human emotions based on the discrete emotions model and the dimensional emotion model. The GAMEEMO dataset is an EEG dataset consisting of 128 Hz signals for 28 subjects. There are three main tasks of this thesis. The first task: Four feature extraction methods (statistical features (SF), a combination of SF and Welsh power spectral density (PSD), a combination of SF and Fast Fourier transform (FFT), and the combination of SF and wavelet packet decay (WPD) are applied on the pre-processed EEG signals to extract more features. The second task: Split the data based on two classes and four classes. The third task: Build a convolutional neural network (CNN) using a 1D CNN, a recurrent neural network (RNN) using a long-term memory (LSTM), and a hybrid model 1D CNN + LSTM architectures. This thesis achieved high performance using the WPD+SF feature extraction method, with more than 98% accuracy in both emotions' models.