EEG SİNYALLERİ KULLANILARAK YENİ NESİL CÜMLE SINIFLANDIRMA MODELLERİNİN GELİŞTİRİLMESİ

Abstract

Elektroensefalografi (EEG) sinyalleri beynin harfleri olarak nitelendirilmektedir ve bilgisayar bilimciler bu harfleri yan yana getirerek anlamlı cümleler elde etmeyi amaçlamaktadırlar. Bu sebepten dolayı EEG sinyallerini işleme sinir bilim ve makine öğrenmesi için sıcak başlıklı bir konudur. Ancak literatürdeki EEG işleme ve sınıflandırma çalışmaları genellikle hastalık tespiti ve duygu tespiti ile ilgilidir. Bu tez kapsamında EEG sinyallerinden daha fazla bilgi çıkarmak için yeni bir proje başlatılmıştır ve bu projenin konusu EEG cümle sınıflandırmadır. Bu tez çalışmasında, iki adet EEG cümle veri seti her bir veri seti için 20 katılımcı olmak üzere 40 adet gönüllü katılımcıdan toplanmıştır. Toplanan veri setleri 20 adet sınıf içermektedir ve bu sınıfların her biri bir cümleyi temsil etmektedir. Otomatik sınıflandırma modelleri önermek için mikro tanımlayıcılar ve çizge tabanlı özellik çıkarıcılar kullanılmıştır. Önerilen kare toplamlı çizge deseni tabanlı EEG sinyal sınıflandırma modeli, %99.19 sınıflandırma doğruluğuna ulaşmıştır. Bu çalışmada, toplam-kare grafiğine dayalı bir fonksiyonun öznitelik çıkarma yeteneği araştırılmıştır. Önerilen dinamik boyutlu ikili model ve yinelemeli çok sınıflandırıcılı ağırlıklı oylama tabanlı model ise gösterme ve dinleme modlarında sırasıyla %98,81 ve %98,19 ile en iyi genel sınıflandırma oranlarına ulaşmıştır. Elde edilen sonuçlar EEG sinyalleriyle cümle sınıflandırılmasının yapılabileceğini açıkça göstermiştir ve bu tez çalışması EEG cümle tanıma/sınıflandırma alanında yapılan ilk tezlerden biri olma özelliğini taşımaktadır. Elde edilen sonuçlar tez çalışmasının başarımını açık bir şekilde göstermektedir.

Electroencephalography (EEG) signals are described as the letters of the brain, and computer scientists aim to obtain meaningful sentences by combining these letters. For this reason, processing EEG signals is a hot topic for neuroscience and machine learning. However, EEG processing and classification studies in the literature are generally related to disease detection and emotion detection. Within the scope of this thesis, a new project has been started to extract more information from EEG signals and the subject of this project is EEG sentence classification. In this thesis study, two EEG sentence datasets were collected from 40 volunteer participants, 20 participants for each dataset. The collected data sets contain 20 classes and each of these classes represents a sentence. Micro descriptors and graph-based feature extractors are used to propose automatic classification models. The proposed square-sum graph pattern-based EEG signal classification model achieved a classification accuracy of 99.19%. In this study, the feature extraction capability of a function based on the sum-square graph was investigated. The DSBP-IMCMV based model, on the other hand, achieved the best overall classification rates with 98.81% and 98.19%, respectively, in showing and listening modes. The results clearly showed that sentence classification can be done with EEG signals, and this thesis is one of the first theses in the field of EEG sentence recognition/classification. The results obtained clearly show the success of the thesis study.