EEG-BASED LANGUAGE DETECTION

Abstract

Bu tez, EEG sinyalleri ile dil tahmini yapmayı amaçlamaktadır. Çalışma, EEG sinyallerinin karmaşıklığından kaynaklanan zorlukları inceleyerek, dil tanıma için gelişmiş özellik mühendisliği ve derin öğrenme teknikleri önermektedir. Tez kapsamında spektral tanımlayıcılar, bağlantı örüntüleri, dalgacık gösterimleri ve öz-düzenlemeli tekniklerin entegrasyonu araştırılmıştır. İlk çalışma, kanal düzeyinde spektral ve tutarlılık tabanlı dinamik bağlantısallık özelliklerini birleştiren bir çerçeve sunar. Yöntem, cümle düzeyinde %87.03 ve TSEEG veri setinde %99,6 doğruluk sağlamıştır. İkinci çalışma, zamansal-uzamsal CNN ile birleştirilmiş dalgacık tabanlı spektral dikkat mekanizmasını tanıtır. Dört dili sınıflandırmada 10 katlı çapraz doğrulama ile %99,5 doğruluk elde edilerek temel modeller geçilmiştir. Üçüncü çalışma, önerilen DNAPat modeline dayalı açıklanabilir bir özellik mühendisliği hattını inceler. İki dilli Arapça-Türkçe veri setinde %99,95 ve bir-özne-dışarıda (LOSO) değerlendirmesiyle %84,19 doğruluk elde edilmiştir. Son çalışma, 23-pattern adlı öz-düzenlemeli bir yöntem sunar. Çoklu çekirdek özellik vektörleri kullanan bu yaklaşım, üç dil sınıflandırma görevinde %98,01 doğruluk sağlamış ve kanal bazlı katkılara dair içgörü sunmuştur. Sonuçlar; hibrit tanımlayıcıların, dikkat odaklı ağların ve öz-düzenlemeli hatların EEG tabanlı dil tespitinde doğruluk ve yorumlanabilirliği artırdığını göstermektedir.

The goal of this thesis is to use EEG signals to predict a language. It investigates challenges posed by the complexity and variability of EEG signals, and proposes advanced feature engineering and deep learning techniques for EEG-based language recognition. The work explores the integration of spectral descriptors, connection patterns, wavelet-based representations, and self-organized feature extraction techniques to improve language decoding from EEG, drawing on several complementary investigations. The first study proposed a framework that combines channel-level spectral features with coherence-based dynamic connectivity features. It achieves up to 87.03% accuracy in sentence-level language comprehension and 99.6% on a benchmark TSEEG dataset. The second study introduces wavelet-based spectral attention fused with a temporal–spatial CNN. The framework is employed to classify four languages and attained 99.5% accuracy with 10-fold cross-validation. It outperforms baseline EEG models in this task. The third study explores an explainable feature engineering pipeline based on a proposed DNAPat. The proposed DNAPat was applied to a newly collected bilingual Arabic–Turkish dataset. The approach yields 99.95% accuracy with 10-fold cross-validation and 84.19% with leave-one-subject-out (LOSO) evaluation. The final study presents a self-organized feature engineering method named 23-pattern. It generates multi-kernel feature vectors and applies an iterative voting system for classification. This approach achieves 98.01% accuracy across three language classification tasks. It also provides detailed insight into channel-wise contributions to language recognition. Together, these contributions show that hybrid spectral–connectivity descriptors, attention-driven deep networks, and self-organized feature-engineering pipelines can significantly enhance accuracy and interpretability in EEG-based language detection.