TURK-SER: Türkçe için Konuşma Duygu Tanıma Veri Seti ve Karşılaştırma Ölçeği

Abstract

Konuşma duygu tanıma, konuşma sinyallerinden duyguları hassas bir şekilde tanıyarak insan-bilgisayar etkileşimini geliştirmeye odaklanan, giderek büyüyen bir alandır. Son yıllarda, derin öğrenmedeki gelişmeler, literatürde konuşma duygu tanıma konusunda oldukça başarılı çalışmalara yol açmıştır. Özellikle, öz denetimli modellerden elde edilen ses kodlamaları, konuşma sinyallerinin zengin ve anlamlı temsillerini yakalayarak duygu tanıma performansını önemli ölçüde iyileştirmiştir. İngilizce ve Almanca gibi diller için öz denetimli öğrenme modellerinde kayda değer ilerlemeler kaydedilmiş olsa da, Türkçe gibi diğer diller için hala yüksek kaliteli veri kümeleri eksiktir. Bu araştırmada, beş duygu kategorisinde 90 konuşmacı tarafından üretilen fonetik olarak çeşitli cümlelerin 2150 kaydını içeren yeni bir Türkçe SER veri kümesi olan TURK-SER sunulmuştur. Ayrıca, iki farklı ince ayar yöntemi kullanarak Wav2Vec2 modelini Türkçe SER'ye nasıl uyarlayabileceğimizi araştırılmıştır: sadece tansformer kodlayıcıyı güncelleyen yarı ince ayar ve hem evrişimli hem de transformer kodlayıcıları eğiten tam ince ayar. Deney sonuçları, tam ince ayarın sınıflandırma performansını artırdığını ve %85,44'lük bir doğruluk oranına ulaştığını göstermektedir. Bu bulgular, Wav2Vec2'nin kaynakları sınırlı dillerde SER için umut vaat ettiğini vurgulamakta ve duygu algılama için öz denetimli öğrenme tabanlı modellerin optimizasyonu konusunda değerli bilgiler sunmaktadır. Bu araştırma, Wav2Vec2'nin Türkçe SER'de etkinliğini vurgulamakta ve diğer kaynakları sınırlı dillerde uygulanabilirliğini araştırmak üzere gelecekteki çalışmalara zemin hazırlamaktadır.