YAPAY ZEKA YÖNTEMLERİ KULLANILARAK SES TABANLI KONUŞMACI DİLİ TANIMA YÖNTEMİ GELİŞTİRİLMESİ

Abstract

Günümüzde dijital iletişimin hızla yayılması ve çok dilli veri akışının artmasıyla birlikte, farklı dillerin hızlı ve doğru bir şekilde tanımlanması hem güvenlik uygulamalarında hem de adli incelemelerde önemli bir gereklilik haline gelmiştir. Ses sinyalleri üzerinden gerçekleştirilen dil tanıma sistemleriyle konuşmacının hangi dili kullandığını kısa süreli kayıtlar üzerinden tespit ederek özellikle adli ses incelemelerinde kritik bir rol oynamaktadır. Dilin doğru bir şekilde belirlenmesi, soruşturma süreçlerine yönlendirilmesi, terör ve ka çakçılık gibi suç dosyalarının analiz edilmesi ve iletişim içeriklerinin çözümlemesi açısından büyük önem taşımaktadır. Bu tez çalışması, kısa süreli konuşma sinyallerinden (2 saniye) dil tanımlamaya yönelik bir modelin geliştirilmesi amaçlanmıştır. Çalışmada, 60 farklı dili kapsayan geniş bir veri seti kullanılmış ve her bir ses kaydı uygun ön işleme adımlarından geçirilmiştir. Ses sinyalleri üzerinde dört seviyeli Ayrık Dalgacık Dö nüşümü uygulanarak çok katmanlı bir temsil elde edilmiş, bu bantlardan Yerel İkili Örüntü (LBP) ve çeşitli istatistiksel özellikler çıkarılmıştır. Daha sonrasında çıkarılan özellikler, Komşuluk Bileşen Analizi ile en anlamlı hâline indirgenmiş ve sınıflandırma aşamasında k-En Yakın Komşu (kNN) ile Destek Vektör Maki neleri (SVM) yöntemleri kullanılmıştır. Deneyler sonucunda, Cubic SVM sınıflandırıcısının %79,98 doğruluk oranı ile en başarılı performansı gösterdiği belirlenmiştir. Bu sonuçlar, kısa süreli seslerden dil tanımanın mümkün olduğunu ve geliştirilen yöntemin adli bilişim uygulamalarında pratik bir şekilde kullanılabileceğini ortaya koymaktadır.

The quick and precise identification of many languages has become crucial in both security applications and forensic investigations due to the current rapid expansion of digital communication and the rise in multilin gual data flow. By detecting the language spoken by the speaker through brief recordings, speech signal based language recognition systems are essential to forensic voice investigations. In order to guide investi gative procedures, analyze crime files related to terrorism and smuggling, and interpret communication con tent, accurate language identification is crucial. The goal of this thesis is to create a model for language recognition utilizing brief speech inputs (two sec onds). Each audio recording was subjected to the necessary preprocessing procedures, and the study made use of a sizable dataset that included 60 different languages. A four-level Discrete Wavelet Transform was applied to the audio signals to create a multi-level representation. Local Binary Pattern (LBP) and other statistical features were then retrieved from these bands. Neighborhood Component Analysis was then uti lized to reduce the retrieved features to their most relevant form, and k-Nearest Neighbor (kNN) and Support Vector Machines (SVM) techniques were applied in the classification stage. With an accuracy rate of 79.98%, the studies showed that the Cubic SVM classifier performed the best. These findings show that it is feasible to recognize speech from short-duration noises and that the established ap proach has practical implications in forensic computing.