Vision Based Transformer Tekniği İle İnsan Konuşmasından Nörolojik Bozuklukların Sınıflandırılması

Abstract

Bu çalışmada, Parkinson hastalığı, Multipl Skleroz (MS), sağlıklı bireyler ve diğer kategoriler gibi farklı sağlık kategorilerinin insan konuşmasından yüksek doğrulukta sınıflandırılması için transformatör tabanlı sinir ağı yaklaşımını sunuyoruz. Bu yaklaşım, insan konuşmasının spektrogramlara dönüştürülmesinde yatmaktadır ve daha sonra bu spektrogramlar görsel görüntülere dönüştürülmektedir. Bu dönüşüm süreci, ağımızın çeşitli sağlık koşullarını belirten karmaşık ses desenlerini ve ince nüansları yakalamasını sağlar. Yaklaşımımızın deneysel doğrulaması, Parkinson hastalığı, MS, sağlıklı bireyler ve diğer kategoriler arasında yüksek performanslı sonuçlar vermiştir. Bu başarı, spektrogram analizi ve vision based transformer tekniği birleşimine dayanan yenilikçi, invaziv olmayan bir tanı aracı sunarak potansiyel klinik uygulamalar için kapıları açmaktadır.

In this study, we introduce a transformative approach to achieve high-accuracy classification of distinct health categories, including Parkinson's disease, Multiple Sclerosis (MS), healthy individuals, and other categories, utilizing a transformer-based neural network. The cornerstone of this approach lies in the innovative conversion of human speech into spectrograms, which are subsequently transformed into visual images. This transformation process enables our network to capture intricate vocal patterns and subtle nuances that are indicative of various health conditions. The experimental validation of our approach underscores its remarkable performance, achieving exceptional accuracy in differentiating Parkinson's disease, MS, healthy subjects, and other categories. This breakthrough opens doors to potential clinical applications, offering an innovative, non-invasive diagnostic tool that rests on the fusion of spectrogram analysis and transformer-based models.