GESTURE LEARNER MACHINE FOR RECOGNIZING SYMBOLS AND NUMBERS

Abstract

Sembolleri ve Sayıları Tanıma için Hareket Öğrenen Makine El hareketi tanıma (Hand Gesture Recognition-HGR) son yıllarda daha büyük ve güçlü bir şekilde dikkat kazanan bir sistemdir. Bunun nedeni, kullanışlı uygulamaları ve insan bilgisayar etkileşimi (Human Computer Interaction-HCI) kavramına dayanarak makine ile etkin bir şekilde iletişime geçebilmesidir. Bu tez, bir yazılım aracı kullanarak HGR sistemi için bir yaklaşım sunmaktadır. Geliştirilen sistem, gerçek zamanlı görüntüyü bir girdi olarak okur ve bunu el işaretlerinin eğitim seti örnekleriyle karşılaştırır. Bu yaklaşımda, eşik bölgelerinin tespiti için deri algılama tekniği kullanılmıştır ve kullanılan el hareketleri ve tanıma işlemi için k-En Yakın Komşu (k-NN), Naive Bayes (NB) ve Destek Vektör Makinesi (SVM) olmak üzere üç makine öğrenmesi metodu kullanılmıştır. Kullanılan el hareketleri Irak işaret dilinde kullanılan sayı ve sembolleri tanımak için derinlik algılayıcısı olan bir Kinect kamera kullanarak alınmıştır. Bu tezde sunulan sonuçlar, özel ihtiyaçları olan bireylerle normal bireyler arasındaki iletişimin iyileştirilmesinde gerçekleştirilmiştir. Buna ek olarak, sunulan çalışma farklı ülkelerdeki işaret dillerinin manasını anlamak için araç olarak kullanılabilir. Anahtar Kelimeler: El Hareketleri, İnsan Bilgisayar Etkileşimi, Kinect, K-En Yakın Komşu, Naive Bayes, İşaret Dili, Destek Vektör Makineleri

Hand Gesture Recognition (HGR) is a system that has gained a great and more powerful attention in the recent years. This is due to its useful applications and the ability to contact with machine effectively based on the concept of Human Computer Interaction (HCI). This thesis presents an approach for HGR system using a software tool. The developed system reads the real time image as an input and then it compares it with the training set samples of hand signs. In this approach, for detecting the threshold regions, skin detection technique has been used and for recognition process three Machine Learning methods have been used such as k-Nearest Neighbors (k-NN), Naïve Bayes (NB) and Support Vector Machine (SVM). The used hand gestures are for recognizing numbers and symbols available in the Iraqi sing language using a Kinect camera that has a depth sensor. The results presented in this thesis are realized in improving the communication between individuals with special needs and normal individuals. In addition, the presented work can be used as means for understanding the meaning of sign language in different countries. Keywords: Hand Gesture, Human Computer Interaction, Kinect, k-Nearest Neighbor, Naïve Bayes, Sign Language, Support Vector Machine VII