KINECT ALGILAYICI KULLANARAK İNSAN DAVRANIŞLARININ İNSANSI ROBOTLARA ÖĞRETİLMESİ

Abstract

Bu tezde, insan hareketlerinin tanınması ve insansı bir robot üzerinde gerçekleştirilmesi için yeni bir algoritma geliştirilmiştir. Sunulan algoritma, gerçek zamanda üst vücut hareketlerine ilişkin insan hareketlerinin tanınması ve taklit edilmesiyle ilgilidir. Çalışma iki kısımdan oluşmaktadır. Birinci kısımda, eş zamanlı bir taklit sistemi gerçekleştirilmiştir. Xbox 360 Kinect algılayıcıdan elde edilen 3 boyutlu (3B) insan iskelet eklem pozisyonları, bir dönüşüm algoritması sayesinde robot eklem açılarına dönüştürülmekte ve sonrasında bu açısal veriler, NAO insansı robota aktarılmaktadır. Bu kısmın sonunda, üst vücut insan hareketleri, NAO robot tarafından eş zamanlı olarak başarılı bir şekilde taklit edilmiştir. Çalışmanın ikinci kısmında, insan üst vücut hareketleri için hareket tanıma algoritması uygulanmıştır. Kullanıcılardan eklem açılarını elde etmek için çalışmanın birinci kısmındaki dönüşüm algoritması kullanılmıştır. Böylece hareket veri seti oluşturulmuştur. Her hareket, farklı vücut yapısına sahip 9 kullanıcı tarafından 10 kez yapılmıştır. Kullanıcılardan toplanan eklem açıları hareketlere göre 6 sınıfa bölünmüştür. Eklem açılarıyla tanımlı insan hareketlerini sınıflandırmak için Aşırı Öğrenme Makinaları (AÖM) kullanılmıştır. Ayrıca, karşılaştırmak amacıyla ileri beslemeli bir Yapay Sinir Ağı (YSA) üzerinden Geriye Yayılım Algoritması (GYA) kullanılmıştır. Karşılaştırmalı sonuçlar, AÖM'nin, daha iyi bir hareket tanıma performansı ürettiğini göstermiştir. Anahtar Kelimeler: Xbox 360 Kinect, NAO insansı robot, İnsan hareketlerinin tanınması.

In this thesis, a novel algorithm is improved to recognize human actions and reproduction them on a humanoid robot. The proposed algorithm concerns to the human action recognition and imitation relating to upper body in real time. The study consists of two parts. In the first part, the real time imitation system is realized. The 3D human skeleton joint positions obtained from Xbox 360 Kinect are transformed to robot joint angle data via a transformation algorithm and then these angular data are transferred to NAO humanoid robot. At the end of this part, the upper body human actions are successfully imitated by NAO humanoid robot in real – time. In the second part of the study, the human action recognition algorithm is implemented for human upper body gestures. The transformation algorithm in the first part of study is used for obtained joint angles from users. So a human action data – set is created. Each action is performed 10 times by nine users with different body builds. The collected joint angles from users are divided into six classes according to the actions. Extreme Learning Machines (ELMs) are used to classify human actions defined by joint angles. Additionally, the Feed-Forward Neural Networks (FNNs) with back propagation algorithm is used for the comparison aim. According to the comparative results, ELMs produce a good human action recognition performance. Keywords: Xbox 360 Kinect, NAO humanoid robot, Human action recognition.