İVME VE DERİNLİK SENSÖR VERİLERİNİ KULLANARAK İŞBİRLİKÇİ HAREKET VE DÜŞME TANIMA İÇİN AKILLI TEKNİKLERİN GELİŞTİRİLMESİ

Abstract

İnsan hareketlerinin daha iyi anlaşılabilmesi için bu hareketlerin doğru ve verimli bir şekilde tespit edilmesi, tespit edilen hareketlerin de doğru bir şekilde tanımlanması ve sınıflandırılması gerekmektedir. Özellikle yaşlılarda ciddi sağlık problemlerine sebep olabilen düşme eyleminin doğru ve erken tespit edilmesi ve gerekli acil ilk yardımın yapılması gerekir. Bu amaçla bu tez çalışmasında, insan hareketlerinin tespit edilmesi ve özellikle düşen bireylere acil ilk yardımın yapılması için düşme olayının doğru ve verimli bir şekilde tespit edilmesi konularında akıllı teknikler geliştirilmiştir. Çalışmada, Kinect derinlik verileri ile ivme verileri kullanılmıştır. Uygulamalar, MATLAB platformu üzerinden yapılmıştır. İvme verileri kullanılarak insan hareketleri ve düşme olayı tespit edilmiştir ve sınıflandırılmıştır. Zıplama gibi ani hareketler ile düşme eyleminin birbiri ile karıştırılmaması ve düşme olayının daha doğru bir şekilde tespit edilmesi için Kinect derinlik verileri, düşmenin doğrulanması için kullanılmıştır. Öncelikle ivme verilerinden insanın günlük aktivitelerinin tespiti konusunda makine öğrenmesi teknikleri kullanılmıştır. Ek olarak Uzun Kısa Süreli Bellek (UKSB) tabanlı derin öğrenme yöntemi ile ivme verilerinden hareket tespiti yapılmış ve bu iki yöntemin sonuçları karşılaştırılmıştır. Hareket tespiti için bir sınıflandırıcıdansa birden fazla sınıflandırıcı uygun bir şekilde seçilirse daha iyi sonuçların alınılabileceği düşünülmüş, bu yüzden parçacık sürü optimizasyonu tekniği de uygulanmıştır. İvme verilerinden, Bir Boyutlu Yerel İkili Desen (1B-YİD) ve Aşırı Öğrenme Makinesi (AÖM) tabanlı düşme tespiti yöntemi önerilmiştir. Aynı zamanda, kontrol grafiğinin ve Kinect derinlik görüntülerinin kullanıldığı düşme tespiti tekniği geliştirilmiştir. Sonuç olarak hareket tespiti için makine öğrenmesi algoritmaları, UKSB tabanlı derin öğrenme tekniği ve parçacık sürü optimizasyonu tekniği kullanılmıştır. Düşme tespiti için de 1B-YİD ile AÖM metotları ve kontrol grafiği metodu kullanılmıştır, etkili sonuçlar alınmıştır.In order to better understand human movements, these movements must be identified accurately and efficiently, and identified movements must be accurately identified and classified. Falling action, which can cause serious health problems especially in the elderly, must be detected correctly and early and necessary first aid must be provided. For this purpose, in this thesis, intelligent techniques have been developed to detect human movements and to detect the fall event accurately and efficiently in order to provide emergency first aid to falling individuals. Kinect depth data and acceleration data were used in the study. Applications were made via MATLAB platform. Human movements and falls were detected and classified using acceleration data. Kinect depth data was used to confirm the fall to avoid confusion with sudden movements such as jumping and falling action, and to more accurately detect the fall event. First of all, machine learning techniques were used to determine human daily activities from acceleration data. In addition, Long Short Term Memory (LSTM) based deep learning method was used to detect motion from acceleration data and the results of these two methods were compared. It is thought that better results can be obtained if more than one classifier is selected properly from a classifier for motion detection, so particle flock optimization technique has also been applied. From the acceleration data, One Dimensional Local Binary Pattern (1D-LBP) and Extreme Learning Machine (ELM) based fall detection method have been proposed. At the same time, the fall detection technique using control graph and Kinect depth images has been developed. As a result, machine learning algorithms, LSTM based deep learning technique and particle flock optimization technique were used for motion detection. 1D-LBP and ELM methods and control graph method were used for fall detection and effective results were obtained.