Dış Ortam Görüntülerindeki İnsan Hareketlerinin Hibrit Derin Öğrenme Yöntemleri Kullanarak Sınıflandırılması

Abstract

Bu makale çalışmasında, dış ortam görüntülerinde yer alan insan hareketlerinin otomatik sınıflandırılması için hibrit bir derin öğrenme yaklaşımı önerilmiştir. İlk olarak, dış ortamdan çekilen görüntü içerisindeki kişilerin tespiti sağlanmıştır. Bu amaçla, literatürde yaygın olarak kullanılan önceden eğitilmiş derin nesne tespit aracı olan YOLO kullanılmıştır. Dış ortam görüntülerinin elde edilmesinde Google street view platformu tercih edilmiştir. Daha sonra tespit edilen kişiler için hareket sınıfları oluşturulmuştur. Bu hareket sınıfları; sağa yürüme, sola yürüme, ayakta durma ve oturma şeklindedir. Böylece dış ortam görüntülerinden tespit edilen kişiler için kapsamlı bir veri seti oluşturulmuştur. Sınıfları belirlenen verilerin otomatik olarak tanınması işlemi için bir konvolüsyonel sinir ağı (KSA) modeli tasarlanmıştır. Eğitimi tamamlanan bu model, YOLO nesne tespit sistemi ile hibrit bir şekilde kullanılarak giriş görüntüsü içerisindeki kişi hareketlerinin otomatik olarak tanınmasını sağlamıştır. Makale kapsamında, dört sınıflı bir veri seti oluşturularak önerilen sistemin performans değerlendirmeleri yapılmıştır.