Armed Activity Recognition using Pose-Based Features with Machine Learning and Deep Learning

Abstract

Automatic detection of "armed" activities commonly focuses on the detection of weapons, with the limitations of variety in shapes, types and colours of weapons. This study aims to perform AI-based identification of armed and unarmed activities using postural landmark features of the human body, without requiring weapon visibility. We conducted a comparative analysis on the postures by MediaPipe and YOLOv8-pose frameworks and their impact on the performance of conventional machine learning and deep learning classifiers. Posture landmarks were extracted separately using both frameworks on a total number of 3,866 images (1,934 armed and 1,932 unarmed activities). Conventional machine learning algorithms and Long Short-Term Memory (LSTM) algorithms were trained without data augmentation on GridSearchCV and the early stopping mechanism. The experimental results showed that the YOLOv8-pose-based posture feature landmarks provide higher armed pose activity classification performance than the MediaPipe-based landmarks. The optimized SVM trained on the YOLOv8-pose feature set achieved the highest test accuracy rate of 94.2%, whereas the most successful deep learning model, the YOLOv8-pose-based Bi-LSTM, reached an accuracy rate of 93.9%. Consequently, the findings demonstrate that feature set responsibility can outweigh model complexity of sequence learning-based algorithms in "armed pose" detection for even a lightweight SVM algorithm.

"Silahlı" faaliyetlerin otomatik belirlenmesi genellikle silahların tespitine odaklanır; ancak bu, silahların şekil, tür ve renk çeşitliliğine bağlı sınırlılıklara sahiptir. Bu çalışma, silah görünürlüğüne gerek duymadan, insan vücudunun duruş referans noktalarını kullanarak silahlı ve silahsız faaliyetlerin yapay zeka tabanlı tanımlanmasını amaçlamaktadır. MediaPipe ve YOLOv8-pose kütüphaneleri ile elde edilen duruşlar ve bunların geleneksel makine öğrenimi ve derin öğrenme sınıflandırıcılarının performansına etkileri üzerinde karşılaştırmalı bir analiz gerçekleştirdik. Duruş referans noktaları, toplam 3.866 görüntü (1.934 silahlı ve 1.932 silahsız faaliyet) üzerinde her iki kütüphane kullanılarak ayrı ayrı çıkarıldı. Geleneksel makine öğrenimi algoritmaları ve Uzun Kısa Süreli Bellek (LSTM) algoritmaları, GridSearchCV ve erken durdurma mekanizması kullanılarak veri artırma yapılmadan eğitildi. Deneysel sonuçlar, YOLOv8-pose tabanlı duruş özelliği referans noktalarının, MediaPipe tabanlı referans noktalarına göre daha yüksek silahlı duruş faaliyeti sınıflandırma performansı sağladığını göstermiştir. Optimize edilmiş SVM, YOLOv8-poz özellik kümesi üzerinde eğitilerek %94,2 ile en yüksek test doğruluk oranına ulaşırken, en başarılı derin öğrenme modeli olan YOLOv8-poz tabanlı Bi-LSTM, %93,9 doğruluk oranına ulaşmıştır. Sonuç olarak, bulgular, hafif bir SVM algoritması için bile "silahlı poz" tespitinde öznitelik kümesi sorumluluğunun, dizi öğrenmeye dayalı algoritmaların model karmaşıklığından daha önemli olabileceğini göstermektedir.