Performance Assessment of Functional Upper Extremity Exercises with Deep Learning

Abstract

Rehabilitation exercises are essential for recovery following surgery and for managing musculoskeletal conditions. However, regular in-person physiotherapy sessions can be costly and difficult to access, particularly in home-based or remote care settings. This study presents a deep learning-based approach for automatically evaluating rehabilitation exercise performance using RGB videos captured with standard, low-cost cameras. Unlike conventional systems requiring costly depth sensors or wearables, the proposed method extracts 3D joint positions from standard RGB videos to assess movement quality. The model is trained on expert physiotherapist scores to ensure clinically meaningful evaluations. Experimental results show that the model’s predictions closely match the scores given by physiotherapists, demonstrating the reliability and accuracy of the system. This framework offers a practical and scalable solution for remote monitoring of rehabilitation exercises, reducing dependence on clinical supervision while maintaining assessment quality. The findings highlight the potential of deep learning to support more accessible, flexible, and cost-effective rehabilitation, particularly for individuals with limited access to traditional care services.Rehabilitasyon egzersizleri, ameliyat sonrası iyileşme süreci ve kas-iskelet sistemi bozukluklarının yönetimi için oldukça önemlidir. Ancak, düzenli yüz yüze fizyoterapi seansları maliyetli olabilir ve özellikle evde ya da uzaktan bakım gerektiren durumlarda erişimi zorlaşabilir. Bu çalışma, düşük maliyetli ve standart kameralarla kaydedilen RGB videolar kullanılarak rehabilitasyon egzersizlerinin performansını otomatik olarak değerlendiren derin öğrenme tabanlı bir yaklaşım sunmaktadır. Geleneksel olarak pahalı derinlik sensörleri veya giyilebilir cihazlara dayanan sistemlerin aksine, önerilen yöntem sıradan video görüntülerinden 3B eklem konumlarını çıkararak hareket kalitesini analiz eder. Model, uzman fizyoterapistler tarafından verilen performans puanlarıyla eğitilerek, klinik olarak anlamlı değerlendirmeleri öğrenmektedir. Deneysel sonuçlar, modelin tahminlerinin fizyoterapistlerin puanlarıyla yüksek oranda örtüştüğünü göstermekte ve sistemin güvenilirliğini ortaya koymaktadır. Bu çerçeve, klinik gözetim ihtiyacını azaltarak uzaktan rehabilitasyon egzersizlerinin izlenmesi için pratik ve ölçeklenebilir bir çözüm sunmaktadır. Bulgular, derin öğrenmenin daha erişilebilir, esnek ve düşük maliyetli rehabilitasyon süreçlerini desteklemedeki potansiyelini ortaya koymaktadır.