INTERNET OF THINGS BASED INTELLIGENT FACIAL EXPRESSION MONITORING USING EMG SIGNALS

Abstract

Yüz ifadeleri, kızgın, gülümseme, korku veya sürprizleri değerlendirmek için otomatik araçlar geliştirmek için kullanılan insan davranışlarının önemli yönleridir. Bu araçlar, özellikle yoğun bakım ünitesinde (YBÜ) ve reşit olmayanlarda olmak üzere sağlık durumlarını bildiremeyen hastalar için uygun olan kendini raporlama yöntemlerinin yerini almak için etkilidir. Bu çalışmada, yüz yüzey elektromiyografisi (sEMG) kullanan bir hastanın insan durumunun yoğunluğunu izlemek için biyosensing maskeli giyilebilir bir cihaz öneriyoruz. Giyilebilir cihazlar, hastaların uzaktan izlenmesi için Nesnelerin İnterneti (IoT) sistemlerine entegre edilen kablosuz sensör düğümleridir. 1000 Hz'de bulut sunucusuna iletim için yaklaşık dokuz sEMG kanalı örneklenir ve ağ geçidi boyunca tüm frekans aralığını kapsar. Ayrıca, uzun vadeli izleme yapmak için tasarım sürecinde düşük enerji tüketen cihazların kullanılmasını da düşünüyoruz. Büyük miktarlarda gerçek zamanlı sEMG verilerini iletmek için bir mobil web uygulaması geliştirdik. Ayrıca, kızgın, korku korkusu veya gülümseme verisi gibi gerçek zamanlı hasta durumları bakıcılara açıklamak için dijital sinyal işleme, görselleştirme ve yorumlama da yapıyoruz. Bulut platformu, web tarayıcısı ve sensör düğümleri arasında bir köprüdür. Web uygulaması ve sunucu arasındaki kablosuz iletişimi yönetmeye yardımcı olur. Bu çalışma, gerçek zamanlı ölçeklenebilir IoT sistemi biyopotansiyel izleme, korku, sürpriz, kızgın veya gülümsemeyi değerlendirmek için sınıflandırma ve yüz ifadeleri kullanarak otomatik hasta durum değerlendirmesi için giyilebilir bir çözüm önermektedir.

Facial expressions are important aspects of human behaviors used to develop automated tools to assess anger, smile, fear, or surprise. These tools are effective to replace self-reporting methods, suitable for patients who are incapable to report their health status, especially patients in critical situation or under intensive care unit (ICU) and minors. In this thesis, we propose a wearable device with a bio-sensing mask to monitor the intensity of the human status of a patient using facial surface electromyography (sEMG). Wearable devices are the wireless sensor nodes, integrated into the Internet of Things (IoT) systems for remote monitoring of patients. At 1000 Hz sampling frequency, approximately nine sEMG channels are sampled for transmission to the cloud server and cover the entire frequency range through the gateway. We also consider low energy consumption wearing devices in the design process to carry out long-term monitoring. We develop a mobile web application to transmit large amounts of real-time sEMG data. We also perform digital signal processing, visualization, and interpretation to explain real-time sick situations such as angry, fear, surprise or smile data to caregivers. The cloud platform is a bridge between the web browser and sensor nodes. It helps to manage the wireless intercommunication between the web application and server. This study proposes a real-time scalable IoT system for bio-potential monitoring, a solution that is wearable to automatically assess situation using classification and facial expressions to assess fear, surprise, anger, or smile.