YAŞLI BAKIMINDA DERİN ÖĞRENME İLE VİDEO ÜZERİNDEN SAĞLIK DURUMUNUN TAKİBİ

Abstract

Şehirlerde yaşayan insan nüfusunun gittikçe yoğunlaşması, akıllı şehir hizmetlerine talebi artırmaktadır. Bu hizmetlerin içinde akıllı sağlık başlığı altındaki önemli bir alt başlık da yaşlı bakım hizmetidir. Günümüzde insanların ömür süresi artmakta ve aynı zamanda Alzheimer gibi bakıma muhtaçlık doğuran hastalıklarda da artış görülmektedir. Hastane odasında veya evinde yalnız yaşarken bu insanların aktivitelerinin izlenip raporlanması akıllı şehir başlığı altında çokça çalışılan araştırma konularındandır. Sağlık sistemi için, düşme durumu olur olmaz algılanıp yetkililerin uyarılması çok önemlidir. Akıllı şehir hizmetlerinin gelişimine ve yaygınlaşmasına büyük katkı veren nesnelerin interneti teknolojisi büyük veriyi doğurmaktadır. Büyük veri analitiğinde, çok etkin bir yapay zekâ çözümü derin öğrenme ağlarıdır. Bu çalışmada, Evrişimsel Sinir Ağı (ESA) modelinde bir derin öğrenme ağını eğitmek üzere, bir odada yaşayan kişileri temsilen çekilen videolardan özgün bir veri seti oluşturulmuştur. Bu veri seti kullanılarak, gerçek zamanlı olarak çalışması amaçlandığı için küçük boyutlu tasarlanan ve farklı hiper parametrelere sahip olan ESA modelleri, Matlab yazılımı aracılığı ile eğitilmiştir. Eğitim süreci, karmaşıklık matrisine dayalı başarım kriterleri ile değerlendirilmiştir. Eğitilen bu ağlar ile bir web kamerasının çektiği gerçek zamanlı video görüntüsü üzerinden aktivite izlenmesi ve düşme uyarısı yapılması sağlanmıştır. Aktivitelerin, ayakta, oturma, uyuma, eğilme, düşme ve boş oda durumlarına göre süreli dağılımları grafiğe dökülmüştür. Böylece, düşme olur olmaz bildirim yapılması ve periyodik aralıklarla aktivite raporlarının bulut bilişim aracılığı ile yetkililerle paylaşılması sağlanabilecektir. Farklı yapılardaki eğitilmiş ağların etkinlik değerlendirmesi yapılmıştır. Video akışından elde edilen fotoğraf çerçevelerine bağlı yapılan bu sınıflandırmalara ilaveten, bir mantıksal ayıklama süreci veya Uzun Kısa Süreli Bellek (UKSB) sınıflandırıcı eklenerek isteğe bağlı oturma ile istemsiz düşme olayları arasında ayrım yapılması gerektiği görülmüştür.The increasing concentration of the human population living in cities increases the demand for smart city services. Among these services, an important sub-title under the title of smart health is the elderly care service. Today, the life expectancy of people is increasing and at the same time, there is an increase in diseases such as Alzheimer's that cause need for care. Fall detection and monitoring the activities of these people while living alone in the hospital room or home are among the research topics that have been studied extensively under the title of smart healthcare. Because, it is very important to warn the authorities as soon as a fall occurs. IoT technology, which makes a great contribution to the development and spread of smart city services, creates big data. In big data analytics, a very effective artificial intelligence (AI) solution is deep learning networks. In this study, an original dataset was created from videos taken representing people living in a room to train a deep learning network in the Convolutional Neural Network (CNN) model. Using this data set, CNN models, which are designed in small size and have different hyperparameters, are trained via Matlab software, as they are intended to work in real time. The training process was evaluated with performance criteria based on the confusion matrix. With these trained networks, activity monitoring and fall detection are possible in real-time video captured by a webcam. The time distributions of the activities according to standing, sitting, sleeping, bending, falling and empty room situations were plotted. Thus, it will be possible to notify as soon as a fall occurs and to share activity reports with the authorities at periodic intervals via cloud computing. Efficiency evaluation of trained networks owning different structures was made. In addition to these classifications based on photo frames obtained from the video stream, it has been seen that it is necessary to distinguish between intended sitting and involuntary falling events by adding a logical sorting process or Long Short-Term Memory (LSTM) classifier.