DESIGN OF IOT BASED VIOLENCE DETECTION SYSTEMS USING LIGHTWEIGHT VIRTUALIZATION MECHANISM

Abstract

Şiddet olayları bugün kamusal alanlarda, okullarda ve çeşitli spor alanlarında sık karşılaşılan durumlar haline gelmiştir. Bu olaylarının tespit edilmesi ve faillerinin yakalanması toplum düzeni açısından hayatidir. Günümüz IoT teknolojileri burada da insanlığın yardımına yetişmektedir. Bu amaçla bu tez çalışması da şiddet olaylarının algılanmasında güvenlik güçlerine ve ilgili kurumlara yardımcı olabilecek bulut hesaplama temelli bir IoT şiddet algılama sistemini önermiştir. Şiddet algılama sistemi uçta hesaplama teknolojilerinden faydalanmaktadır. Ayrıca yazılım yürütümü ve sistem sürdürülebilirliği için uç cihazlar hafif sanallaştırma teknolojisi olan Docker'ı kullanmaktadır. Şiddet algılamayı gerçekleştiren yapay zekâ modülü, literatürde önerilmiş olan derin öğrenme modellerini içermektedir. Derin öğrenme modülü CNN, LSTM, BiLSTM, GRU ve RNN modellerinden oluşmakta ve önceden eğitilmiş MobileNet ile beraber çalışmaktadır. Uç cihazlar üzerinden alınan görüntüler lokal olarak değerlendirilmekte ve acil olanlar, ilgili kurumlarla veya bulut ortama iletilmektedir. Uçta yapılan hesaplama, bulut yükünün artmasını büyük ölçüde azaltmaktadır. Docker teknolojisi, ilgili yapay zeka modüllerinin hızlı ve esnek bir şekilde uç sistemlere kurulmasına ve yönetilmesine olanak sağlamaktadır. Eğitim için kullanılan veri seti şiddet içeren ve içermeyen görüntülerden oluşmaktadır. Tez çalışmasında ilk olarak yapay zeka modülleri eğitilmiş ve sonrasında bu eğitilmiş modüller gerçek zamanlı çalışabilen uç cihazlara konteyner teknolojileri kullanılarak yüklenmiştir. Yapılan deneyler lokal ortamlar için test edilmiş ve sistemin başarımı gözlemlenmiştir. Ayrıca uç cihazlarda tüketilen kaynak miktarı ve iletişim trafiği de incelenerek sistemin uç cihaz performansları tartışılmıştır. Pratikte şiddet algılama sistemleri kurulum ve yürütüm maliyetleri bakımından dezavantajlara sahip olabilmektedir. Dahası bu tip sistemlerde bulut hesaplama gibi IoT teknolojilerinin kullanılması ile bu maliyetler daha da artabilmektedir. Bulut sistem yükünün ve müşteri maliyetinin optimize edilmesine her zaman dikkat edilmelidir. Bu bakımdan bu tez çalışmasında önerilen IoT sistem modeli önemli kazanımlara sahip olup aynı zamanda uygulanabilir ve ticari potansiyel de taşımaktadır.

Today, violent events have become more common in public areas, schools, and sports arenas. The early detection of these events, as well as catching the perpetrators, is vital for social order. Today's Internet of Things (IoT) technologies help to overcome these problems, and for this purpose, this thesis proposes a cloud computing-based IoT violence detection system, which is able to help security forces and related institutions. This violence detection system uses edge computing technologies, and in addition, the edge devices use Docker, which is a lightweight virtualization technology, for both software execution and system sustainability. The artificial intelligence (AI) module, which detects violence, uses deep learning models that are suggested in the literature. The deep learning module includes (CNN) with LSTM, BiLSTM, Gated Recurrent Unit (GRU) and Recurrent Neural Network (RNN) models that use a pre-trained MobileNet. The images taken by the edge devices are locally evaluated, and the urgent cases are forwarded to the relevant institutions, or to the cloud environment. Computing at the edge leads to a great reduction in the increase of cloud load, and the Docker technology allows the installation and management of related AI modules on edge devices in a fast and flexible way. The training dataset consists of violent and non-violent images. In the thesis, AI modules were trained outside the edge layer, and then the trained modules were loaded on edge devices, using container technologies. The experiments were done in local environments and the performance of the system was then analysed. In addition, the resources consumed by the edge devices were examined, with an additional discussion regarding edge device performances. In practice, conventional violence detection systems may have disadvantages in terms of installation and execution costs. Moreover, these costs can increase even more with the use of IoT technologies such as cloud computing. Attention should always be paid to optimizing the cloud system load and customer cost, which was proven in this work, since the proposed IoT system model has several gains and advantages, with a clear practical and commercial potential.