Federe öğrenme tabanlı nesnelerin yapay zekası ile gözetim videolarında akıllı kalabalık analizi için anomali tespiti ve tahmini

Abstract

Son zamanlarda kentleşme, akıllı şehir altyapısı ve büyük ölçekli kamu etkinliklerindeki gelişmeler, karmaşık kalabalık davranışlarını gerçek zamanlı olarak anlayabilen akıllı gözetim sistemlerine olan talebi önemli ölçüde artırmıştır. Geleneksel merkezi yapay zeka yaklaşımları, özellikle dağıtılmış Nesnelerin İnterneti (IoT) ortamlarında, gizlilik, ölçeklenebilirlik, iletişim yükü ve veri güvenliği ile ilgili zorluklarla sık sık karşılaşır. Bu sınırlamaların üstesinden gelmek için, bu tez, Yapay Zeka Nesneleri (AIoT) ile Federated Learning (FL) entegrasyonunu kullanarak gözetim videolarında anomali tespiti ve tahmini için yenilikçi bir çerçeve önermektedir. Önerilen sistem, kalabalık aktivitelerini yerel olarak analiz etmek için derin öğrenme tabanlı mekansal-zamansal modellerle donatılmış dağıtılmış kenar cihazlarını kullanarak, ham gözetim verilerini merkezi bir sunucuya aktarma ihtiyacını ortadan kaldırır. Federated learning'i kullanarak, çerçeve veri gizliliğini korurken ve ağ bağımlılığını en aza indirirken işbirlikçi model eğitimini kolaylaştırır. Çalışma, zeki özellik çıkarımı ve zamansal davranış analizi yoluyla panik durumları, yetkisiz hareketler ve olağandışı nesne etkileşimleri gibi anormal kalabalık olaylarını tespit etmeye odaklanmaktadır. Gözetim veri setleri kullanılarak yapılan deneysel değerlendirmeler, önerilen mimarinin doğruluk, hassasiyet, geri çağırma, F1 skoru ve Eğri Altındaki Alan (AUC) açısından etkinliğini değerlendirir. Sonuçlar, federe öğrenme ve AIoT tabanlı yaklaşımın, gizliliği gözeten, dağıtık öğrenme yeteneklerini korurken rekabetçi anomali tespiti performansı sergilediğini göstermektedir. Ayrıca, çerçeve gerçek dünya akıllı gözetim uygulamaları için ölçeklenebilirlik ve uyarlanabilirlik sunar. Bu tez, yapay zeka, federated öğrenme ve akıllı video analitiği arasındaki yeni kesişime, bir sonraki nesil kalabalık anomali tespit ve tahmin sistemleri için güvenli, verimli ve gizliliği koruyan bir çözüm sunarak katkıda bulunmaktadırRecent advances in urbanization, smart city infrastructure, and large-scale public events have significantly increased the demand for intelligent surveillance systems capable of understanding complex crowd behaviors in real time. Traditional centralized artificial intelligence approaches often face challenges related to privacy, scalability, communication overhead, and data security, especially in distributed Internet of Things (IoT) environments. To overcome these limitations, this thesis proposes a novel framework for anomaly detection and prediction in surveillance videos by integrating Artificial Intelligence of Things (AIoT) with Federated Learning (FL). The proposed system eliminates the need to transfer raw surveillance data to a central server by using distributed edge devices equipped with deep learning-based spatiotemporal models to analyze crowd activities locally. By leveraging federated learning, the framework facilitates collaborative model training while preserving data privacy and minimizing network dependency. The study focuses on detecting abnormal crowd events such as panic situations, unauthorized movements, and unusual object interactions through intelligent feature extraction and temporal behavior analysis. Experimental evaluations using surveillance datasets assess the effectiveness of the proposed architecture in terms of accuracy, precision, recall, F1-score, and Area Under the Curve (AUC). The results demonstrate that the federated AIoT-based approach achieves competitive anomaly detection performance while maintaining privacy-aware distributed learning capabilities. Moreover, the framework offers scalability and adaptability for real-world smart surveillance applications. This thesis contributes to the emerging intersection of artificial intelligence, federated learning, and intelligent video analytics by presenting a secure, efficient, and privacy-preserving solution for next-generation crowd anomaly detection and prediction systems.