Ses ve Görüntü Verileriyle Arı Kovanı Davranışlarını Sınıflandıran Çok Modlu Derin Öğrenme Sistemi

Abstract

Bu çalışmada, arı kovanlarında gözlemlenen davranışları sınıflandırmak amacıyla ses ve görüntü verilerine dayalı çok modlu bir derin öğrenme sistemi geliştirilmiştir. Literatürde genellikle tekil veri türü (yalnızca ses veya yalnızca görüntü) kullanılırken, bu çalışmada her iki modaliteyi bütünleştiren bir yapı önerilmiştir. Sistem, Raspberry Pi tabanlı donanım üzerinde çalışarak verileri uçta (edge computing) analiz edebilmekte, böylece bulut tabanlı çözümlerden farklı olarak düşük gecikmeli ve enerji verimli karar mekanizmaları sunmaktadır. Ses verileri 1 Boyutlu Konvolüsyonel Sinir Ağı (1D CNN), görüntü verileri ise 2 Boyutlu Konvolüsyonel Sinir Ağı (2D CNN) ile işlenmiş; “normal” ve “agresif” davranışların sınıflandırılmasında sırasıyla %88,24 ve %98,98 doğruluk elde edilmiştir. Bu oranlar, literatürde bildirilen benzer çalışmalara kıyasla daha yüksek başarım sergilemektedir. Ayrıca sınıflandırma sonuçları MQTT protokolü ile mobil uygulamalara ve merkezi sisteme iletilerek kolonilerin uzaktan gerçek zamanlı takibi sağlanmıştır. Çalışma, yapay zekâ destekli Edge tabanlı sistemlerin arıcılık teknolojilerine entegre edilebileceğini ortaya koymakta; sürdürülebilir, düşük maliyetli ve pratik bir izleme çözümü sunmaktadır.In this study, a multimodal deep learning system was developed to classify honeybee colony behaviors using both audio and visual data. While previous research in the literature has mostly relied on a single data modality (either audio or image), this work proposes an integrated approach combining both modalities. The system operates on a Raspberry Pi-based hardware platform, enabling on-device (edge computing) data analysis and providing low-latency, energy-efficient decision-making compared to cloud-based solutions. Audio data were processed using a One-Dimensional Convolutional Neural Network (1D CNN), while image data were classified with a Two-Dimensional Convolutional Neural Network (2D CNN). The system achieved classification accuracies of 88.24% for audio and 98.98% for image data, outperforming similar studies reported in the literature. Furthermore, classification results were transmitted to mobile applications and a central monitoring system via the MQTT protocol, enabling remote and real-time colony monitoring. This work demonstrates the feasibility of integrating AI-powered, edge-based systems into apiculture technologies and provides a sustainable, low-cost, and practical monitoring solution.