ConvMixer, VGG16 and ResNet101 Based Ensemble Learning Approach for Classification of Honey Bee Diseases

Abstract

Honey bees are one of the most important components of the ecosystem due to many factors. However, honey bees are under threat due to factors such as varroa parasite, climate change and insect infestation, which have increased recently. Therefore, the analysis of honey bees with advanced artificial intelligence techniques has been a very important research topic recently. In this study, an ensemble learning approach based on convolutional neural network architectures is presented for the classification of bee diseases. This model, called ConvMixer, VGG16 and ResNet101-based ensemble learning approach (CVR-TOY), is basically based on the combination of predictive scores of VGG16, ResNet101 and ConvMixer classifiers. In this way, the prediction outputs of VGG16, ResNet101 and ConvMixer structures developed with different approach techniques were effectively combined to increase honey bee disease classification performance. Two approaches were tried when combining the prediction scores. In the first approach, classification prediction is made by taking the highest value of the prediction outputs of the models. The second model is the averaging approach. It has been seen that the averaging approach produces the best results with the common sense model. In experimental studies, BI dataset, which contains images of bees affected by 6 different hive problems, was used. In this experimental study, an F1-score of 98.87% was obtained from the proposed model. In addition, the proposed model in the experimental study was compared with the latest technological models. As a result of the comparison, the F1-score of the proposed model showed 2.31% higher performance.Bal arıları birçok etkenden dolayı ekosistemin en önemli bileşenlerinden biridir. Fakat son zamanlarda artan varroa paraziti, iklim değişiklikleri ve böcek istilası gibi etkenlerden dolayı bal arıları tehdit altındadır. Bundan dolayı son zamanlarda gelişmiş yapay zekâ teknikleri ile arılarının analiz edilmesi oldukça önemli bir araştırma konusu olmuştur. Bu çalışmada arı hastalıklarının sınıflandırılması için Evrişimsel sinir ağ mimarileri tabanlı bir topluluk öğrenme yaklaşımı sunulmuştur. ConvMixer, VGG16 ve ResNet101 tabanlı topluluk öğrenme yaklaşımı (CVR-TÖY) olarak adlandırılan bu model temel olarak VGG16, ResNet101 ve ConvMixer sınıflandırıcılarının tahmin skorlarının birleştirmesine dayanmaktadır. Bu sayede farklı yaklaşım teknikleri ile geliştirilen VGG16, ResNet101 ve ConvMixer yapılarının tahmin çıktıları etkili bir şekilde birleştirilerek bal arı hastalık sınıflandırma performansı artırılmıştır. Tahmin skorları birleştirilirken iki yaklaşım denenmiştir. Birinci yaklaşımda modellerin tahmin çıktılarının en yüksek değeri alınarak sınıflandırma tahmini yapılmıştır. İkinci model ise ortalama değer alma yaklaşımıdır. Ortalama değer alma yaklaşımının ortak akıl modeli ile en iyi sonucu ürettiği görülmüştür. Deneysel çalışmalarda 6 farklı kovan probleminden etkilenen arı görüntülerini içeren BeeImage Dataset (BI) veri kümesi kullanılmıştır. Bu deneysel çalışmada önerilen modelden %98.87 F1-skoru elde edilmiştir. Ayrıca yapılan deneysel çalışmada önerilen model son teknolojik modeller ile karşılaştırılmıştır. Karşılaştırma sonucunda önerilen modelin F1-skoru %2.31 daha yüksek performans göstermiştir.