Comparative Analysis of Principle Component Analysis and Anova Feature Selection in Malware Detection

Abstract

This study presents a comparative analysis of Principal Component Analysis (PCA) and ANOVA-based feature selection methods for Android malware detection, evaluating their impact on classification accuracy and computational efficiency. Three preprocessing scenarios were examined: using the original dataset with 241 features, applying PCA for feature extraction (retaining all components due to variance thresholds), and employing ANOVA to reduce the feature set to 120. Support Vector Machines (SVM), Wide Neural Networks, and Logistic Regression classifiers were trained on these datasets, with hyperparameters optimized via 5-fold cross-validation. Results demonstrated that SVM consistently achieved the highest accuracy across all scenarios, peaking at 99.25% with PCA. However, PCA failed to reduce dimensionality of models and increased training times for SVM compared to the original dataset. In contrast, ANOVA effectively reduced the feature count, lowering SVM training time to 4.81 seconds while obtaining 98.95% accuracy. These findings highlight ANOVA as a computationally efficient method, balancing high detection performance with reduced resource demands. While PCA marginally improved accuracy, its computational cost renders it less practical for real-time applications. The study concludes that feature selection via ANOVA offers a superior trade-off for Android malware detection, prioritizing both accuracy and efficiency. Future work should explore advanced feature selection techniques and validate models on diverse datasets to enhance generalizability and address evolving malware threats.

Bu çalışma, Android kötü amaçlı yazılım tespiti için Temel Bileşen Analizi (PCA) ve ANOVA tabanlı özellik seçimi yöntemlerinin karşılaştırmalı bir analizini sunarak, bunların sınıflandırma doğruluğu ve hesaplama verimliliği üzerindeki etkilerini değerlendirmektedir. Üç ön işleme senaryosu incelenmiştir: 241 özelliğe sahip orijinal veri setini kullanma, özellik çıkarma için PCA uygulama (varyans eşikleri nedeniyle tüm bileşenleri tutma) ve özellik setini 120'ye düşürmek için ANOVA kullanma. Destek Vektör Makineleri (SVM), Geniş Sinir Ağları ve Lojistik Regresyon sınıflandırıcıları, 5 katlı çapraz doğrulama yoluyla optimize edilen hiper parametrelerle bu veri setleri üzerinde eğitilmiştir. Sonuçlar, SVM'nin tüm senaryolarda tutarlı bir şekilde en yüksek doğruluğu elde ettiğini ve PCA ile %99,25'a ulaştığını göstermiştir. Ancak, PCA model boyutunu azaltmada başarısız olmuş ve orijinal veri setine kıyasla SVM için eğitim sürelerini artırmıştır. Bunun aksine, ANOVA özellik sayısını etkili bir şekilde azaltarak SVM eğitim süresini 4,81 saniyeye düşürürken %98,95 doğruluk oranı elde etmiştir. Bu bulgular, ANOVA'nın yüksek tespit performansını azaltılmış kaynak talepleriyle dengeleyen hesaplama açısından verimli bir yöntem olduğunu vurgulamaktadır. PCA doğruluğu marjinal olarak iyileştirirken, hesaplama maliyeti onu gerçek zamanlı uygulamalar için daha az pratik hale getirmektedir. Çalışma, ANOVA aracılığıyla özellik seçiminin Android kötü amaçlı yazılım tespiti için hem doğruluğu hem de verimliliği önceliklendirerek üstün bir takas sağladığı sonucuna varmıştır. Gelecekteki çalışmalar, genelleştirilebilirliği artırmak ve gelişen kötü amaçlı yazılım tehditlerini ele almak için gelişmiş özellik seçimi tekniklerini keşfetmeli ve modelleri çeşitli veri kümelerinde doğrulamalıdır.