İLERİ-GERİ TAKİP ALGORİTMASI TABANLI SEYREK AŞIRI ÖĞRENME MAKİNESİ

Abstract

Son zamanlarda, Aşırı Öğrenme Makinaları (AÖM) makine öğrenmesi alanında ilgi duyulan bir konu haline gelmiştir. AÖM Tek Gizli Katmanlı İleri Beslemeli (TGKİB) ağlar için önerilmiş yeni bir öğrenme algoritmasıdır. AÖM modeli iyi genelleme performansı, aşırı hızlı öğrenme yeteneği ve düşük işlem karmaşıklığı gibi avantajlara sahiptir. Bu avantajlarının yanı sıra, AÖM bazı dezavantajlara sahiptir. Öncelikle, çıkış ağırlıklarının hesaplanmasında en küçük kareler minimizasyonu kullanıldığından aşırı örtüşme ile karşı karşıyadır. Bir diğer sakınca ise AÖMnin doğruluğunun gizli katman nöron sayısına bağlı olmasıdır. Bu olumsuzluk geniş ölçekli problemlerde daha kötü bir hal almaktadır. Çalışmamızda, bu olumsuzlukları gidermek için seyrek tabanlı bir AÖM modeli önerildi. Seyrek tabanlı AÖM modelinde, çıkış ağırlıklarının seyrek temsilini hesaplamak için yinelemeli fırsatçı takip algoritması tabanlı İleri-Geri Takip (İGT) algoritması kullanılmıştır. İGT-AÖM olarak adlandırılan yöntem normal AÖM ile karşılaştırıldığında aşırı örtüşmeyen (ezberlemeyen) ağ yapısı, düşük hesap karmaşıklığı ve gizli katman nöronlarının kabul edilebilir bir sayıda olması gibi üstünlüklere sahiptir. Yaygın kullanılan sınıflandırma problemleri üzerine yapılan deneysel çalışmalar ışığında İGT-AÖM yöntemi dikkate değer üstünlükler göstermektedir. Ayrıca başarımın etkinliğini vurgulamak için çalışmanın devamında normal AÖM ve en küçük açısal regresyon (Least angle regression, LARS), en küçük mutlak daralma ve seçme operatörü (Least absolute shrinkage and selection operator, LASSO) ve Elastic Net gibi düzenlenmiş AÖMler ile önerilen metodun karşılaştırılması yapılmıştır.