AŞIRI ÖĞRENME MAKİNELERİNİN SEYREK GERİ ÇATMA ALGORİTMALARI İLE OPTİMİZASYONU

Abstract

Son zamanlarda, Aşırı Öğrenme Makinaları (AÖM) makina öğrenmesi alanında ilgi duyulan bir konu haline gelmiştir. AÖM, Tek Gizli Katmanlı İleri Beslemeli (TGKİB) ağlar için önerilmiş yeni bir öğrenme algoritmasıdır. AÖM öğrenme algoritması iyi genelleme performansı, aşırı hızlı öğrenme yeteneği ve düşük işlem karmaşıklığı gibi avantajlara sahiptir. Bu avantajlarının yanı sıra, AÖM'nin bazı eksiklikleri vardır. Öncelikle, AÖM çıkış ağırlıklarının hesaplanmasında en küçük kareler minimizasyonu kullanıldığından dolayı ezberleme problemi ile karşı karşıyadır. Bir diğer sakınca ise AÖM'nin başarımının gizli katman nöron sayısına bağlı olmasıdır. Ayrıca gizli katman nöron sayısı eğitim veri setinden büyük olması durumunda en küçük kareler çözümünden dolayı AÖM'de tekillik problemi ortaya çıkabilir ve çözüm kararsız bir davranış göstermektedir. Bu tez çalışmasında, AÖM çıkış ağırlıkları seyrek kabul edilerek, çıkış ağırlıklarının Yinelemeli Fırsatçı Takip (YFT) algoritmaları kullanılarak hesaplatılması amaçlanmıştır. Araştırılan YFT algoritmaları aşağıda belirtilmiştir; 1.Yinelemeli Sert Eşikleme (YSE), Dikgen Eşleme Takip (DET), Sıkıştırmalı Örneklemeli Eşleme Takip (SÖET) ve Kademeli Dikgen Eşleme Takip (KDET) 2.İleri Geri Takip (İGT) 3.Dikgen En küçük Kareler (DEK). Önerilen YFT tabanlı AÖM yöntemleri regresyon (grup 1), sınıflandırma (grup 2) ve zaman serisi (grup 3) problemlerine uygulanmıştır. Deneysel çalışmalar, önerilen yöntemlerin tekillik ve ezberleme problemlerine karşı dayanıklı bir AÖM mimarisi elde edildiğini göstermektedir. Ayrıca deneysel sonuçlar en uygun gizli katman nöron sayısı elde edildiğini göstermektedir. Anahtar Kelimeler: Tek-gizli katmanlı ileri beslemeli ağlar, aşırı öğrenme makinaları, seyreklik, seyrek geri çatma, yinelemeli fırsatçı takip algoritmaları.

Recently, the Extreme Learning Machine (ELM) becomes an interesting topic in machine learning area. The ELM has been proposed as a new learning algorithm for Single-Hidden Layer Feed forward Networks (SLFNs). The ELM structure has several advantageous such as good generalization performance, extremely fast learning ability and low computational process. Besides this advantageous, the ELM structure has some drawbacks. Firstly, the ELM encounters over-fitting problems because of using a least squares minimization in calculation of the output weights. Another drawback is that performance of the ELM depends on the number of hidden neurons. On the other hand the ELM may encounter the singularity problem, and its solution may become unstable, when the hidden nodes are greater than the training data. In this thesis, the output weights, which are considered sparse, have been computed by using Greedy Pursuit (GP) algorithms. The investigated GP algorithms are given as following; 1.Iterative Hard Thresholding (IHT), Orthogonal Matching Pursuit (OMP), Compressive Sampling Matching Pursuit (CoSaMP) and Stagewise Orthogonal Matching Pursuit (StOMP); 2.Forward-Backward Pursuit (FBP); 3.Orthogonal Least-Squares (OLS). The proposed GP based ELM methods have been applied to regression (group 1), classification (group 2) and time series prediction (group 3) problems. The experimental results show that a robust ELM architecture which is getting over the singularity and over fitting has been obtained by using the proposed methods. The result also show that the number of hidden neurons has been obtained. Keywords: Single-Layer feedforward network, extreme learning machine, sparsity, sparse recovery, greedy pursuit algorithms.