Analyzing the Convergence Ability of the KarcıFANN Method

Abstract

In gradient descent–based backpropagation algorithms, which are among the most widely used techniques for the optimization of ANNs, the error between the network’s output and the expected output is calculated, and this error is propagated backward to update the weights. The process of updating the weights significantly affects both the learning time and the performance of the model. In gradient descent–based algorithms, choosing a learning rate that is too large or too small may lead to problems such as overfitting, failure to learn, or the weights not converging. During the training phase of ANNs, if the weights follow a stable curve without oscillations as the number of iterations increases, this indicates either successful learning or that the model is stuck at a local minimum. To distinguish between these cases, both the weight change graphs and the error values produced by the network should be examined.In this study, the effects of the KarcıFANN method—which uses fractional derivatives to better represent models and to address the problems encountered in ANNs—on convergence, overfitting, and learning performance were investigated. The KarcıFANN method, in which a fractional derivative is used instead of a fixed learning rate, was compared with ADAM, Momentum-based GD, and SGD methods. To examine the effects of derivatives on learning, the XOR problem was addressed in the experimental studies, and the weight changes of the methods were observed. When the MSE values and weight change graphs were analyzed, it was observed that the most successful method was Momentum-based GD, the second most successful was the KarcıFANN method, and the ADAM method got stuck at a local minimum.

YSA’ların optimizasyonunda yaygın kullanıma sahip tekniklerden gradyan iniş tabanlı geriye yayılım algoritmalarında, ağın çıktısı ile beklenen çıktı arasındaki hata hesaplanmakta ve bu hata geriye doğru yayılarak ağırlıklar güncellenmektedir. Ağırlıkların güncellenmesi işlemi, modelin öğrenme süresini ve performansını önemli ölçüde etkilemektedir. Gradyan iniş tabanlı algoritmalarda kullanılan öğrenme katsayısının çok büyük ya da küçük seçilmesi ezberleme, öğrenememe ve ağırlıkların yakınsamaması gibi problemlere neden olmaktadır. YSA’ların eğitimi aşamasında ağırlıkların, iterasyon sayısı arttıkça salınımlar yapmadan kararlı bir eğri çizmesi, başarılı bir öğrenme gerçekleştiğini ya da yerel minimum bir noktaya takıldığını göstermektedir. Bu ayrımı yapabilmek için ağırlık değişim grafikleriyle beraber ağın ürettiği hata değerlerine bakılmalıdır. Bu makalede, kesir dereceli türevle modelleri daha iyi ifade etmek ve YSA’larda karşılaşılan problemleri çözmek amacıyla kullanılan KarcıFANN yönteminin yakınsama, ezberleme durumu ve öğrenme performansına etkisi incelenmiştir. Sabit bir öğrenme katsayısı yerine kesir dereceli türevin kullanıldığı KarcıFANN yöntemi ile ADAM, Momentumlu GD ve SGD yöntemleri karşılaştırılmıştır. Türevlerin öğrenmeye olan etkilerini incelemek amacıyla XOR probleminin çözümü deneysel çalışmalarda ele alınmış ve yöntemlerin ağırlık değişimleri gözlemlenmiştir. MSE değerleri ve ağırlık değişim grafikleri incelendiğinde en başarılı yöntemin Momentumlu GD, ikinci başarılı yöntemin KarcıFANN yöntemi olduğu ve ADAM yönteminin de yerel bir minimum noktaya takıldığı görülmektedir.