Çok amaçlı metasezgisel optimizasyon yöntemleri ile derin sinir ağlarının otomatik modellenmesi

Abstract

Yapay zekâ ve derin öğrenme modellerinin başarısı, eğitim verisinin kalitesiyle beraber modelin mimarisine ve eğitim sürecini yöneten hiper parametrelerin doğru yapılandırılmasına da bağlıdır. Ancak günümüzde modellerin karmaşıklığının artması, bu yapılandırma süreçlerini insan uzmanlığı gerektiren ve yüksek hesaplama maliyetlerine yol açan bir darboğaza dönüştürmüştür. Bu problemden yola çıkılarak hazırlanan bu tez çalışmasında; derin sinir ağlarının yüksek hesaplama maliyetlerini azaltmak, insan müdahalesini en aza indirmek ve kaynak kısıtlı ortamlarda da etkin çalışan modeller geliştirmek amacıyla Hiper Parametre Optimizasyonu (HPO) ve Sinir Mimari Aramasına (NAS) yönelik çalışmalar gerçekleştirilmiştir. Geliştirilen temsil biçimleri ve iyileştirilen metasezgisel algoritmalar; farklı mimarilere, farklı problem türlerine ve farklı hedeflere başarıyla uygulanmıştır. Gerçekleştirilen ilk çalışmada, evrişimli sinir ağlarının HPO ve NAS süreçleri için geliştirilen temsil biçimi, dört farklı yeni mekanizmayla iyileştirilmiş bir Parçacık Sürü Optimizasyonu (PSO) algoritmasına entegre edilmiştir. CCS-DPSO olarak adlandırılan bu yöntem, sahte haber veri kümeleri üzerinde uygulanarak test edilmiştir. İkinci çalışmada ise, LLM-as-a-Judge yaklaşımı kullanılarak Büyük Dil Modellerinin (LLM) bir karar verici olarak konumlandırılması ve sahte haberleri yorumlanabilir bir şekilde sınıflandırmaları hedeflenmiştir. JEDI-LLM olarak adlandırılan bu çalışmada, geliştirilen temsil biçimi ve PSO tabanlı yöntem aracılığıyla bilgi damıtma sürecindeki hiper parametreler optimize edilmiştir. Öğretmen LLM'in muhakeme yeteneğini ince ayar ile öğrenen öğrenci modellerin başarısı sahte haber veri kümeleri üzerinde test edilmiştir. Son HPO ve NAS çalışması ise FAIR-NAS adlı çerçevedir. Bu çalışmada, geliştirilen temsil biçimi ile Alzheimer veri kümesindeki klinik özelliklerin seçilmesi ve belirlenen dört amacı optimize eden optimum ileri beslemeli sinir ağı mimarilerinin oluşturulması hedeflenmiştir. NSGA-III algoritması kullanılarak Alzheimer teşhisinde sınıflandırma performansı, tıbbi maliyet, model karmaşıklığı ve algoritmik adalet eş zamanlı olarak optimize edilmiştir. Deneysel sonuçlar, CCS-DPSO'nun sahte haber tespitinde kararlılığı artırdığını ve hesaplama sürelerini önemli ölçüde kısalttığını göstermiştir. JEDI-LLM çerçevesinde ise, HPO ile gerçekleştirilen ince ayar sonrasında, öğrenci LLM'lerin sahte haberleri yorumlayarak daha başarılı sınıflandırabildikleri görülmüştür. FAIR-NAS'ın, tıbbi teşhiste hiperhacim metriğinde üstün başarı sergileyerek maliyet, karmaşıklık ve adalet dengesini kuran Pareto-optimal mimarileri ve tıbbi alt özellik kümeleri sağladığı gösterilmiştir. Önerilen yöntemlerden elde edilen sonuçlar; bu modellerin karmaşık problemlerin çözümünde etkin, hızlı, güvenilir, adil ve karar süreçlerini yorumlanabilir yapan sistemleri sunduğunu ortaya koymuştur.

The success of artificial intelligence and deep learning models depends not only on the quality of training data but also on the model's architecture and the proper configuration of hyperparameters governing the training process. However, the increasing complexity of modern models has turned these configuration processes into a bottleneck that requires human expertise and leads to high computational costs. Motivated by this problem, this thesis conducts studies on HPO and NAS to reduce the high computational costs of deep neural networks, minimize human intervention, and develop models that operate effectively even in resource-constrained environments. The developed representation schemes and improved metaheuristic algorithms have been successfully applied to different architectures, various problem types, and distinct objectives. In the first study, the representation scheme developed for the NAS and HPO processes of Convolutional Neural Networks (CNNs) was integrated into a PSO algorithm enhanced with four novel mechanisms. This method, named CCS-DPSO, was applied and tested on fake news datasets. In the second study, utilizing the LLM-as-a-Judge approach, large language models were positioned as decision-makers, aiming for them to classify fake news in an interpretable manner. In this study, called JEDI-LLM, the hyperparameters during the knowledge distillation process were optimized through the developed representation scheme and the PSO-based method. The success of the student models, which learned the reasoning capabilities of the teacher LLM through fine-tuning, was tested on fake news datasets. The final HPO and NAS study is the framework named FAIR-NAS. In this study, the objective was to select clinical features from the Alzheimer's dataset and generate optimal Feed-Forward Network (FFN) architectures that optimize four defined objectives using the developed representation scheme. Using the NSGA-III algorithm, classification performance, medical cost, model complexity, and algorithmic fairness were simultaneously optimized in Alzheimer's diagnosis. Experimental results demonstrated that CCS-DPSO increased stability and significantly reduced computational times in fake news detection. Within the JEDI-LLM framework, it was observed that following HPO-guided fine-tuning, student LLMs were able to classify fake news more successfully by interpreting them. Furthermore, it was shown that FAIR-NAS exhibited superior performance in the hypervolume metric in medical diagnosis, providing Pareto-optimal FFN architectures and clinical feature subsets that establish a balance among cost, complexity, and fairness. The results obtained from the proposed methods revealed that these models offer effective, fast, reliable, and fair systems that make decision-making processes interpretable in solving complex problems.