Yüksek boyutlu verilerde sparse (seyrek) model çıkarımı: Korelasyon duyarlı adaptif lasso (CDA-Lasso yöntemi ve performans analizi

Abstract

Çok değişkenli istatistiksel analizde kovaryans matrisinin yapısı, regresyon modellerinden boyut indirgeme tekniklerine kadar merkezi bir rol oynamaktadır. Klasik dönemde geliştirilen Temel Bileşenler Analizi ve Ridge regresyonu gibi yöntemler, çoklu doğrusal bağlantı problemine farklı çözümler sunmuştur. 1990'lı yıllarda LASSO yönteminin literatüre girmesiyle başlayan 'seyreklik' (sparsity) paradigması, modellemede katsayı küçültme ve otomatik değişken seçimi imkânını tanımıştır. Ancak LASSO ve onun geliştirilmiş varyantları olan Adaptif LASSO ve Elastic Net gibi yöntemlerin, özellikle yüksek korelasyonlu veri yapılarında karşılaştığı kararsızlıklar ve bilgi tekrarı (redundancy) sorunları güncelliğini korumaktadır. Modern veri setlerinde gözlem sayısının değişken sayısından az olması (n < p), örnek kovaryans matrisinin spektral yapısında bozulmalara yol açarak değişkenler arası bağımlılığın modele doğrudan entegre edilmesini zorunlu kılmaktadır. Bu tez kapsamında, mevcut yöntemlerin bu yapısal bağımlılığı yeterince dikkate almaması eksikliğinden hareketle, Korelasyon Duyarlı Adaptif LASSO yöntemi geliştirilmiştir. Önerilen yaklaşım, ceza terimini katsayı büyüklükleri (relevance) ile değişkenler arası korelasyon geometrisini (redundancy) bütünleştiren hibrit bir ağırlıklandırma mekanizmasına dayandırmaktadır. Simülasyon çalışmaları, CDA-LASSO'nun klasik yöntemlere kıyasla model karmaşıklığını yaklaşık %50 oranında azaltarak çok daha yalın ve yalın modeller ürettiğini doğrulamıştır. Elde edilen bulgular; önerilen yöntemin özellikle yüksek korelasyonlu yapılarda yanlış keşif oranını anlamlı ölçüde düşürdüğünü, F1 dengesini iyileştirdiğini ve ağır kuyruklu hata yapıları altında dahi gürbüz (robust) bir performans sergilediğini ortaya koymaktadır. Bu çalışma, herhangi bir ön tanımlı grafik yapısına ihtiyaç duymadan veri geometrisini optimizasyon sürecine dahil ederek, yüksek boyutlu veri analizi literatürüne özgün bir perspektif sunmaktadır.

In multivariate statistical analysis, the structure of the covariance matrix plays a central role, from regression models to dimensionality reduction techniques. Methods such as Principal Component Analysis and Ridge Regression, developed in the classical period, offered different solutions to the multicollinearity problem. The sparsity paradigm, which began with the introduction of the LASSO method in the 1990s, enabled coefficient shrinkage and automatic variable selection in modeling. However, the instability and redundancy issues encountered by LASSO and its improved variants, such as Adaptive LASSO and Elastic Net, persist as significant limitations, particularly in highly correlated data structures. In modern datasets, the number of observations is often less than the number of variables (n < p), leading to distortions in the spectral structure of the sample covariance matrix. This necessitates the direct integration of inter-variable dependence into the modeling process. This thesis proposes a Correlation-Sensitive Adaptive LASSO (CDA-LASSO) method to address the deficiency of existing methods in adequately considering this structural dependence. The proposed approach introduces a hybrid weighting mechanism that integrates the penalty term with both coefficient magnitudes (relevance) and correlation geometry (redundancy). Simulation studies confirm that CDA-LASSO produces more parsimonious and interpretable models, reducing model complexity by approximately 50% compared to classical methods. The findings reveal that the proposed method significantly reduces the false discovery rate, especially in highly correlated structures, improves F1 score stability, and exhibits robust performance even under heavy-tailed error structures. By incorporating data geometry into the optimization process without requiring any predefined graphical structure, this study offers a unique perspective to the high-dimensional data analysis literature. Note: This study is derived from master's thesis entitled "Sparse Model Inference in High-Dimensional Data: Correlation-Sensitive Adaptive LASSO Method and Performance Analysis".