Predicting Academic Performance Based on Optical Mark Recognition Patterns: A Comparative Study of Transfer Learning Models

Abstract

Optical forms, which are widely used assessment tools in education, have the potential to reflect students' cognitive, sensory, and behavioral characteristics. This study aims to go beyond the traditional use of Optical Mark Recognition (OMR) systems by examining students’ marking behaviors as a predictor of academic achievement. Using 2,100 marking images collected from 42 participants (21 per class), we evaluated 18 transfer learning–based feature extractors, of which 17 were successfully implemented, in combination with 25 classification algorithms. To eliminate potential data leakage and ensure generalization to unseen individuals, all experiments were conducted using 10-fold GroupKFold cross-validation with subject-wise splitting, such that all samples from the same participant were kept within the same fold. The best-performing configuration, EfficientNet-B0 feature representations combined with Support Vector Classification, achieved 88.90% accuracy, with strong threshold-independent performance (ROC-AUC = 0.9268; PR-AUC = 0.8927; Average Precision = 0.8934). Statistical validation via the Friedman test (?²(16) = 174.34, p < .001) confirmed significant performance differences across transfer learning architectures. These findings indicate that markings on optical forms should not be treated as random artifacts but as behavioral traces that reflect underlying cognitive and affective processes, and they support a shift from a results-oriented to a process-oriented assessment paradigm. From a learning analytics and educational policy perspective, the proposed approach positions paper-based OMR sheets as low-cost “behavior sensors” that can complement early warning mechanisms by enabling earlier identification of students at academic risk and facilitating timely, targeted interventions.

Eğitimde yaygın olarak kullanılan değerlendirme araçları olan optik formlar, öğrencilerin bilişsel, duyusal ve davranışsal özelliklerini yansıtma potansiyeline sahiptir. Bu çalışma, öğrencilerin işaretleme davranışlarını akademik başarının bir öngörücüsü olarak inceleyerek, Optik İşaret Tanıma (OMR) sistemlerinin geleneksel kullanımının ötesine geçmeyi amaçlamaktadır. 42 katılımcıdan (sınıf başına 21) toplanan 2.100 işaretleme görüntüsünü kullanarak, 18 transfer öğrenme tabanlı özellik çıkarıcıyı değerlendirdik ve bunların 17'si 25 sınıflandırma algoritmasıyla birlikte başarıyla uygulandı. Olası veri sızıntısını ortadan kaldırmak ve görülmemiş bireylere genelleme sağlamak için, tüm deneyler, aynı katılımcıdan alınan tüm örneklerin aynı kat içinde tutulacağı şekilde, konu bazında bölünmüş 10 katlı GroupKFold çapraz doğrulama kullanılarak gerçekleştirilmiştir. En iyi performans gösteren yapılandırma, Support Vector Classification ile birleştirilen EfficientNet-B0 özellik temsilleri, %88,90 doğruluk oranına ulaştı ve eşikten bağımsız güçlü bir performans gösterdi (ROC-AUC = 0,9268; PR-AUC = 0,8934). Friedman testi (?²(16) = 174,34, p < .001) ile yapılan istatistiksel doğrulama, transfer öğrenme mimarileri arasında önemli performans farklılıkları olduğunu doğruladı. Bu bulgular, optik formlardaki işaretlerin rastgele artefaktlar olarak değil, altta yatan bilişsel ve duyusal süreçleri yansıtan davranış izleri olarak değerlendirilmesi gerektiğini göstermektedir ve sonuç odaklı bir değerlendirme paradigmasından süreç odaklı bir değerlendirme paradigmasına geçişi desteklemektedir. Öğrenme analitiği ve eğitim politikası perspektifinden bakıldığında, önerilen yaklaşım, kağıt tabanlı OMR sayfaları, akademik risk altındaki öğrencilerin daha erken tespit edilmesini sağlayarak ve zamanında, hedefe yönelik müdahaleleri kolaylaştırarak erken uyarı mekanizmalarını tamamlayabilen düşük maliyetli “davranış sensörleri” olarak konumlandırmaktadır.