A Comprehensive Study on Transformer Architecture: Theoretical Foundations, Structural Components, and a Clinical Application

Abstract

This study provides a comprehensive examination of the Transformer architecture, which has revolutionized the field of Natural Language Processing (NLP). It begins with an overview of previous architectures such as FNN, RNN, LSTM, and GRU, highlighting their limitations. The innovative structure of the Transformer is then analyzed in depth, focusing on components such as self-attention and multi-head attention mechanisms. Mathematical formulations are presented to explain how attention computations are carried out within the model. Furthermore, in the application section of the paper, a BioClinicalBERT-based drug recommendation system is developed, and its performance on clinical texts is evaluated. The results demonstrate the potential of Transformer-based models to deliver specialized solutions in the healthcare domain.

Bu çalışma, Doğal Dil İşleme (NLP) alanında devrim yaratan Transformer mimarisinin teorik temellerini, bileşenlerini ve uygulama alanlarını kapsamlı bir biçimde ele almaktadır. İlk olarak, FNN, RNN, LSTM ve GRU gibi önceki mimariler özetlenmiş ve bu yapıların sınırlılıkları açıklanmıştır. Ardından, Transformer mimarisinin yenilikçi yapısı, özellikle self-attention ve multi-head attention mekanizmaları detaylı biçimde analiz edilmiştir. Mimari bileşenlerin matematiksel temsilleri sunularak dikkat hesaplamalarının nasıl gerçekleştiği ortaya konmuştur. Ayrıca, makalenin uygulama bölümünde, BioClinicalBERT temelli bir ilaç öneri sistemi geliştirilmiş ve bu sistemin klinik metinler üzerindeki etkinliği değerlendirilmiştir. Sonuçlar, Transformer tabanlı modellerin sağlık alanında özelleştirilmiş çözümler üretme potansiyelini ortaya koymaktadır.