Gizli Önyargıların Açığa Çıkarılması: Büyük Dil Modellerinde Mesleki ve Cinsiyet Algısı Üzerine Bir İnceleme

Abstract

Bu çalışma, Claude ve Gemini dil modellerinin Türkçe metinlerde meslekler üzerinden cinsiyet önyargısını nasıl yansıttığını incelemektedir. Modellerin ön yargı düzeylerini belirlemek amacıyla her iki modele, 22 farklı meslek grubuna ait veri sağlanmış ve her meslek için üretilen isimlerin cinsiyet dağılımları analiz edilmiştir. Claude modelinin mühendislik, askerlik gibi mesleklerde erkek cinsiyetini daha yüksek oranda öngördüğü, hemşirelik ve öğretmenlik gibi mesleklerde ise kadın cinsiyetini ağırlıklı olarak seçtiği gözlemlenmiştir. Gemini modelinde ise sanatçılık ve yazarlık gibi yaratıcı mesleklerde erkek cinsiyetine dair önyargının daha belirgin olduğu tespit edilmiştir. Çalışmanın alt problemi kapsamında ise modellerin Türkçe metinlerde cinsiyet tahmin performansı incelenmiş ve bu tahminlerin sistematik bir önyargıya sahip olup olmadığı analiz edilmiştir. Sonuçlar, bu modellerin cinsiyet tahminlerinin toplumsal önyargıları yansıttığını ve dil modellerinin etik kullanımı için veri setlerinde önyargı temizleme stratejilerine ihtiyaç duyulduğunu ortaya koymaktadır.

This study explores how the Claude and Gemini language models exhibit gender bias in relation to occupational roles within Turkish texts. To evaluate the extent of bias in each model, data from 22 different occupational groups was analyzed, focusing on the gender distributions of names generated for each occupation. The findings indicate that the Claude model shows a stronger tendency to predict male gender for traditionally male-dominated professions such as engineering and military service, while it more frequently associates female gender with occupations like nursing and teaching. By comparison, the Gemini model demonstrates a more pronounced male bias in creative fields, particularly in artistry and writing. Additionally, the study examined the models’ gender prediction performance in Turkish texts as a sub-question, investigating whether these predictions exhibit systematic biases. The results suggest that the gender predictions made by these models reflect societal biases, highlighting the necessity for bias mitigation strategies in datasets to ensure the ethical application of language models.