GÖRÜNTÜ VERİLERİ KULLANILARAK DUYGU ANALİZİ KESTİRİMİ

Abstract

Görüntü verilerinden duygu durum tahmininin gerçekleştirilmesi ile güvenlik sistemleri, tıp dünyasında bazı hastalıkların erken teşhisi, insan-bilgisayar etkileşimi, güvenli sürüş gibi konularda kapsamlı uygulamaların geliştirilmesine olanak sunulmaktadır. Bu tez çalışmasında insanların yüz görüntülerinden duygu durumlarının tahmininin gerçekleştirilmesi amacıyla yüz ifade analizi sistemi önerilmiştir. Problemin çözümü için önerilen sistemde, veri kümeleri birleştirilerek modellerin eğitimi için kullanılan veri sayıları arttırılmıştır ve farklı modellerin veri kümeleri üzerinde gösterdikleri performanslar değerlendirilmiştir. Sistem; görüntülerden yüz bölgesinin çıkarılması, elde edilen yüz bölgelerine ait öznitelik vektörlerinin oluşturulması ve özniteliklerin sınıflandırılması olmak üzere 3 temel aşamadan meydana gelmektedir. Japon Kadın Yüz İfadesi (JAFFE) ve Genişletilmiş Cohn Kanade (CK+) veri setlerinin kullanıldığı bu çalışmada önce Çok Görevli Kademeli Evrişimsel Sinir Ağları (MTCNN) ile görüntülerdeki yüz bölgeleri çıkarılmıştır. Daha sonra AlexNet ve ResNet modelleri ile öznitelik vektörleri elde edilmiştir ve geleneksel makine öğrenmesi algoritmalarından olan K-En Yakın Komşuluk (KEK) ve Destek Vektör Makinası (DVM) algoritmaları ile sınıflandırılmıştır. Bu tez çalışmasında en yüksek performans iki veri setinin birleştirildiği durumda, AlexNet+DVM yöntemi ile %95,8 olarak elde edilmiştir.

With the realization of mood estimation from images, it is possible to develop comprehensive applications in subjects such as security systems, early diagnosis of certain diseases in the medical world, human-computer interaction, and safe driving. In this thesis, a facial expression analysis system is proposed in order to estimate the mood of people from facial images. In the system proposed to solve the problem, the data sets used for training the models were increased by combining the data sets and the performances of different models on the data sets were evaluated. The system consists of 3 basic stages; extracting the face region from the images, creating the feature vectors of the obtained face regions and classifying the features. In this study, in which Japanese Female Facial Expression (JAFFE) and Extended Cohn Kanade (CK+) datasets were used, facial regions in the images were first extracted with Multitask Convolutional Neural Networks (MTCNN). Then, feature vectors were obtained with AlexNet and ResNet models and classified with K-Nearest Neighborhood (KNN) and Support Vector Machine (SVM) algorithms, which are traditional machine learning algorithms. In this thesis, the highest performance was obtained with the AlexNet+SVM method as 95.8% when the two data sets were combined.