DERİN ÖĞRENME YÖNTEMİYLE DÜŞÜK ÇÖZÜNÜRLÜKLÜ YÜZ GÖRÜNTÜLERİNDEN YÜZ İFADESİ TESPİTİ

Abstract

Yüz ifadeleri insanlarla iletişim kurmada önemli bir rol oynamaktadır. İletişimin dışında güvenlik sistemlerinde, sağlık sektöründe ve psikoloji gibi birçok alanda yüz ifadelerinden yapılan çıkarımlarla var olan problemler çözülebilmektedir. Teknolojinin gelişmesiyle yüz ifadelerinden yapılacak olan çıkarımlar artık yapay zekâ sayesinde yapılmaktadır. Yüz ifadeleri tespitinde mikro mimiklerin tespit edilmesi büyük önem taşımakta ve bu noktada yapay zekâ kullanılarak büyük başarımlar elde edilmektedir. Bu çalışmada kullanılan düşük çözünürlükteki 213 adet görüntü iyileştirilmiş ve derin öğrenme modellerinden biri olan evrişimsel sinir ağları (ESA) kullanılarak görüntüler analiz edilmiştir. Derin öğrenme mimarilerinden AlexNet ve MobileNetV2 mimarileri kullanılarak her iki mimariden özellik çıkarımı yapılmış ve bu özellikler birleştirilmiştir. Mikro mimiklerin tespiti için patch-based (yama tabanlı) yöntemi kullanılmıştır. Görüntünün kendisinden ve yamalardan ayrı ayrı özellikler çıkartılarak KBA (komşuluk bileşen analizi) algoritması ile ilk 1000 özellik seçilmiş ve DVM (destek vektör makinesi) ile sınıflandırma işlemi gerçekleştirilmiştir. Elde edilen sonuçlar karşılaştırılmış olup en iyi sonuç %98,6 olarak hesaplanmıştır.

Facial expressions play an important role in communicating with people. Apart from communication, existing problems are solved by inferences made from facial expressions in many fields such as security systems, the health sector, and psychology. With the development of technology, inferences to be made from facial expressions are now made thanks to artificial intelligence. Detection of micro mimics is of great importance in detecting facial expressions, and artificial intelligence achieves great success at this point. 213 low-resolution images used in this study were enhanced and images were analyzed using convolutional neural networks (CNN), which is one of the deep learning models. AlexNet and MobileNetV2 architectures, which are deep learning architectures, were used and these features were combined by extracting features from both architectures. The patch-based method was used to detect micro mimics. Separate features were extracted from the image itself and from the patches. The first 1000 features were selected with the NCA (neighborhood component analysis) algorithm and the classification process was carried out with the SVM (support vector machine). The obtained results were compared and the best result was calculated as 98.6%.