YÜZ İFADESİ TANIMA BAŞARIMI İÇİN İLGİLİ BÖLGE BELİRLEME VE ÇEKİŞMELİ ÜRETİCİ AĞLAR KULLANILARAK ÖRNEK ARTIRIM YÖNTEMLERİNİN GELİŞTİRİLMESİ

Abstract

İnsanlar arası iletişimde en önemli araçlardan biri olan yüz ifadesi tanıma, teknolojinin geldiği noktanın da yardımıyla geçtiğimiz son on yılın en önemli araştırma alanlarından birisi haline gelmiştir. Yüz ifadelerinin otomatik olarak sınıflandırılması, başta insan bilgisayar etkileşimi olmak üzere klinik psikoloji, nöroloji, güvenlik sistemleri, akıllı ortamlar, müşteri memnuniyeti ve reklam sektörü gibi birçok alanda kullanılmaktadır. Taşınabilir cihazlar ile görüntüleme ve kaydetme işlemlerinin bireyler seviyesinde gerçekleştirildiği günümüzde, yüz ifadelerini hızlı ve gürbüz bir şekilde tanıyabilecek uygulama ve yöntemlere ihtiyaç vardır. Bu tez kapsamında, yüz ifadesi tanımanın başarımını artırmak üzere iki farklı çalışma sunulmuştur. Yapılan ilk çalışmada, yüz ifadesini temsil eden yüz üzerindeki ilgili alanın seçimi için bir kırpma metodolojisi önerilmiştir. Ardından bu metodoloji yardımıyla elde edilen imgeler, farklı mimarilere sahip olan üç evrişimsel sinir ağı üzerinde eğitilmiştir. Gerçekleştirilen çalışmanın sonucunda, yüz ifadesi içeren alan ve ağ seçiminin, yüz ifadesi tanıma üzerindeki etkisi hakkında önemli bulgular elde edilmiştir. Tez kapsamında sunulan ikinci çalışmada, kısıtlı sayıda örnek içeren bir yüz ifadesi veri tabanının örnek sayısını artırmak için çekişmeli üretici ağlar temelli bir veri artırımı yaklaşımı sunulmuştur. Çekişmeli üretici ağlar yardımıyla artırılan imgeler kullanılarak, yüz ifadesi tanıma için bir evrişimsel sinir ağı eğitilmiştir. Verinin dağılımını doğru bir şekilde yansıtan çekişmeli üretici ağlar yardımıyla artırılan örnekler ile eğitilen ağın, yüz ifadesi tanıma işlemi için literatürdeki çalışmalara kıyasla daha yüksek başarım sergilediği gözlemlenmiştir.Computer-aided analysis of facial expressions, which is one of the most important tools in interpersonal communication, has become one of the most important research areas of the last decade with the help of technology. The automatic classification of facial expressions is used in many areas such as human-computer interaction, clinical psychology, neurology, security systems, smart environments, customer satisfaction and the advertising industry. In today's world, where imaging and recording operations are carried out at the level of individuals with portable devices, there is a need for applications and methods that can recognize facial expressions quickly and robustly. Within scope of this paper, two different studies were carried out to improve the performance of facial expression recognition. Within the first study, a cropping methodology is proposed for detection of the region of interest on the face that represents the facial expression. Images obtained with this methodology are trained on three convolutional neural networks with each having a different architecture. As a result, important findings were obtained on region of interest and network selection for facial expression recognition. Within the second study, a data augmentation approach based on generative adversarial networks is presented in order to augment a facial expression database that contains a limited number of samples. Augmented images were used to train a convolutional neural network. According to the test phase results of the mentioned network, it was found out that, training with augmented samples that accurately reflects the distribution of the data yields a better performance than the rest of the literature.