VİDEOLARDA SAHNE GEÇİŞİNİN BELİRLENMESİ VE SAHNE DUYGU ANALİZİ

Abstract

Doğal olarak ortaya çıkan koşullarda yüzleri ve yüz değişikliklerini etkili ve doğru bir şekilde tanıma fikri, bilgisayarlı görme sistemlerinin hâlâ araştırılmaya açık bir konusudur. Son yirmi yılda büyük ölçekli sınırsız yüz tanıma yöntemlerine artan ilgi görülmüştür. Doğal olarak ortaya çıkan koşullardaki yüzleri doğrulamak ve tanımlamak için biyometri ve bilgisayarlı görme sistemlerinin vaat ettiği yüksek insan benzeri doğruluk oranı hâlâ belirleyici olmaya devam ederken, derin öğrenmedeki son gelişmeler bizi insanî tanımaya yaklaştırmaktadır. Duygular, insanların yaşamındaki multimedya içerik seçimi ve tüketimi için önemli bir rol oynadığından, çoğunlukla yapılandırılmamış veya kötü yapılandırılmış verileri yapılandırmak amacıyla videoların duygusal içeriğini analiz etmek çok değerlidir. Ayrıca bir filmin, izleyicilere göstermesi muhtemel olan duyguları önceden bilmek, içerik dağıtımının, video endekslemenin ayrıca özetlemenin doğruluğunu artırmaya yardımcı olabilir. Ancak, bu uzmanlığın bilgisayarlara aktarılması, kısmen duyguların öznelleştirilmesinden dolayı karmaşık bir iştir. Bir yandan, video tabanlı yüz ifadesi tanıma, bilgisayarlı görmede zorlu bir sorundur ve görüntüleme koşullarının göze çarpmayan ve değişmezliğinin garanti edilemeyeceği zorlu uygulamalar için aktif olarak araştırılmıştır. Diğer yandan, videolar mevcut olmadığında ve insan duygularının yalnızca tek bir tahminden belirlenmesi gerektiğinde statik görüntüye dayalı duygu tanıma oldukça önemlidir. Bu tez çalışmasında, problem ya da uygulama ile ilgili alan bilgisini minimum düzeyde tutarak videoların sahne geçişleri tespit edilmektedir. Güvenilir sonuçlar üretebilen sağlam yüz ifadesi tanıma çerçevesini oluşturmak için, ayırt edici yeteneklere sahip olan özellikleri (uygun yüz bölgelerinden) ayıklayarak duygusal içerik (şiddet dâhil) analizine odaklanmaktadır.

The idea of effectively and accurately recognizing faces and facial changes in naturally occurring conditions is still a subject of investigation for computer vision systems. In the last two decades, there has been an increasing interest in large-scale unlimited facial recognition methods. While the high rate of human-like accuracy promised by biometrics and computer vision systems is still decisive for verifying and identifying faces in naturally occurring conditions, recent advances in deep learning bring us closer to human recognition. As emotions play an important role in the selection and consumption of multimedia content in people's lives, it is invaluable to analyze the emotional content of videos in order to structure data that is often unstructured or poorly structured. Also, anticipating the emotions a movie is likely to show to audiences can help improve the accuracy of content delivery, video indexing, and even summarization. However, transferring this expertise to computers is a complex task, partly because emotions are subjected. On the one hand, video-based facial expression recognition is a challenging problem in computer vision and has been actively researched for demanding applications where viewing conditions are inconspicuous and invariable cannot be guaranteed. On the other hand, emotion recognition based on static images is very important when videos are not available and human emotions need to be determined from only one guess. In this thesis, the scene transitions of the videos are determined by keeping the field knowledge about the problem or application at a minimum level. It focuses on emotional content (including violence) analysis by extracting features (from appropriate facial regions) with distinctive abilities to create a robust facial expression recognition framework that can produce reliable results.