DigiHuman: A Conversational Digital Human with Facial Expressions

Abstract

Recently, Artificial Intelligence (AI)-powered chatbots and virtual humans have assumed significant roles in various domains due to their ability to interact with users and perform tasks based on their intended purpose. Virtual humans have received considerable attention in various industries due to their lifelike human appearance, behaviour, and ability to convey emotions, especially in virtual reality contexts. Conversely, chatbots are finding use in a wide range of applications and represent a promising feature of human-computer interaction due to their efficient communication with humans. Therefore, this study aims to develop a real-time chatbot that can effectively convey emotions through facial expressions, thereby promoting realistic communication. To achieve this, several advanced AI models were employed to address different aspects, including speech recognition, emotion synthesis, and response generation. The methodology, models used, components, and results are explained in detail, and the results of the user study are also presented.

Yapay zeka destekli sohbet robotları ve sanal insanlar, oluşturulma amaçlarına bağlı olarak farklı görevleri yerine getirmek için kullanıcılarla aralarında iletişim kurma yetenekleri nedeniyle son zamanlarda birçok uygulamada önemli rol üstlenmişlerdir. Sanal insanlar, gerçekçi insan formları, davranışları ve özellikle sanal gerçeklik ortamında deneyimlendiklerinde duygusal geri bildirim iletme yetenekleri nedeniyle farklı sektörlerde büyük ilgi görmektedir. Diğer taraftan, sohbet robotları insanlarla iletişim kurmadaki yüksek verimlilikleri nedeniyle insan bilgisayar etkileşimi için en umut verici örneklerden biri olarak çeşitli uygulamalarda kullanılmaktadır. Bu nedenle, bu çalışmada başarılı bir iletişim ve gerçekçi davranış sergilemesi için yüz ifadeleri aracılığıyla duyguları iletme yeteneğine sahip bir gerçek zamanlı sohbet robotu oluşturması amaçlanmıştır. Bunun için sırasıyla; konuşma tanıma, duygu sentezi, yanıt üretme gibi çeşitli özellikler için çoklu geliştirilmiş yapay zeka modelleri uygulanmıştır. Çalışma kapsamında yaklaşım, kullanılan tüm modeller, bileşenler ve sonuçları kapsamlı bir şekilde açıklanmış ve kullanıcı testleri sonuçları da açıklanmıştır.