GÖZ HAREKETLERİNİN TAKİP EDİLMESİYLE İNSAN DAVRANIŞ VE SAĞLIĞININ TESPİTİ

Abstract

Modern dünyadaki teknolojik gelişmeler, donanımsal iyileşmelerle birleşince insanların daha fazla bilgiye erişim isteği artmıştır. Bu bilgilere kullanıcıların bilinçdışı fikir, görüş ve niyetlerini belirttiği gözler üzerinden ulaşabilmek göz izleme sistemlerini artan bir popülariteye kavuşturmuştur. Bireylerin görsel uyaranlara karşı verdikleri tepkiler göz hareketlerini oluşturmuş kaydedilen bu sayısal verilerle kullanıcı hakkında örtük kalan bilgilere erişim mümkün olmuştur. Çalışmanın ilk bölümünde literatürdeki mevcut çalışmalar incelenmiş, sonraki bölümde göz metrikleri ve ne anlama geldikleri tanımlanmıştır. Ardından göz izleme alanındaki verisetleri belirtilerek göz izlemenin kısıtlılıkları belirtilmiştir. Bu kısıtlılıklardan en önemlisi olan az sayıdaki veri problemi interpolasyon işlemi ile çoğullanarak derin öğrenme çalışmalarında kullanılması sağlanmıştır. Beşinci bölümde görselleştirme teknikleri açıklanmıştır. Mevcut görselleştirme tekniklerine yeni bir yorum getirilerek Spektrogram önerilmiş ve literatüre farklı bir teknik eklenmiştir. Yedinci bölümde katılımcıların yaptıkları okuma esnasındaki göz hareketleri MPIIDEye veriseti kullanılarak analiz edilip ne tür doküman okudukları, cinsiyetin bakış farklılığına etkisi, dikkat metrikleri olarak bilinen negatif sıçrama ve göz kırpma parametrelerinin önemi aktarılmıştır. İki uygulamanın yapıldığı bu bölümde Laplacian ve Relieff ile özellik seçimi gerçekleştirilmiş dikkat faktörlerinin doküman türünde oldukça etkili olduğu tespit edilmiştir. Aynı bölümde erken teşhisi çok önemli olan otizm hastalığının sınıflandırılması ve daha önce çalışılmamış olan otizmin şiddet seviyelerinin belirlenmesi gerçekleştirilmiştir. Eye-Tracking adlı veri seti kullanılarak oluşturulan hibrit ağda spektrogram görüntüleri füzyon edilerek gözbebeği sinyallerinin yer aldığı görüntülerle birleştirildikten sonra mRMR ile özellik seçimi yapılıp SVM ile sınıflandırılmıştır. Otizm sınıflandırmasında daha fazla parametre ekleyerek araştırma yapılmak istenmiş LSTM yöntemi tercih edilerek uygulama gerçekleştirilmiştir. Özellik dizini 200 nöron ve 400 nöron içeren LSTM ağında PSO algoritmasıyla belirlenen farklı pencere boyutları tercih edilerek eğitilmiş başarılı sonuçlara ulaşılmıştır.When technological developments in the modern world are combined with hardware improvements, people's desire to access more information has increased. Being able to access this information through the eyes where the users express their unconscious ideas, views and intentions has made eye tracking systems increasingly popular. The responses of individuals to visual stimuli created eye movements, and it was possible to access implicit information about the user with these recorded numerical data. In the first part of the study, existing studies in the literature were examined, and in the next part, eye metrics and what they mean were defined. Then, the datasets in the field of eye tracking are specified and the limitations of eye tracking are indicated. The most important of these limitations, a small number of data problems, has been multiplexed with the interpolation process and used in deep learning studies. In the fifth chapter, visualization techniques are explained. Spectrogram has been proposed by bringing a new interpretation to the existing visualization techniques and a different technique has been added to the literature. In the seventh chapter, the eye movements of the participants during reading were analyzed using the MPIIDEye dataset, and what kind of documents they read, the effect of gender on the difference in gaze, the importance of negative jump and blink parameters known as attention metrics were explained. In this section where two applications were made, feature selection was performed with Laplacian and Relieff and it was determined that the attention factors were quite effective in the document type. In the same section, the classification of autism disease, which is very important for early diagnosis, and the determination of the severity levels of autism, which have not been studied before, were carried out. In the hybrid network created by using the Eye-Tracking dataset, spectrogram images were fused and combined with the images containing the pupillary signals, feature selection was made with mRMR and classified with SVM. In the classification of autism, research was desired by adding more parameters, and the application was carried out by choosing the LSTM method. Successful results were obtained by choosing different window sizes determined by the PSO algorithm in the LSTM network with a feature index of 200 neurons and 400 neurons.