DERİN ÖĞRENME TABANLI OPTİK AKIŞ İLE HAREKET TESPİTİ

Abstract

Hareket tespiti ve tahmini, güvenlik(bina/işyeri), otonom araçlar, sağlık, trafik, askeri gibi birçok alanda karşımıza çıkan önemli uygulamaları olan bir kavramdır. Hareket tespiti sırasında ortam bozulmaları, ışık değişimleri, nesnenin hızlı hareketi ve gürültüler hareket tespitini zorlaştırmaktadır. Hareket tespitinde kullanılan yöntemlerin ve algoritmaların performansı, doğru hareket tespiti yapma açısından son derece önemlidir. Hareket tespiti yöntemlerinin temelini oluşturan ve birçok algoritmada baz alınan optik akış yaklaşımları, hareket tahmininde de önemli bir yere sahiptir. Hareket tespitinde kullanılan ve 2015 yılından günümüze kadar uzanan derin öğrenme tabanlı optik akış hesaplaması ile hareket tespit yöntemlerinin bilinmesi, mevcut yöntemlere göre performansı ve doğruluğunun karşılaştırılması açısından son derece önemlidir. Derin öğrenme tabanlı optik akış hesaplaması ile hareket tahmini yöntemleri ve optik akış için kullanılan veri kümeleri bu çalışmanın ana konusunu oluşturmaktadır. Çalışmanın amacı, optik akış hesaplamasında derin öğrenme yöntemlerini kullanarak başarı elde etmiş çalışmaları incelemek, bazı algoritmaları yeniden eğiterek klasik yöntemler ile karşılaştırmak ve farklı video görüntüleri üzerinde performans analizleri gerçekleştirmektir. Bu çalışmada, geleneksel yaklaşımlardan günümüz derin öğrenme tabanlı yaklaşımlara kadar hareket tespitinin temelini oluşturan optik akış hesaplama yöntemleri ile ilgili literatür taraması yapılmıştır. Geleneksel yaklaşımlardan olan Lucas-Kanade, Horn-Schunck, Farneback yöntemleri farklı hareketli görüntülere uygulanarak elde edilen sonuçlar karşılaştırılmıştır. Daha sonra derin öğrenme tabanlı yaklaşımlarından FlowNet, FlowNet2 ve RAFT yöntemleri Sintel, KITTI veri setleri üzerinde eğitilerek uç nokta hatası ve kayıp değerleri farklı hiper parametreler kullanılarak grafik, tablo ve görsel çıktılar vasıtasıyla karşılaştırılmıştır. Çalışmada son dönemlerde popüler olan denetimsiz öğrenme ile optik akış hesaplama yaklaşımları, denetimli öğrenme yaklaşımları ile karşılaştırarak değerlendirmelerde bulunulmuştur.It is a concept that has important applications in many areas such as motion detection and prediction, security (building / workplace), autonomous vehicles, health, traffic, and military. During motion detection, ambient disturbances, light changes, rapid movement of the object and noises make motion detection difficult. The performance of the methods and algorithms used in motion detection is extremely important for accurate motion detection. Optical flow approaches, which form the basis of motion detection methods and are based on many algorithms, also have an important place in motion estimation. Knowing the deep learning-based optical flow calculation and motion detection methods used in motion detection and dating back to 2015 is extremely important in terms of comparing performance and accuracy with current methods. Deep learning based optical flow computation and motion estimation methods and datasets used for optical flow are the main subject of this study. The aim of the study is to examine the studies that have achieved success by using deep learning methods in optical flow calculation, to compare some algorithms with classical methods by retraining, and to perform performance analyzes on different video images. In this study, a literature review was conducted on optical flow calculation methods, which form the basis of motion detection, from traditional approaches to today's deep learning-based approaches. The traditional approaches, Lucas-Kanade, Horn-Schunck, Farneback methods, were applied to different motion pictures and the results obtained were compared. Then, the deep learning-based approaches FlowNet, FlowNet2 and RAFT methods were trained on Sintel, KITTI datasets and the endpoint error and loss values were compared using different hyperparameters through graphs, tables, and visual outputs. In the study, unsupervised learning, and optical flow calculation approaches, which are popular recently, were compared with supervised learning approaches.