İNSANSI ROBOTLARDA NESNE ALGILAMA VE TANIMA İÇİN YENİ DERİN ÖĞRENME ALGORİTMALARININ GELİŞTİRİLMESİ

Abstract

İnsansı robotların, ev, otel ve hastane gibi iç ortamlarda insanlar ile birlikte çalışması, insanlara yardımcı olması ve insanların hayatını kolaylaştırması beklenmektedir. Bu nedenle robotların nesneleri tanıması, algılaması ve nesneleri hareket ettirmesi önemlidir. Bu durumda, insansı robotlar otonom olarak gezinmeli ve ortamdaki tüm nesneleri algılamalı, tanımalı ve hareket ettirebilmelidir. Ancak farklı nesne konumları ve nesne görünüşleri ile gerçek zamanlı kontrol nedeniyle bu işlem hala zor ve çözülmesi gereken bir problemdir. Bu tezde, insansı robotlarla nesne tanıma ve algılama için yeni algoritmalar geliştirilmiştir. İlk olarak, Evrişimli Sinir Ağları (ESA'lar) tabanlı küçük yapıya sahip yeni sınıflayıcı modeller sunulmuştur. Önerilen modeller ile nesne tanıma işlemi gerçekleştirilmiştir. İkinci olarak, ESA'ları ve Uzun Kısa Süreli Bellek Ağları (UKSA'ları) birleştiren yeni melez ESA-UKSBA regresör modelleri önerilmiştir. Uzaktan yönlendirme (teleoperasyon) ile gösterimden öğrenme yöntemi kullanarak Robotis-Op3 insansı robotu ile nesne manipulasyonu uygulaması gerçekleştirilmiştir. Üçüncü olarak, bilimsel yazında PSPNet olarak adlandırılan Piramit Sahne Ayrıştırma Ağının özelleştirilmiş küçük yeni bir sürümü ile Ayrık Dalgacık Dönüşümü (ADD) kullanılarak öznitelikleri çıkaran yeni sürümü önerilmiştir. Derin Dalgacık dönüşümü içeren yeni ağ, kodlayıcı ve kod çözücü bölümlerinden oluşturulmuştur. Her iki kısımda birden fazla özgünlük içerilmiştir. Kodlayıcı kısmında, ADD uygulayan ve uzamsal ve kanal dikkat blokları içeren yeni bir dalgacık ağı önerilmiştir. Kod çözücü kısmında, PSPNet içinde kullanılan yapının geliştirilmiş yeni bir sürümü önerilmiştir. Deneysel çalışmalarda, ilk olarak insansı robotun kamerası ile alınan nesne görüntüleri üzerinde çalışmalar yapılmıştır. Önerilen küçük yapılı sınıflandırma modellerinin, karmaşık modellerden daha düşük parametre sayısı ve daha kısa eğitim süresi ile yüksek doğrulukta tanıma sergilediği gösterilmiştir. İkinci olarak, önerilen insansı robotların gösterimden nesne hareket ettirmeyi öğrenmesi sisteminde, melez ESA-UKSBA tabanlı regresörlerin önerilen ESA modellerinin daha doğru ve kararlı sonuçlar sergilediği gösterilmiştir. Üçüncü olarak, insansı robot ev içerisinde gezdirilerek ortam algılama işlemi yapılmıştır. Küçük yapılı PSPNet'in nesne bölütlemesi işleminde, geleneksel PSPNet'e göre daha az parametre sayısı ile başarılı sonuçlar verdiği gözlenmiştir. Bunların dışında, derin dalgacık dönüşümü içeren yeni ağın, anlamsal bölütleme görevini yerine getirmede geleneksel PSPNet ve bilimsel yazındaki güncel ağlardan daha yüksek başarım verdiği ve hızlı olduğu gösterilmiştir.The humanoid robots are expected to facilitate people's lives in healthcare, houses and hotels providing various service support. Hence, it is important that the robots have object recognition capability. In that case, the humanoid robots should autonomously navigate and detect, recognize, and move all objects in the environment. However, object recognition is still a challenging problem at different locations and different object positions in real time. However, this is still difficult due to real-time control with different object positions and object views, and it is a problem to be solved. In this thesis, new algorithms are developed for object recognition and detection with humanoid robots. First, new classifier models with small structure based on Convolutional Neural Networks (CNNs) have been presented. Object recognition process was carried out with the proposed models. Second, new hybrid CNN-LSTM regressor models combining CNNs and Long Short-Term Memory Networks (LSTMs) have been proposed. Object movement application has been carried out with the Robotis-Op3 humanoid robot by using the method of learning from demonstration with the teleoperation method. Third, in the literature, a customized small new version of Pyramid Scene Parsing Network called PSPNet and a new version extracting the features using Discrete Wavelet Transform (DWT) has been proposed as DW-PSPNet. Moreover, DW-PSPNET is built from the encoder and decoder parts. Both parts include multiple originality. The encoder part proposes a novel Wavelet network applying DWT and including the spatial and channel attention blocks. In the decoder part, a new improved version of PSPNet is proposed. In experimental studies, firstly the object images have been taken with the camera of the humanoid robot. It has been shown that the proposed small structure classification models exhibit high accuracy recognition with lower number of parameters and shorter training time than complex models. Secondly, it has been observed that the proposed CNN models of hybrid CNN-LSTM based regressors show more accurate and stable results in the proposed system of humanoid robots learning to move objects from the demonstration. Third, the environment detection process has been performed by moving the humanoid robot in a house environment. It has been observed that the small structured PSPNet gives successful results in object segmentation with less parameter numbers than the conventional PSPNet. On the other hand, it has been shown that DW-PSPNet is faster and more successful than the conventional PSPNet and the popular networks in the semantic segmentation task in literature.