NESNE KAVRAMA BECERİLERİNİN DERİN PEKİŞTİRMELİ ÖĞRENME ALGORİTMALARIYLA GELİŞTİRİLMESİ

Abstract

Yapay zekânın farklı alanlarda gelişim göstermesiyle robotların farklı uygulama alanlarında kullanımının artması, bulundukları ortamla olan etkileşim ihtiyacını da arttırmıştır. Bu amaçla son zamanlarda robot uç işlevcileri ortamla etkileşimi sağlarken dokunma, görme gibi çeşitli algılama bileşenleri kullanılmaya başlanmıştır. Bir robotik uç işlevcisinin eklemlerine ait parametrelerin göz önünde bulundurulmadan ortam değişikliklerinin kamera tarafından algılanabilmesi, kamera gibi görsel algılama araçlarını faydalı bir araç haline getirmiştir. Görme tabanlı bir sistemde, imgelerden alınan ortam özellikleri ile kavrama gibi verilen bir görevi yerine getirmek için robot kolunun yapması gereken hareketlerin belirlenmesi önem arz etmektedir. Bu tezde Webots simülatör ortamında kavrama senaryosu oluşturulmuştur. Kameradan alınan görüntülere bağlı olarak 5 serbestlik dereceli KUKA youBot robot kolunun kavrama performansının ölçülmesinin hedeflendiği temel bir robotik uygulama çerçevesi sunulmuştur. Kavrama eylemi derin pekiştirmeli öğrenmeye dayalı bir öğrenme stratejisi ile geliştirilmiştir. Bu bağlamda ilk olarak yüzey ElektroMiyoGram (yEMG) sinyallerinden oluşan insandaki kavrama tiplerinin otomatik olarak sınıflandırılmasında tek boyutlu Konvolüsyonel Sinir Ağı (KSA) yapısı kullanılmıştır. Daha sonra Pong oyununu oynayabilen bir Derin Konvolüsyonel Q Ağı (DKQA) modeli geliştirilmiştir. Geliştirilen bu model esas alınarak KUKA youBot robot kolu ile Webots simülasyon ortamında kavramayı öğrenebilen temel bir öğrenme yapısı olan düello DKQA yöntemi başarılı bir şekilde oluşturulmuştur. Ardından simülasyon ortamında yapay zeka destekli, geliştirilebilir bir kavrama sisteminin modeli elde edilmiştir. Bu tez çalışması ile birçok uygulamada karşılaşılan nesne kavrama becerileri geliştirilmiştir ve bu doğrultuda derin öğrenme ve pekiştirmeli öğrenme temelli farklı algoritmalar sunulmuştur. Tezde endüstrideki mevcut problemler belirlendikten sonra nesne kavramaya yönelik sınıflandırma ve tahmin becerileri geliştirilmiştir. Özellikle endüstriyel alanın bazı süreçlerinde kullanıcıların problemlerine çözüm önerileri sunulmuştur.With the development of Artificial Intelligence in different areas, the increase in the use of robots in different application areas has also increased the need for interaction with their environment. For this purpose, various sensing components such as touch and vision have been used recently, while robot end effectors provide interaction with the environment. The ability to detect changes in the environment by the camera without considering the parameters of the joints of a robotic end effector has made visual detection tools such as a camera a very useful tool. In a vision-based system, it is important to determine the movements of the robot arm to fulfill a given task such as grasping with the environment properties taken from the images. In this thesis, a comprehension scenario was created in the Webots simulator environment. Based on the images taken from the camera, a basic robotics application framework is presented, in which it is aimed to measure the grip performance of the KUKA youBot robot arm with 5 degrees of freedom. The act of grasping was developed with a learning strategy based on deep reinforcement learning. In this context, firstly, a one-dimensional deep Convolutional Neural Network (CNN) structure was used in the automatic classification of grasp types in humans consisting of Surface Electromyogram signals. Later, a Deep Convolutional Q Network (DCQN) model was developed that can play the Pong game. Based on this developed model, a duelling DCQN method, which is a basic learning structure that can learn to grasp in the Webots simulation environment, has been successfully created with the KUKA youBot robot arm. As a result, a model of a developable grasping system supported by artificial intelligence was obtained in the simulation environment. With this thesis, object grasping skills encountered in many applications have been developed and in this direction, different algorithms based on deep learning and reinforcement learning are presented. In the thesis, after identifying the existing problems in the industry, classification and estimation skills for object grasping were developed. Especially in some processes of the industrial area, solutions to the problems of the users are presented.