I?NSANSİ ROBOTLARDA TUTMA EYLEMLERİNİN DERİN PEKİŞTİRMELİ ÖĞRENME ALGORİTMALARİ İLE GELİŞTİRİLMESİ

Abstract

İnsansı robotların ev, hastane ve işyeri gibi ortamlarda insanlara yardım edebilmesi veya insanların yerine görev yapabilmesi için kazanması gereken en temel becerilerden biri, tutma eylemini gerçekleştirebilmesidir. Ayrıca, insanlarla etkileşim içinde çalıştığı için gerçekleştirdiği eylemleri açıklayabilme yeteneğine de sahip olmalıdır. Tezin amacı, insana ait özelliklerden biri olan tutma eyleminin insansı robotlar tarafından gerçekleştirilmesini sağlamaktır. Bu amaca uygun olarak Robotis-OP2 insansı robotunu eğitmek için Derin Pekiştirmeli Öğrenme (DPÖ) algoritmaları kullanılmıştır. Robotun tutma eylemi, eklemlerin konumu, eklemlerden alınan kuvvet bilgisi ve robotun kendi kamerasından alınan görüntülerin birlikte kullanılmasıyla gerçekleştirilmiştir. Bu sayede robotun otonom bir şekilde tutma eylemini gerçekleştirmesi sağlanmıştır. İlk olarak, robotun uygun bir tutma işlemi gerçekleştirdiğini doğrulamak amacıyla ileri kinematik hesaplamalar yapılmış ve tutma noktasının tespiti sağlanmıştır. Daha sonra, robotun tutma işlemini otonom bir şekilde gerçekleştirebilmesi için DPÖ yöntemleri kullanılmıştır. Bu süreçte, DPÖ algoritmalarından Derin Q Ağı (DQA) ve Düello DQA yöntemleri tercih edilmiştir. Bu algoritmalar, farklı ödül fonksiyonları ile test edilerek etkinlikleri değerlendirilmiştir. Robotun deneyimlerden öğrenmesi için kullanılan bütün yöntemler için taklit öğrenme yöntemlerinden Gösterimden Derin Q Öğrenmesi (GDQÖ) algoritması kullanılmıştır. Bunun yanı sıra, robotun gerçekleştirdiği eylemleri açıklayabilmesi için Açıklanabilir Yapay Zekâ (AYZ) yöntemlerinden Açıklama için Rastgele Giriş Örneklemesi (ARGÖ) algoritması kullanılmıştır. Bu sayede robotun hem öğrenme süreci hem de eylemlerinin anlaşılabilirliği geliştirilmiştir. Çalışma sonucunda, robotun istenen hedefleri başarıyla yerine getirdiği gözlemlenmiştir. Düello DQA algoritmasının, DQA algoritmasına kıyasla daha iyi sonuçlar verdiği belirlenmiştir. Ayrıca, taklit öğrenme (Imitation Learning) yöntemi kullanılarak eğitim süresinin önemli ölçüde azaldığı sonucuna ulaşılmıştır. AYZ yöntemleri sayesinde robotun eylemlerinin nedenleri açıklanmış ve daha güvenli bir tutma işleminin gerçekleştirilebileceği doğrulanmıştır.One of the most basic skills that humanoid robots need to acquire in order to help people or replace them in environments such as homes, hospitals, and workplaces is the ability to grasp objects. In addition, since they interact with people, they should be able to explain the actions they perform. The aim of this thesis is to ensure that grasping, one of the human characteristics, is performed by humanoid robots. In line with this purpose, Deep Reinforcement Learning (DRL) algorithms were used to train the Robotis-OP2 humanoid robot. The robot's grasping actions were performed using the location of the joints, the force information received from the joints, and the images captured by the robot's own camera. The robot was enabled to perform grasping autonomously. First, the detection of the grasping point was calculated using advanced kinematic computations to verify that the robot achieved an appropriate grip. Then, DRL methods were used to ensure that the robot performed grasping autonomously. Deep Q Network (DQN) and Duello DQN were used from the DRL algorithms, and these methods were tested with different reward functions. For all methods used to enable the robot to learn from experience, the Deep Q Learning from Demonstrations (DQfD) algorithm, one of the imitation learning methods, was utilized. To explain the robot's actions, the Randomized Input Sampling for Explanation (RISE) algorithm, one of the Explainable Artificial Intelligence (XAI) methods, was applied. At the end of the study, it was observed that the robot successfully achieved the desired goals. It was found that the Duello DQN algorithm provided better results than the DQN algorithm. Additionally, it was concluded that the training process duration was reduced by using the imitation learning method. Through the use of XAI, explanations for the reasons behind the robot's actions were obtained, and it was confirmed that a safer grasping process could be achieved.