DDPG Algoritmasında Bulunan Ornstein–Uhlenbeck Gürültüsünün Standart Sapmasının Araştırılması

Abstract

Pekiştirmeli öğrenme, birçok canlının yemek yeme ve yürüme gibi beceriler kazanmak içingenellikle farkında olmadan kullandığı bir öğrenme yöntemidir. Bu öğrenme yöntemindenilham alan makine öğrenmesi araştırmacıları, değer öğrenme ve politika öğrenme olarak buöğrenme yöntemini alt başlıklara indirgemişlerdir. Yapılan bu çalışmada politika öğrenmealgoritmalarından biri olan derin deterministtik politika gradyanı (deep deterministic policygradiend-DDPG) yönteminin gürültü standart sapması bir adet 2 serbestlik dereceli düzlemselrobotunun ters kinematik çözümü için incelenmiştir. Yapılan bu inceleme için eylem yapay sinirağının çıkışının maksimum değerine bağlı olarak 8 farklı fonksiyon belirlenmiştir. Oluşturulanyapay sinir ağları, bu fonksiyonlar kullanılarak her bir iterasyonda 200 adım olacak şekilde1000 iterasyon eğitilmiştir. Eğitim sonrasında gruplar arası istatistiksel fark bakılmış ve en iyiüç grup arasında istatistiksel fark olmadığı saptanmıştır. Bu nedenle en iyi üç grup 2500iterasyon ve 200 adım yeniden eğitilmiş ve eğitim sonrasında 100 farklı test senaryosu için testedilmiştir. Test işleminden sonra minimal hatalar ile 2 serbestlik dereceli düzlemsel robotununters kinematik denklemi yapay sinir ağları yardımı ile elde edilmiştir. Sonuçlar ışığında,gürültünün standart sapması seçiminin önemi ve hangi aralıkta seçilmesinin daha doğru olacağıbu alanda çalışacak olan araştırmacılar için sunulmuştur.