BÜYÜK VERİ ANALİZİNDE DAĞITIK MAKİNE ÖĞRENMESİ ALGORİTMALARININ KULLANILMASI

Abstract

Farklı kaynaklarca üretilen verinin türünde, miktarında ve oluşturulma hızındaki artış bu verilerin yönetimi ve onlardan yararlanılması amacıyla yeni teknoloji ve yöntemlerin doğmasına sebep olmuştur. Büyük ölçekteki verilerin standart bilgisayarlar ile saklanması veya işlenmesi mümkün değildir. Büyük miktarda veri üzerinde çalışmak ve bu veriler üzerinde analiz yapabilmek için yüksek hesaplama güçlerine ihtiyaç duyulmaktadır. Bu sebeplerden dolayı da artık geleneksel hesaplama yaklaşımları yerine bilgisayar kümeleri, dağıtık dosya sistemleri (HDFS, RDD), geleneksel programlar ve programlama dilleri yerine ise Hadoop, Spark gibi platformlar yaygınlaşmaktadır. Verinin saklanması ve işlenmesinde kullanılmaya başlanan bu teknolojiler verilerin analizinde kullanılan makine öğrenmesi yöntemlerini de etkilemiştir. Duygu analizi, doğruluk tespiti, tavsiye sistemleri, sosyal ağ keşifleri, tıbbi keşifler, web içeriklerinin keşfi ve sınıflandırılması gibi birçok amaçla makine öğrenmesi algoritmaları kullanılmaktadır. Bu tez çalışmasında büyük veri ve bulut bilişim teknolojileri, büyük veri üzerinde paralel algoritmaların çalıştırılması ve dağıtık makine öğrenmesi algoritmalarının büyük veriye uygulanması incelenmiştir. Anahtar kelimeler: Büyük veri, dağıtık makine öğrenmesi

Using Distributed Machine Learning Algorithms on Big Data Analysis The increase in the variety, volume and the velocity of the data produced by different sources caused new technologies and approaches to be born. It is not possible for the big data to be stored and processed by standard computers. We need high computational powers to study and analyze big data. For these reasons computer clusters and distributed file systems instead of traditional computing approaches and frameworks such as Hadoop and Spark instead of traditional programs and programming languages are becoming more common. These technologies which are used to store and process data have also affected the machine learning approaches used for data analysis. Machine learning algorithms are used for many areas such as sentiment analysis, accuracy detection, recommendation systems, social network discovery, discovery and classification of web content etc. In this thesis big data and cloud computing technologies, running parallel algorithms on big data and the application of distributed machine learning algorithms on big data are investigated. Keywords: Big data, distributed machine learning