BULUT ÜZERİNDE DAĞITIK DOKÜMAN SINIFLANDIRMA VE KÜMELEME

Abstract

Büyük veriler geleneksel sistemlerin işleyemeyeceği kadar yüksek hacimli ve karmaşık veriler olup bunların bilinen veri tabanı veya dosya sistemleri üzerinde saklanması ve geleneksel algoritmalarla işlenmesi zordur. Dolayısıyla büyük verileri işlemek ve saklamak için geleneksel hesaplama yöntemleri yerine yeni teknolojiler kullanılmaktadır. Farklı kaynaklar tarafından üretilen çok büyük sayıda dokümanın içerikleri ile ilgili otomatik çıkarsamaların yapılması, alan ve konularının belirlenmesi, özetlerinin çıkarılması veya örüntü keşfi gibi doküman analizi konuları bilim insanlarının çözmeye çalıştığı konulardır. Bu tez çalışmasında Türkçe bilimsel makalelerden oluşan bir veri seti üzerinde çalıştırılan dağıtık sınıflandırma ve kümeleme algoritmaları ile Büyük Veri analizleri yapılmaya çalışılmıştır. Dağıtık Makine Öğrenmesi algoritmaları çalıştırabilmek için Apache Mahout ve Apache Spark kullanılmıştır. Dağıtık doküman sınıflandırma ve kümeleme yapılabilmesi için gerekli olan sunucular Google Cloud, Amazon AWS ve Microsoft Azure bulut altyapıları üzerinde çalıştırılmıştır. Anahtar Kelimeler: Büyük Veri, Dağıtık Hesaplama, Bulut Bilişim

Big data is described as large and complex data sets which can not be stored and processed using traditional databases, file systems and algorithms.Therefore new technologies are being utilized to store and process these big data sets. Automatic content extraction, field and topic discovery, summarization or pattern recognition over very large document sets which are produced by various sources are the subjects of many current research. In this thesis, Big Data analysis, namely distributed classification and clustering algorithms are applied to a large data sets consisting Turkish scientific articles, To be able to run distributed Machine Learning algorithms Apache Mahout and Apache Spark are used. The servers needed for distributed classification and clustering algorithms are deployed on the Google Cloud, Amazon AWS and Microsoft Azure cloud computing infrastructures. Keywords: Big Data, Distributed Computing, Cloud Computing