SENTIMENT ANALYSIS OF SOCIAL NETWORK DATA USING MACHINE LEARNING

Abstract

Görüş analizi, bir ürün ya da olay hakkında örnek olarak insanların geri bildirimlerini toplama konusunda çok değerli bir kaynak olduğu kanıtlanmıştır. World Wide Web son zamanlarda insanların düşüncelerinden çok zengindi; bu nedenle, geri bildirim toplamak için bazı anketler doldurmak yerine, duygu analizinin ilerlemesiyle binlerce veya milyonlarca düşünmeye çalıştığımız görüşleri toplayabiliriz. Makine öğrenme alanındaki gelişmeler sayesinde, artık çalışmalarımız hakkında milyonlarca insanın düşüncelerini vermek için geniş veri setleri üzerinde bazı matematik denklemleri üreten bir model oluşturabiliriz. Günümüzde birçok mikroblogging hizmeti ile bu web siteleri, bazı makine öğrenme modeline göre çalışan makinelerden yararlanılabilecek ve toplanabilecek belirli ürünler veya olaylarla ilgili incelemeler, geribildirim, görüş ve deneyim gibi değerli bilgilerin büyük miktarlarına sahip olma eğilimindedir. İşte bu noktada duyarlılık analizi var: Doğal dil işleme (NLP), gerçek dünya metinlerinden öznel bilgi toplamak için makine öğrenme modelleri ve teknikleri kullanıyor (derlemeler). Bu araştırmada, görüşlerin zengin olduğu sosyal medya ağ verilerinden onlardan duygular çıkararak yararlanmayı amaçlıyoruz. Çoklu platformlarda (DL4J, Gensim ve Normal Makine Öğrenimi) çoklu duyarlılık analizi tekniklerini (Paragraf Vektör, Java ve Naïve Bayes-SVM için Derin Öğrenme) iki farklı görevi kullanarak kullanacağız; IMDB Movie Review Dataset ve 1,6 milyon tweet'ler ve bu modellerin sonuçlarını neyin etkilediğini görmek için parametreleri (çağlar, metin işleme vb.) Değiştirerek daha iyi bir modelle sonuçlanır. Ayrıca, Sonuç bölümündeki farklı veri kümelerindeki tüm modellerin sonuçlarını karşılaştırarak hangi modelin tahminde daha yüksek doğruluğu, artı her biri için gereken hesaplama gücü ve zamanı bulduğunu buluyoruz. Büyük miktardaki kayıtların tekrarlanan hesaplamasını (Big Data) kullanırken gerçekten kullanışlı olan paralel ve dağıtılmış bilgi işlem gücü elde etmek için dağıtılmış bilgi işlem platformu Apache Spark'ı kullanmaya çalıştık. Kelime Anahtarı: Big Data, Derin Öğrenme, Görüş Analizi, Spark, Paragraf vektörü.Opinion mining have shown to be a source of great value when it comes to collecting people's feedback about a product or an event as an example. The World Wide Web recently became very rich of people's opinions and thoughts so instead of filling some surveys for gathering feedback, due to the advance of sentiment analysis, we can now harvest thousands, millions or thousands of millions of opinions about what we are trying to develop, or thoughts about what we did recently. By the improvements that has occurred in the machine learning field we can now build a model that does some mathematical equations on large sets of data to give us the thoughts of millions of people about our work. With the many microblogging services online nowadays, these websites tend to have huge amounts of valuable information such as reviews, feedback, opinions and experience with specific products or events that can be benefited and gathered from by machines that work according to some machine learning model or algorithm. This is where sentiment analysis comes to existence, it is the field of Natural Language Processing (NLP) that uses machine learning models and techniques to collect subjective information from real world text (corpuses). In this research we aim to benefit from the opinions-rich social media network data by extracting the sentiments from them. We will use multiple sentiment analysis techniques (Paragraph Vector, Deep Learning for Java and Naïve Bayes-SVM) on multiple platforms (DL4J, Gensim and regular Machine Learning) all that on two different tasks; IMDB Movie Review Dataset and 1.6 million tweets, and change parameters (like epochs, text manipulation etc.) to see what affects the results of those models, thus ending up with a better model. We also compare the results of all models on different datasets in the Result chapter to find out which model scores higher accuracy in prediction plus the computation power and time needed for each of them. We try to use a distributed computing platform, Apache Spark, to achieve parallel and distributed computing power which really comes in handy when using repetitive calculation on big amounts of records (Big Data). Keywords: Big Data, Deep Learning, Sentiment Analysis, Spark, Paragraph Vector