SENTIMENT ANALYSIS AND OPINION MINING FROM BIG SOCIAL DATA USING MAPREDUCE AND MACHINE LEARNING METHODS

Abstract

Duygu analizi; dog?al dil is?leme, metin analizi, hesaplama dilbilimi ile metin belgelerindeki o?znel bilgilerin belirlenmesi ve c?ıkarılması yo?ntemidir. Duygu analizinin ana go?revi belirli bir metnin kutupsallıg?ını belirlemektir. Bu aras?tırmanın amacı, MapReduce ve KNIME aracı ile makine o?g?renimi kullanarak bu?yu?k sosyal veriler ic?in duygu analizini incelemektir. Bu aras?tırmada kullanılan veri setleri internetten gerc?ek zamanlı olarak alınmıs?tır. Aras?tırmada kullanılan model, gu?ncel bir s?emayı takiben, veri alma tarihini ve zamanını kullanmaktadır. Metin alanlarını, Twitter'da en sık yazılan cu?mlelerden girdi vekto?ru? olarak toplamaktadır. Bu veri ku?mesini, c?apraz dog?rulama yo?ntemi kullanarak aynı tu?rde bir test seti takip etmektedir. Rasgele bir yu?zdelik eg?itim seti, hata oranına ve performansa kars?ı test edilmis?tir ve deg?erlendirilmis?tir. Twitter API'sı, Twitter'dan veri toplamak ic?in kullanılan bir dig?er arac?tır. Toplanan veriler Hadoop'tan KNIME aracına girilmis?tir. Ayrıca, veri sınıflandırması ic?in, bu projede makine o?g?renme algoritmaları kullanılmıs?tır. Anahtar Kelimeler: KNIME aracı, duyarlılık analizi, bu?yu?k veri, MapReduce, Hadoop, Twitter

Sentiment analysis is the use of natural language processing, text analysis, computational linguistics identifying and subjective information extracting from text documents. The main task of sentiment analysis is to determine the polarity of a given text. The aim of this research is to investigate sentiment analysis for big social data using MapReduce and machine learning with KNIME tool. The datasets used in this research are fetched from the Internet in a real-time basis. The model used in the research is employing the current date and time for receiving data and following an up-to-date schema. It gathers text fields as input vectors from the most frequently written phrases on Twitter. The collected datasets are passed to an evaluating stage that employs both confusion matrix and cross validation methods. Twitter API is another tool that was used to gather data from Twitter in this work. The collected data was fed to KNIME tool from Hadoop platform. Also, for data classification purpose, machine learning algorithms were used. Keywords: Hadoop, big data, KNIME tool, MapReduce, sentiment analysis, Twitter