COMBINING APPROXIMATE STRING MATCHING ALGORITHMS AND TERM FREQUENCY IN THE DETECTION OF PLAGIARISM

Abstract

İntihalin arkasındaki en önemli faktörlerden biri, internet üzerinde hızla erişilebilen büyük miktarda veri ve bilginin bulunmasıdır. Bu, akademik dolandırıcılık ve fikri mülkiyet hırsızlığı riskini artırır. İntihal üzerine endişe arttıkça, otomatik intihal tespitine yönelik daha fazla araştırmalar yapıldı. Hibrit algoritmalar, bir öğrenci tarafından yazılan günlük dil veya kaynak kodun benzerliğini tespit etmenin en olası yollarından biri olarak kabul edilir. Bu çalışma, hem Levenshtein düzenleme mesafesi yaklaşık dizi eşleştirme algoritmasını hem de frekans ters belge frekansı (TF-IDF) terimini birleştirmenin uygulanabilirliğini ve başarısını araştırıp, böylece kosinüs benzerliği kullanılarak ölçülen benzerlik oranını saptamada daha etkili bir yöntem sunmaktadır. Önerilen hibrit algoritma aynı zamanda doğal dilde, kaynak kodlarında, tam ve kılık değiştirmiş kelimelerde meydana gelen intihalleri de tespit edebilmektedir. Geliştirilen algoritma, yeniden düzenlenmiş sözcükleri, metinler arası ekleme veya silme benzerliğini ve dilbilgisi değişikliklerini algılayabilmektedir. Bu araştırmada test için üç farklı veri seti kullanılmıştır: otomatik makine paragrafları, yanlış yazılmış kelimeler ve java kaynak kodları. Genel olarak, sistem intihalleri tek başına kullanılan TF-IDF yaklaşımından daha iyi tespit ettiğini kanıtlamıştır.One of the key factors behind plagiarism is the availability of a large amount of data and information on the internet that can be accessed rapidly. This increases the risk of academic fraud and intellectual property theft. As increasing anxiety over plagiarism grow, more observation was drawn towards automatic plagiarism detection. Hybrid algorithms are regarded as one of the most prospective ways to detect similarity of everyday language or source code written by a student. This study investigates the applicability and success of combining both the Levenshtein edit distance approximate string matching algorithm and the term frequency inverse document frequency (TF-IDF), thereby boosting the rate of similarity measured using cosine similarity. The proposed hybrid algorithm is also able to detect plagiarism occurred on natural language, source codes, exact, and disguised words. The developed algorithm can detect rearranged words, inter-textual similarity of insertion or deletion and grammatical changes. In this research three various dataset are used for testing: automated machine paragraphs, mistyped words, and java source codes. Overall, the system proved to be detecting plagiarism better than the yet alone TF-IDF approach.