SOSYAL MEDYA VE WEB PLATFORMLARINDAN SİBER TEHDİT İSTİHBARATI TOPLANMASI VE ANALİZİ

Abstract

Siber Tehdit İstihbaratı verileri siber isihbarat hakkında paylaşılan olayların dikkate alınması için verilerin toplanması ve işlenmesi için yoğun bir çalışma gerekliliğini ortaya koymaktadır. Zafiyet, güncelleme, veri ihlali, siber olay gibi vb. haberlerin veya yazıların kaynak olarak belirlenmesi göz önünde bulundurulup bir siber sınıf içeriği için bilgi veya kritik verilerin toplanması amaçlanmıştır. Söz konusu hedef alınan her hangi bir sistemin etkilenmesi ardından sosyal medya, web platformları veya özel forumlarda tespit edilmesidir. Tespit edilen bulguların sınıflandırmak ve daha zengin bir veri kaynağını ele alarak önemli haber bulgularını tespitinin sağlanması göz önünde bulundurulmuştur. Bu tez çalışmasında Reddit, Twitter (X), Telegram, Facebook, Instagram, açık web sayfaları ve Dark Web forumları gibi farklı ve dinamik kaynaklardan RSS (XML), HTML parser ve API yöntemleri kullanılarak belirli zaman aralıklarında veri toplanmıştır. Elde edilen veriler başlık ve içerik düzeyinde işlenerek CSV formatında depolanmış ve analiz sürecine uygun hale getirilmiştir. Böylece yapılandırılmamış ve dağınık halde bulunan açık kaynak veriler sistematik bir veri havuzuna dönüştürülmüştür. Toplanan veriler üzerinde gerçekleştirilen ön işleme ve zenginleştirme çalışmaları sonucunda, Doğal Dil İşleme (NLP) yöntemleri kullanılarak metinlerin belirli tehdit türlerine göre sınıflandırılması sağlanmıştır. Bu kapsamda BERT, Random Forest ve LSTM modelleri üzerinde çalışmalar yürütülmüş modellerin performansları karşılaştırmalı olarak değerlendirilmiştir. Özellikle sınıf yoğunluğunun yüksek olduğu veri yapısına rağmen BERT modelinin bağlamsal anlamı yakalama kabiliyeti sayesinde başarılı sonuçlar verdiği gözlemlenmiştir. Tez kapsamında geliştirilen model, siber tehdit istihbaratı (CTI) verilerinin önem derecesini ve türünü otomatik olarak sınıflandırabilecek şekilde tasarlanmıştır. Ayrıca bu modelin aktif bildirim sistemi ile entegre çalışmasına yönelik bir topoloji modeli oluşturularak sistemin çalışma prensibi ortaya konmuştur. Bu yaklaşım, büyük hacimli ve sürekli üretilen açık kaynak verilerinin anlamlandırılmasını ve operasyonel güvenlik süreçlerine katkı sağlamasını hedeflemektedir. Bu çalışma, açık kaynaklardan elde edilen verilerin yapay zekâ destekli yöntemlerle analiz edilmesi ve siber tehditlerin erken tespitine katkı sunması açısından önem taşımaktadır.Cyber Threat Intelligence data reveal the necessity of intensive efforts in collecting and processing information to ensure that cyber-related incidents are properly monitored and evaluated. In this context, news articles or reports concerning vulnerabilities, updates, data breaches, and cyber incidents are considered as primary sources, and the objective is to gather critical information relevant to specific cyber categories. Following the impact on any targeted system, related discussions and indicators may emerge across social media platforms, web environments, or specialized forums. The identification and classification of such findings, along with the utilization of enriched data sources, are regarded as essential for detecting significant and actionable intelligence. In this thesis, data were collected at regular intervals from diverse and dynamic sources including Reddit, Twitter (X), Telegram, Facebook, Instagram, public web pages, and Dark Web forums through RSS (XML), HTML parsing, and API-based methods. The collected data were processed at the headline and content level and stored in CSV format to ensure suitability for analytical procedures. In this way, unstructured and dispersed open-source information was transformed into a systematic data repository. Through preprocessing and data enrichment procedures applied to the collected dataset, Natural Language Processing (NLP) techniques were employed to classify textual content according to predefined threat categories. Within this scope, BERT, Random Forest, and LSTM models were implemented and comparatively evaluated based on their performance. Despite the high density and imbalance among classes, the BERT model demonstrated strong performance due to its contextual representation capability. The model developed within the scope of this thesis was designed to automatically classify CTI data according to their type and level of importance. Furthermore, a system topology integrating the classification model with an active notification mechanism was proposed, and its operational framework was presented. This approach aims to facilitate the interpretation of large-scale and continuously generated open-source data and to contribute to operational cybersecurity processes. Overall, this study is significant in terms of applying artificial intelligence–based methods to the analysis of open-source data and supporting the early detection of cyber threats.