RAY VE ÇEVRESİNDEKİ NESNELERİN TESPİTİ VE MESAFE ÖLÇÜMÜ İÇİN DERİN ÖĞRENME TABANLI YAKLAŞIMLARIN GELİŞTİRİLMESİ

Abstract

Akıllı demiryolu sistemlerinin geliştirilmesi, giderek daha fazla sayıda görevi eşzamanlı ve gerçek zamanlı olarak gerçekleştirebilen görsel algı çerçevelerine bağlı hale gelmektedir. Bu tez, demiryolu ortamlarında güvenliği ve otomasyonu artırmak amacıyla nesne tespiti, anlamsal segmentasyon ve derinlik odaklı mesafe tahminini entegre eden modüler bir derin öğrenme sistemi önermektedir. 2B anlamsal kavrayışı 3B mekânsal akıl yürütme ile birleştirerek, sistem demiryolu operasyonlarına özel kapsamlı ve bağlama duyarlı sahne yorumlaması sağlamaktadır. Segmentasyon ve tespit görevlerini desteklemek üzere RailSem19 veri seti, özgün bir açıklama sentezleme hattı aracılığıyla genişletilmiştir. Her alt görev için en gelişmiş modeller değerlendirilmiş; mAP, mIoU ve piksel bazında doğruluk gibi metrikler kullanılarak en iyi yapılandırmalar seçilmiştir. İki çok görevli füzyon stratejisi geliştirilmiştir: biri segmentasyon çıktılarından yararlanan kural tabanlı bir çıkarım hattı, diğeri ise nesne düzeyinde ve piksel düzeyinde anlamsal bilgileri eşzamanlı olarak işleyen çift akışlı bir mimaridir. Çift akışlı model, karmaşık senaryolarda daha yüksek mekânsal hassasiyet, zamansal tutarlılık ve dayanıklılık göstermiştir. Derinlik algısı, ZED2 kamera kullanılarak elde edilmiş ve gerçek zamanlı 3B konumlama mümkün kılınmıştır. Kalibre edilmiş derinlik haritalarının RGB görüntülerle hizalanması sayesinde, sistem çeşitli koşullarda ortalama %10'un altında hata oranıyla mesafe tahmini gerçekleştirebilmiş; yayaların, araçların ve engellerin güvenilir bir şekilde tespitini desteklemiştir. Sistem, CUDA destekli donanım üzerinde verimli bir şekilde çalışarak gerçek zamanlı performansla birlikte yüksek doğruluk ve başarılı segmentasyon ölçütleri sergilemiştir. Bu sonuçlar, sistemin demiryolu izleme, tehlike tespiti ve altyapı denetimi gibi pratik uygulamalar için etkinliğini ve güvenilirliğini teyit etmektedir. Bu çalışma, demiryolu otomasyonu için genişletilebilir bir algı çerçevesi sunmakta ve çok modlu füzyon, alan uyarlaması ve güvenlik-kritik uygulamalar alanlarında gelecekteki araştırmalar için sağlam bir temel oluşturmaktadır.

The development of intelligent railway systems increasingly depends on visual perception frameworks capable of executing multiple tasks concurrently and in real time. This thesis proposes a modular deep learning system integrating object detection, semantic segmentation, and depth-aware distance estimation to improve safety, situational awareness, and automation in rail environments. By combining 2D semantic understanding with 3D spatial reasoning, the system enables comprehensive and context-aware scene interpretation tailored to railway operations. The RailSem19 dataset was extended via a novel annotation synthesis pipeline to support both segmentation and detection tasks. State-of-the-art models were benchmarked for each subtask, with top-performing configurations selected using metrics such as mean Average Precision (mAP), mean Intersection over Union (mIoU), and pixel-wise accuracy. Two multi-task fusion strategies were developed: a rule-based inference using segmentation outputs, and a dual-stream architecture processing object- and pixel-level semantics concurrently. The dual-stream model showed improved spatial precision, temporal consistency, and robustness in complex scenarios. Depth perception was achieved using a ZED2 stereo camera, enabling real-time 3D localization. Calibrated depth maps aligned with RGB images allowed the system to estimate distances with an average error below 10% across diverse conditions, supporting reliable detection of pedestrians, vehicles, and obstacles. The system delivered reliable accuracy and real-time performance on CUDA-enabled hardware, demonstrating its applicability to tasks such as railway monitoring, hazard detection, and infrastructure inspection. This work introduces a flexible perception framework tailored for railway automation and establishes a foundation for future advancements in multi-modal fusion, domain adaptation, and deployment in safety-critical environments.