REAL TIME CAR MODEL AND PLATE DETECTION SYSTEM BY USING DEEP LEARNING ARCHITECTURES

Abstract

Derin öğrenmenin ortaya çıkışı, trafik yönetimi ve araç tanımlama için kritik öneme sahip gerçek zamanlı analize olanak sağlayarak bilgisayarlı görüyü devrimleştirmiştir. Bu araştırma, araç marka ve model tespitini Otomatik Plaka Tanıma (OPT) ile birleştiren ve çığır açan %97,5 doğruluk oranına ulaşan bir sistem sunmaktadır. Geleneksel yöntemlerin aksine, bu çalışma her iki yönü tek ve uyumlu bir sistemde bütünleştirerek, araç tanımlama için daha bütüncül ve verimli bir çözüm sunmakta ve olumsuz hava koşullarında bile sağlam bir performans sağlamaktadır. Makale, Python programlama dili ile birlikte OpenCV dahil olmak üzere derin öğrenme tekniklerinin kullanımını araştırmaktadır. Araç tanımlama için MobileNet-V2 ve YOLOx (You Only Look Once), OPT için ise YOLOv4-tiny, Paddle OCR (optik karakter tanıma) ve SVTR-tiny kullanılarak geliştirilen sistem, Fırat Üniversitesi'nin girişinde sis, yağmur ve düşük ışık gibi çeşitli koşullar altında çekilen bin görüntü ile titizlikle test edilmiştir. Sistemin bu testlerdeki olağanüstü başarı oranı, sağlamlığını ve pratik uygulanabilirliğini vurgulamaktadır. Ek olarak, deneyler sistemin doğruluğunu ve etkinliğini değerlendirmekte, sinir ağlarının karar verme süreçlerini anlamak ve özellikle yanlış sınıflandırmalarda iyileştirme alanlarını belirlemek için Gradyan Ağırlıklı Sınıf Aktivasyon Haritalama (GradCam) teknolojisini kullanmaktadır. Bu araştırmanın bilgisayarlı görü için etkileri önemlidir ve otonom sürüş, trafik yönetimi, çalıntı araçlar ve güvenlik gözetimi gibi alanlarda ileri uygulamalara zemin hazırlamaktadır. Gerçek zamanlı, yüksek doğruluklu araç tanımlaması sağlayan entegre Araç Marka ve Model Tanıma (AMMT) ve OPT sistemi, alandaki gelecek araştırmalar için yeni bir standart belirlemektedir.The advent of deep learning has revolutionized computer vision, enabling real-time analysis crucial for traffic management and vehicle identification. This dissertation introduces a novel system that integrates vehicle make and model detection with Automatic Number Plate Recognition (ANPR), achieving a remarkable 97.5% accuracy rate. By leveraging deep learning techniques, including MobileNet-V2, YOLOx, YOLOv4-tiny, Paddle OCR, and SVTR-tiny, the system effectively processes real-time video feeds, even under challenging conditions such as fog, rain, and low light. A key innovation of this dissertation lies in the integration of these diverse deep learning models into a unified framework. This integration enables the system to accurately identify vehicle makes and models, as well as recognize license plate numbers, with high precision. To further enhance the model's performance and gain deeper insights into its decision-making process, Gradient-weighted Class Activation Mapping (Grad-CAM) is employed. This technique highlights the most influential regions of the image, enabling the refinement of the model's predictions and identification of potential areas for improvement. The proposed system has significant implications for various applications, including autonomous driving, traffic management, law enforcement, and security surveillance. By advancing the state-of-the-art in vehicle identification, this dissertation paves the way for future innovations in computer vision. Specifically, this system can contribute to improved traffic flow, enhanced road safety, and more efficient law enforcement operations.