Recognizing Objects and Tracking Vehicles Using Semi-autonomous Drone

Abstract

Vehicles take place in a large part of our daily life and their number is increasing day by day. This situation has made the tracking of vehicles in motion and the detection of their license plates a necessity. Performing these processes automatically will provide a great convenience in terms of labor and economy. In this study, a system that recognizes a moving target and tracks vehicles using image processing algorithms using the data obtained with a quadrotor DJI Tello Drone camera is proposed. The work consists of three stages: The first one is transferring the images from the drone to the software and the second one is recording the images received at the end of the analysis to the database; In the third stage, semi-autonomous tracking of a specified object within the data obtained is possible. Tracking height and distance can be adjusted manually. The system detects a vehicle in real-time and records five different data such as registration date, license plate text, license plate image, vehicle image, and tracking image. In the study, possible environmental (intense light reflection on the plate, the intensity of transition from dark to light, sticker or dirt on the plate, etc.) errors can be eliminated by comparing the plate text with the plate image before the plate information is recorded in the database. In case of an error, the license plate information is saved in the database after the user corrects it manually. The proposed system can be used in many fields, including film, aerial photography, and the defense industry. According to the results obtained, 79.54% success is achieved in license plate recognition and 85% success in the object tracking systems.Araçlar günlük hayatımızın büyük bir bölümünde yer alır ve sayıları gün geçtikçe artmaktadır. Bu durum, hareket halindeki araçların takibini ve plakalarının tespitini ihtiyaç haline getirmiştir. Bu işlemlerin otomatik yapılması, iş gücü ve ekonomik bakımından büyük kolaylık sağlayacaktır. Bu çalışmada, dört rotorlu bir DJI Tello Drone kamerasıyla elde edilen verileri görüntü işleme algoritmalarıyla hareketli bir hedefi izleyen ve araçların takibini gerçekleştiren bir sistem önerilmiştir. Çalışma üç aşamadan oluşmaktadır: Birincisi, drone üzerinden gelen görüntülerin yazılıma aktarılması; ikincisi, yapılan analiz sonunda gelen görüntülerin veri tabanına kayıt edilmesi; üçüncü aşamada ise elde edilen veriler dâhilinde belirtilen belli bir nesnenin yarı-otonom takibinin yapılabilmesidir. Takip yüksekliği ve mesafesi manuel olarak ayarlanabilmektedir. Sistem gerçek zamanlı tespit ettiği bir aracın; kayıt tarihi, plaka metni, plaka resmi, araç resmi ve takip resmi gibi beş farklı veriyi kaydetmektedir. Çalışmada, plaka bilgisi veri tabanına kaydedilmeden önce plaka metni, plaka resmiyle karşılaştırarak çevreden kaynaklı (plakadaki yoğun ışık yansıması, karanlıktan aydınlığa geçiş yoğunluğu, plaka üzerindeki çıkartma veya kir vb.) olası hatalar kullanıcı tarafından manuel olarak giderilebilir ve daha sonra plaka bilgisi, veri tabanına kaydedilir. Önerilen sistem, film, hava fotoğrafçılığı ve savunma sanayisi dâhil birçok alanda kullanılabilir. Elde edilen sonuçlara göre plaka tanımada %79.54 nesne takip sisteminde ise %85 oranında başarı elde edilmiştir.