FPGA KULLANARAK GERÇEK ZAMANLI GÖRSEL NESNE ALGILAMA

Abstract

FPGA kullanımı, görüntü işleme operasyonu sırasında veri boyutunun büyük olmasından dolayı birçok uygulamada tercih edilmektedir. Bu tezde, Terasic DE2-115 FPGA seti ve onunla uyumlu TRDB-D5M kamera modülü incelenmiş ve firma tarafından sağlanan Verilog dilindeki kamera uygulama modülü, geliştirmeye uygun referans bir sistem olarak kullanılmıştır. Sisteme farklı fonksiyonlar ve özellikler eklenerek bir nesne algılama sistemi gerçekleştirilmiştir. Nesne algılama sistemi temel olarak 3x3 pencere boyutuna sahip bir medyan filtresinin donanımasal olarak optimize edilmiş bir versiyonunu içermektedir. İkili imge oluşturmak için filtrelenmiş görüntüdeki kırmızı, yeşil ve mavi (RGB) renkler ve gri renk için farklı eşik değerleri kullanılarak segmentasyon yapılır. Sahnede bulunan nesneyi kabaca gösteren bu ikili imge sayesinde nesneye ait olduğu düşünülen pikseller için video tamponuna sıfırdan farklı bir veri değeri yazılmaktadır. Elde edilen ikili imgeden nesnenin ağırlık merkezi ve bu merkezinin koordinatları belirlenmiştir. Belirlenen merkezin koordinatları onaltılık sayı sistemi (hexadecimal) olarak FPGA setinin üzerinde bulunan 7-segment göstergeye aktarılmıştır. Tamamen gerçek zamanlı çalışan sistem üzerinde farklı aydınlanma koşulları ve eşik değerlerle deneysel çalışmalar yapılmıştır. Deneyler sırasında gözlemlenen, yayılma gecikmelerine bağlı problemler, kodlarda yapılan düzeltmelerle giderilmiştir.

The use of FPGA is preferred in many applications because of the massive amount of data processed by image processing operation. In this thesis, Terasic DE2-115 FPGA Kit and a compatible camera module TRDB-D5M has been analyzed. The application module written in Verilog provided from Terasic is used as the base system for the development of the image processing system. An object detection system has been created by adding various functions and features to the given system. The object detection system comprises a hardware optimized version of median filter with a 3x3 window size. The segmentation is performed to generate binary image using different threshold values for RGB and grey color levels in the filtered image. A data value different from zero is written to the video buffer for pixels considered to be object thanks to this binary image which shows roughly the object in the scene. Coordinates of the centroid have been determined by using the obtained binary image of the object. The coordinates of the centroid have also been transferred as hexadecimal number to 7-segment display which is available on the FPGA kit. The experimental implementation has been realized under different illumination conditions and thresholds values as a real-time system. The observed problems depending on the propagation delays have been compensated by improving the codes.