Testing The Performance of Random Forest and Support Vector Machine Algorithms for Predicting Cyclist Casualty Severity

Abstract

Traditional statistical regression models for predicting casualty severity have fundamental limitations. Machine learning algorithms for classifications have started to be applied in severity analysis in order to relax the assumptions and provide better accuracy in the models. However, the performances of highly advised classification algorithms for predicting cyclist casualty severity, which particularly occurred at roundabouts, have not been investigated comprehensively. Therefore, the study in this paper developed classification models for cyclist casualty severity prediction by applying the highest two advised algorithms in the literature namely Random Forest and Support Vector Machine. The dataset included 439 cyclist casualties which were recorded at give-way roundabouts in the North East of England. The predictive variables were sociodemographic information about cyclists, weather conditions, behavior-related contributory factors, speed limit, and roundabout geometrical parameters. 70% of the records were randomly selected for the training stage and 30% were used for the testing in both Random Forest and Support Vector Machine algorithms. After training the algorithm, the testing results showed that the Random Forest algorithm predicted the outcomes with 88.6% classification accuracy. On the other hand, Support Vector Machine algorithm predicted the testing values with 84.73% classification accuracy. The algorithms misestimated 18 and 20 of the casualties in Random Forest and Support Vector Machine, respectively. The outcomes suggested that both Random Forest and Support Vector Machine algorithms were applicable for cyclist casualty severity prediction models with high performance.Kaza yaralanma derecesinin tahmininde kullanılan geleneksel istatistiksel regresyon modellerinin birtakım kısıtlamaları vardır. Varsayımları ortadan kaldırmak ve modellerde daha iyi doğruluk sağlamak amacıyla makine öğrenmesi tekniğinin sınıflandırma algoritmaları yaralanma derecesi analizinde uygulanmaya başlanmıştır. Ancak, uygulanması tavsiye edilen sınıflandırma algoritmalarının performansları, özellikle dönel kavşaklarda meydana gelen bisikletli kazalarının yaralanma derecesini tahmin etmek için, kapsamlı bir şekilde araştırılmamıştır. Bu sebeple, bu makaledeki çalışmada, literatürde en sık önerilen iki algoritma olan Random Forest ve Support Vector Machine'i bisikletli yaralanma derecesinin tahmininde kullanarak sınıflandırma modelleri geliştirmiştir. Veri seti, İngiltere'nin kuzey-doğu bölgesinde karma kullanımlı trafiğe sahip dönel kavşaklarda meydana gelen 439 bisikletli kazalarını içermektedir. Bağımsız değişkenler bisikletlilerin sosyodemografik bilgileri, hava koşulları, sürücü davranışı ile ilgili faktörler, hız limiti ve kavşak geometrik parametreleridir. Hem Random Forest hem de Support Vector Machine algoritmalarının eğitim aşamasında veri setinin %70’i, test aşamasında ise %30’u kullanılmıştır. Algoritmaların test aşamasından sonra ortaya çıkan sonuçlara göre, Random Forest yönteminin sınıflandırma doğruluğunun %88.6 olduğu belirlenmiştir. Support Vector Machine algoritmasının ise %84.73 sınıflandırma doğruluğu ile tahmin modeli oluşturduğu tespit edilmiştir. Yanlış tahmin edilen veri sayısı Random Forest yönteminde 18 iken Suppport Vector Machine yönteminde 20’dir. Sonuçlar, hem Random Forest hem de Support Vector Machine algoritmalarının, bisikletli kaza yaralanma derecesi tahmin modelleri oluşturmak için yüksek performansa sahip uygulanabilirliklerinin olduğunu göstermektedir.