Anomaly Detection in Meteorological Data Using a Hierarchical Temporal Memory Model: A Study on the Case of Kazakhstan

Abstract

In meteorology, which studies atmospheric events, data representing various properties such as temperature, rainfall, and wind speed are collected regularly over a certain period. Unexpected trends in the data may indicate that an abnormal situation is approaching. Therefore, time series (TS) data play an essential role in the early detection of potential meteorological risks. However, applying effective models by considering many complex parameters in performing accurate analysis and anomaly detection (AD) is an important criterion. In this study, machine learning-based AD is performed using a dataset containing meteorological data on different features collected between January 1, 2019, and June 30, 2023, for Kazakhstan, which has the ninth-largest surface area in the world. The Hierarchical Temporal Memory (HTM) model was used for AD, which can provide more accurate forecasts by modeling long-term dependencies and producing effective results in solving TS problems. Detected anomalies are reported at various levels depending on threshold values. In addition, to analyze the ADs more precisely, correlations are calculated using the Spearman model, which allows us to determine the strength and direction of the monotonic relationship between variables. The study's findings show that the HTM is an effective model for AD using TS data on meteorological features.

Atmosferik olayları inceleyen meteorolojide, sıcaklık, yağış ve rüzgar hızı gibi çeşitli özellikleri temsil eden veriler belirli bir süre boyunca düzenli olarak toplanmaktadır. Verilerdeki beklenmedik eğilimler anormal bir durumun yaklaşmakta olduğunu gösterebilmektedir. Bu nedenle, zaman serisi verileri potansiyel meteorolojik risklerin erken tespitinde önemli bir rol oynamaktadır. Ancak doğru ve güvenilir analizlerin gerçekleştirilmesinde ve anomali tespitinde karmaşık birçok parametreyi göz önünde bulundurarak etkin modelleri uygulamak önemli bir kriterdir. Bu çalışmada, dünyanın en büyük dokuzuncu yüzölçümüne sahip Kazakistan için 1 Ocak 2019 ile 30 Haziran 2023 tarihleri arasında toplanan farklı özelliklerdeki meteorolojik verileri içeren bir veri seti kullanılarak makine öğrenmesi tabanlı anomali tespiti gerçekleştirilmiştir. Anomali tespiti için uzun vadeli bağımlılıkları modelleyerek daha doğru tahminler sağlayabilen ve zaman serisi problemlerinin çözümünde etkin sonuçlar üreten Hiyerarşik Zamansal Bellek (HTM) modeli kullanılmıştır. Tespit edilen anomaliler eşik değerlerine bağlı olarak çeşitli seviyelerde raporlanmıştır. Ayrıca, anomali tespitlerini daha hassas bir şekilde analiz etmek için, değişkenler arasındaki monotonik ilişkinin gücünü ve yönünü belirlememizi sağlayan Spearman modeli kullanılarak korelasyonlar hesaplanmıştır. Çalışmanın bulguları, HTM modelinin meteorolojik özelliklere ilişkin zaman serisi verilerinin kullanıldığı AD problemlerinde etkin bir araç olduğunu göstermektedir.