TRANSFER ÖĞRENMEYE DAYALI TARİHİ YAPI HASAR TESPİTİ VE SINIFLANDIRILMASI

Abstract

Kent kimliğini oluşturan temel unsurlardan biri olan tarihi yapılar, toplumların kültürel mirasını yansıtan özgün değerlerdir. Mimari değerleri, yapım teknikleri ve tarihsel arka planlarıyla bir toplumun hafızasını temsil eden bu yapılar da çevresel etkenler ve insan müdahaleleri nedeniyle çeşitli hasarlar görülmektedir. Bu mirasın korunarak gelecek kuşaklara aktarılması hem toplumsal hem bilimsel bir sorumluluk olarak değerlendirilmektedir. Bu bağlamda, yapay zekâ temelli yaklaşımlar tarihi yapıların belgelenmesi, analizi ve korunmasında etkin araçlar sunmaktadır. Yapay zekâ, özellikle görüntü işleme alanında önemli başarılar sağlamış; derin öğrenme yöntemleri, verilerden yüksek düzeyde temsiller çıkarabilen güçlü modeller sunmaktadır. Bu yöntemlerin bir alt dalı olan transfer öğrenme, daha önce eğitilmiş modellerin yeni görevler için uyarlanmasını sağlayarak az veriyle yüksek doğruluk sunmaktadır. Bayesyen optimizasyonu gibi tekniklerle model başarımı daha da artırılabilmektedir. Bu çalışmada, transfer öğrenmeye dayalı modeller kullanılarak tarihi yapılarda görülen hasarların otomatik tespiti ve sınıflandırılması gerçekleştirilmiştir. Bu amaçla altı sınıftan (biyolojik bozulma, kimyasal bozulma, mekanik hasar, insan kaynaklı hasar, malzeme kaybı ve hasarsız) oluşan ve 20.000 görsel içeren özgün bir veri seti oluşturulmuştur. Veri seti on farklı transfer öğrenme yöntemi (EfficientNetB3, ViT, Xception, InceptionNet, AlexNet, VGG-19, ShuffleNet, DenseNet121, MobileNet ve ResNeXt50) için eğitilmiş ve belirlenen 8 farklı hiperparametrenin en uygun değerleri için ise bayesyen optimizasyonu kullanılmıştır. Elde edilen yüksek doğruluk oranları, geliştirilen yöntemin kültürel mirasın korunmasında etkili bir çözüm sunduğunu göstermektedir. Anahtar Kelimeler: Tarihi yapılar, Transfer öğrenmesi, Derin öğrenme, Hasar tespiti

Historic buildings, one of the fundamental elements that constitute urban identity, are unique assets that reflect the cultural heritage of societies. These buildings, which represent a society's memory with their architectural values, construction techniques, and historical backgrounds, are subject to various damages due to environmental factors and human interventions. Preserving this heritage and passing it on to future generations is considered both a social and scientific responsibility. In this context, artificial intelligence-based approaches offer effective tools for documenting, analyzing, and preserving historical buildings. Artificial intelligence, particularly in image processing, has achieved significant success; deep learning methods offer powerful models capable of extracting high-level representations from data. Transfer learning, a sub-branch of these methods, enables previously trained models to be adapted to new tasks, achieving high accuracy with limited data. Model performance can be further enhanced with techniques such as Bayesian optimization. In this study, we used transfer learning-based models to automatically detect and classify damage to historical buildings. For this purpose, a unique dataset of 20,000 images was created, consisting of six classes (biological deterioration, chemical deterioration, mechanical damage, human-induced damage, material loss, and undamaged). The dataset was trained using ten different transfer learning methods (EfficientNetB3, ViT, Xception, InceptionNet, AlexNet, VGG-19, ShuffleNet, DenseNet121, MobileNet, and ResNeXt50), and Bayesian optimization was used to determine the optimal values of eight different hyperparameters. The high accuracy rates obtained demonstrate that the developed method offers an effective solution for the preservation of cultural heritage. Keywords: Historical structures, Transfer learning, Deep learning, Damage detection