Somut Mimari Miras Verilerinin Derin Öğrenme Tabanlı Görsel Analizi: Osmanlı Vernaküler Konutlarının Cephe Görselleri Üzerinden Sınıflandırılması

Abstract

Bu çalışma, somut kültürel miras verilerinin görsel analizinde önceden eğitilmiş derin öğrenme modellerinin ve verinin rolünü ve etkinliğini Osmanlı vernaküler konutlarının cephe görselleri aracılığıyla araştırmaktadır. Mimari miras verileri doğası gereği çok katmanlı ve çok boyutludur ve güncel literatür, hesaplamalı yöntemlerle (örn. parametrik modelleme, biçim grameri ve mekân dizimi) ve dijital çerçevelerle (örn. tarihi yapı bilgi modellemesi ve tarihi coğrafi bilgi sistemleri) artan ilişkisini ortaya koymuştur. Bu kapsamda, derin öğrenme temelli yaklaşımlar, karmaşık mimari veri kümelerini analiz etmek için yeni fırsatlar sunmaktadır. Anadolu ve Balkanlar'daki geleneksel evlerin cephe fotoğraflarından derlenen bir veri seti oluşturulmuştur. Model performansının veri kalitesine olan hassasiyeti nedeniyle, çoklu iş akışı diyagramları ve veri toplama protokolü geliştirilmiştir. Veri kümesi eğitim (%70), doğrulama (%20) ve test (%10) alt kümelerine ayrılmış ve sınırlı büyüklüğü nedeniyle çeşitli teknikler (örn. Mixup) kullanılarak artırılmıştır. Konvolüsyonel sinir ağı tabanlı mimariler (örn. ResNet ve ConvNeXt) ve dönüştürücü tabanlı modeller (örn. Swin Transformer ve DeiT), transfer öğrenme ve ince ayar stratejileri ile kullanılmıştır. Yığın boyutu, öğrenme oranı, epok sayısı ve optimizasyon fonksiyonu gibi hiperparametreler üzerinde çalışılmıştır. Grad-CAM, Açıklanabilir Yapay Zekâ çerçevesinde kullanılmıştır. Görüntü bulma görevi ön eğitimli derin öğrenme modeli ile gerçekleştirilmiştir. Ayrıca, benzer mimari özelliklere sahip veriler gruplandırılarak mimari süper sınıflar oluşturulmuş ve 2B ortamdaki dağılımlarını görselleştirmek için t-SNE uygulanmıştır. Denetimli sınıflandırma gerçekleştirilmiş ve model performansı doğrulama ve test doğruluğu, MCC skoru gibi ölçütler kullanılarak değerlendirilmiştir. Ayrıca, her bir ince ayarlı model için makro ağırlıklı hassasiyet, geri çağırma ve F1-Skor değerleri elde edilmiştir. Mimari miras veri kümesinin oluşturulması, veri toplama protokolünün formüle edilmesi, semantik süper sınıfların tasarımı ve derin öğrenme tabanlı iş akışlarının geliştirilmesi başlıca çıktılar arasında yer almaktadır.

This study investigates the role and effectiveness of pre-trained deep learning models and data in visual analysis of tangible cultural heritage data through facade images of Ottoman vernacular houses. Architectural heritage data is inherently multi layered and multidimensional, and recent literature has demonstrated its growing engagement with computational methods (e.g., parametric modelling, shape grammar, and space syntax) and digital frameworks (e.g., historical building information modelling and historical geographic information systems). Within this scope, deep learning-based approaches offer novel opportunities for analysing complex architectural datasets. A dataset has been created, compiled from facade photographs of traditional houses in Anatolia and the Balkans. Due to the sensitivity of model performance to data quality, multiple workflow diagrams and data collection protocol were developed. The dataset was split into training (70%), validation (20%), and testing (10%) subsets, and augmented using various techniques (e.g., Mixup) due to its limited size. Convolutional neural net-based architectures (e.g., ResNet and ConvNeXt) and transformer-based structures (e.g., Swin Transformer and DeiT) were employed, along with transfer learning and fine-tuning strategies. Hyperparameters such as batch size, learning rate, number of epochs, and optimization function have been studied. Grad-CAM has been utilized within the framework of Explainable AI. Image retrieval task was implemented with pre-trained deep learning model. Furthermore, architectural superclasses were constructed by grouping data with similar architectural attributes and t-SNE was applied to visualize their distribution in 2D environment. Supervised classification was conducted, and model performance was evaluated using metrics including validation and test accuracy, and MCC scores. In -addition, macro-weighted precision, recall, and F1-score values were obtained for each fine-tuned model. The construction of an architectural heritage dataset, the formulation of a data collection protocol, the design of semantic superclasses, and the development of deep learning-based workflows are among the main outcomes.