Referans görüntü tabanlı iç tasarım eskiz renklendirme için derin öğrenme yaklaşımı

Abstract

Referans rehberli eskiz renklendirme, yapısal bilgilerin korunması ve referans görüntüden elde edilen renk ile stil özelliklerinin doğru şekilde aktarılması gerekliliği nedeniyle görüntü sentezleme alanındaki önemli araştırma problemlerinden biridir. Özellikle iç mekan görüntülerinde bulunan karmaşık nesne ilişkileri ve geniş yüzey alanları, bu problemi daha da zorlaştırmaktadır. Bu tezde, iç mekan eskizlerinin renklendirilmesi amacıyla çok seviyeli dikkat mekanizmalarına dayalı generatif bir model önerilmiştir. Önerilen sistemde, eskiz ve referans görüntülerinden ayrı EfficientNet-B1 tabanlı encoder ağları kullanılarak çok seviyeli özellikler çıkarılmaktadır. Elde edilen özellikler dikkat tabanlı füzyon mekanizmalarıyla birleştirilmekte ve U-Net tabanlı bir decoder aracılığıyla renklendirilmiş görüntü üretilmektedir. Modelin eğitiminde adversarial, rekonstrüksiyon ve algısal kayıp bileşenlerinden oluşan birleşik bir kayıp fonksiyonu kullanılmıştır. Deneysel çalışmalar, interior_style_dataset veri kümesinden oluşturulan 7000'den fazla iç mekan görüntüsü üzerinde gerçekleştirilmiştir. Model performansı PSNR, SSIM, LPIPS ve FID metrikleri ile değerlendirilmiştir. Elde edilen sonuçlar, önerilen yaklaşımın yapısal bütünlüğü korurken referans görüntüden renk ve stil aktarımını başarılı şekilde gerçekleştirebildiğini göstermektedir. Ayrıca görsel değerlendirmeler, modelin farklı iç mekan türlerinde tutarlı ve gerçekçi sonuçlar üretebildiğini ortaya koymuştur.Reference-based sketch colorization is a challenging image synthesis task that requires preserving structural information while accurately transferring color and style from a reference image. The complexity of interior scenes, including diverse objects and large spatial regions, further increases the difficulty of this problem. In this thesis, a generative framework based on multi-level attention mechanisms is proposed for interior sketch colorization. The proposed system employs separate EfficientNet-B1 encoders to extract multi-level features from sketch and reference images. These features are integrated through attention-based fusion mechanisms and subsequently reconstructed by a U-Net-based decoder to generate the final colorized image. The model is trained using a composite loss function consisting of adversarial, reconstruction, and perceptual loss components. Experiments were conducted on a dataset containing more than 7,000 interior images derived from the interior_style_dataset. Model performance was evaluated using PSNR, SSIM, LPIPS, and FID metrics. The results demonstrate that the proposed approach effectively preserves structural details while successfully transferring color and style information from reference images. Qualitative evaluations further show that the model can generate coherent and visually realistic interior scenes across different room layouts and design styles.