Identification and Classification of War-related Damages of Buildings Using Ground Level Images and State-of-the-art Models for Object Detection and Segmentation
Identifikation und Klassifizierung kriegsbedingter Gebäudeschäden unter Verwendung von terrestrischen Bildern und etablierten Modellen zur Objektdetektion und Segmentierung
Anand Gajaria, Basil Roth, Jonathan Banz, Andreas Wieser, Gesa Ziemer
Beyond the immediate human suffering, Russia’s full-scale invasion of Ukraine has already inflicted massive damage on civilian infrastructure. The scale and nature of this destruction create a pressing need for rapid damage assessment to support recovery planning. Current assessment workflows depend heavily on manual terrestrial inspection, making them slow, resource-intensive, and difficult for local authorities to scale across multiple settlements in a consistent way. Satellite imagery is widely perceived as a useful basis for monitoring war-related damage, but satellite-based approaches, while offering synoptic coverage and scaling well to large areas, lack the spatial granularity and contextual detail needed to capture on-the-ground damage conditions at the level of individual buildings. Herein, we present a deep-learning-based damage assessment pipeline that structures and automates the extraction of damage information from terrestrial imagery. It is intended to be interoperable with other sensor data, such as satellite imagery, by later extension into a more comprehensive solution for automated derivation of robust spatio-temporal evidence of destruction. At its core, the pipeline consists of a YOLOv8-based object detector and a Segment Anything Model (SAM) for automatic extraction of impacted structures from terrestrial imagery, and categorisation as damaged walls, damaged windows, and debris. We used a patch-based data processing strategy to mitigate background dominance. We fine-tuned the models on a manually annotated dataset derived from 380 images. The two-stage architecture first detects and classifies damaged regions, then performs pixel-level segmentation, providing accurate localisation of structural damage. Within our study, we achieved a mean average precision (mAP) of 0.65 for the object detection and a Dice coefficient of 0.91 for the segmentation. This demonstrates that the proposed pipeline is a useful first step towards supporting spatial damage assessment and recovery planning with automated provision of quantitative and qualitative information. Despite the promising results, the current implementation is limited by the relatively small dataset. More research is needed to develop the pipeline into a solution that generalises well to unseen environments and extracts the relevant information in formats and with semantics c ompatible with the requirements and legal constraints of public administration in Ukraine, or of other specific stakeholders.
Über das unmittelbare menschliche Leid hinaus hat Russlands Großinvasion in die Ukraine massive Schäden an ziviler Infrastruktur verursacht. Das Ausmaß und die Art dieser Zerstörung machen eine rasche Schadensbewertung dringend erforderlich, um den Wiederaufbau zu planen. Gängige Praktiken zur Bewertung beruhen stark auf manueller Inspektion vor Ort, wodurch sie langsam und ressourcenintensiv sind und es für lokale Behörden schwierig ist, sie einheitlich auf mehrere Siedlungen auszuweiten. Satellitenbilder gelten weithin als hilfreiche Grundlage zur Beobachtung kriegsbedingter Schäden. Satellitenbasierte Ansätze liefern zwar eine großräumige Übersicht und lassen sich gut auf große Gebiete skalieren, erreichen jedoch nicht die räumliche Granularität und kontextbezogenen Details, die erforderlich sind, um Schäden vor Ort auf der Ebene einzelner Gebäude zuverlässig abzubilden. In diesem Beitrag stellen wir eine auf Deep Learning basierende Pipeline zur Schadensbewertung vor, welche die Extraktion von Schadensinformationen aus terrestrischen Bildern strukturiert und automatisiert. Sie soll mit anderen Sensordaten, wie beispielsweise Satellitenbildern, kompatibel sein, sodass später durch die Erweiterung auf multimodale Eingaben eine umfassendere Lösung für die automatisierte Ableitung robuster räumlich-zeitlicher Beweise für Zerstörungen entwickelt werden kann. Im Kern kombiniert die Pipeline einen YOLOv8-basierten Objektdetektor mit dem Segment Anything Model (SAM) zur automatischen Extraktion von betroffenen Strukturen aus terrestrischen Bildern und deren Kategorisierung als beschädigte Wände, beschädigte Fenster und Trümmer. Zur Reduktion der Hintergrunddominanz setzten wir eine patchbasierte Datenverarbeitungsstrategie ein. Wir haben die vortrainierten Modelle mit einem manuell annotierten Datensatz aus 380 Bildern fein abgestimmt. Die zweistufige Architektur erkennt und klassifiziert zunächst beschädigte Bereiche und führt anschließend eine Segmentierung auf Pixelebene durch, wodurch eine genaue Lokalisierung struktureller Schäden ermöglicht wird. In unserer Studie erreichten wir eine mittlere durchschnittliche Präzision (mAP) von 0,65 für die Objekterkennung und einen Dice-Koeffizienten von 0,91 für die Segmentierung. Dies zeigt, dass die vorgeschlagene Pipeline ein nützlicher erster Schritt zur Unterstützung der räumlichen Schadensbewertung und Wiederherstellungsplanung durch die automatisierte Bereitstellung quantitativer und qualitativer Informationen ist. Trotz der vielversprechenden Ergebnisse ist die aktuelle Implementierung durch die vergleichsweise geringe Bildanzahl eingeschränkt. Weitere Forschung ist erforderlich, um die Pipeline zu einer Lösung mit hoher Generalisierungsfähigkeit weiterzuentwickeln, die sich gut auf unbekannte Umgebungen übertragen lässt und die relevanten Informationen in Formaten und mit einer Semantik extrahiert, die mit den Anforderungen und rechtlichen Auflagen der öffentlichen Verwaltung in der Ukraine oder anderer spezifischer Interessengruppen kompatibel sind.
Keywords: Damage assessment, buildings, damage classification, terrestrial imagery, semantic segmentation, Segment Anything Model (SAM), object detection, YOLOv8
Schlüsselwörter: Gebäudeschäden, Schadensklassifikation, terrestrische Fotos, semantische Segmentierung, Segment Anything Model (SAM), Objektdetektion, YOLOv8
DOI: 10.14627/avn.2026.1.5
Der Volltext der aktuellen Artikel (< 3 Monate) aus dem Artikelarchiv steht für
avn-Abonnenten
nach dem Login
zur Verfügung.