Artikelarchiv

Seite drucken

Self-supervised haze & cloud removal for land-cover classification

Selbstüberwachte Wolkenentfernung für Landflächenklassifizierung

Ziqi Gu, Patrick Ebel, Qiangqiang Yuan, Michael Schmitt, Xiaoxiang Zhu

Land-cover classification via satellites for mapping and surveying is a common remote sensing application. However, the presence of clouds and haze in optical satellite images poses a major obstacle for such tasks. Prior work demonstrated that land-cover classification of cloudy observations remains feasible under certain conditions. This raises the question what are the additional benefits of an explicit image reconstruction for cloud removal. To provide answers, we propose a novel multi-task architecture for joint land-cover classification and explicit cloud removal. The model is evaluated experimentally by combining land-cover annotations with cloudy ­satellite data. Our network proves superior on the land-cover classification task compared to single-task models, demonstrating the effectiveness of this multi-task solution. Furthermore, we baseline against two-step approaches that first reconstruct then classify. We show that any approach involving explicit cloud removal performs more robustly than single-step classifiers learning to implicitly deal with cloud coverage. Finally, we propose a self-supervised learning strategy to further improve performance and generalize to scenarios lacking extensive training labels while mostly utilizing abundantly available cloud-covered data.

Eine etablierte Anwendung der Fernerkundung ist die satellitengestützte Landflächenklassifizierung zwecks automatisierter Kartierung und Vermessung. Allerdings stellen Wolken und Dunst in optischen Satellitenaufnahmen ein großes Hindernis für solche Vorhaben dar. Es gibt Arbeiten, die demonstrierten, dass Landflächenklassifizierung in bewölkten Beobachtungen unter günstigen Umständen dennoch möglich ist. Dies wirft die Frage auf, worin der zusätzliche Nutzen und die Vorteile einer expliziten Bildrekonstruktion zwecks Wolkenentfernung liegen. Unsere Arbeit liefert darauf Antworten, indem ein neues Multiaufgaben-Netzwerk für die ­gleichzeitige Landflächenklassifizierung und explizite Wolkenentfernung vorgeschlagen wird. Wir evaluieren das entwickelte neuronale Netzwerk auf natürlichen Daten, welche annotierte Landflächenklassen mit bewölkten Satellitenaufnahmen kombinieren. Unser Multiaufgaben-Netzwerk klassifiziert Landflächen besser als Modelle, die bloß diese eine Aufgabe verrichten. Weiterhin vergleichen wir beide Ansätze mit sequenziellen Zwei-Schritt-Lösungen, welche zuerst Bilder rekonstruieren und dann klassifizieren. Wir zeigen, dass sämtliche Ansätze, welche explizite Wolkenentfernung involvieren, robuster als Einzel-Schritt-Modelle lernen, Wolken zu handhaben. Abschließend stellen wir einen Ansatz des selbstüberwachten Lernens vor, welcher die erbrachte Leistung darüber hinaus verbessert und selbst in Fällen anwendbar ist, wenn es an hinreichend großen, annotierten Trainingsdatensätzen mangelt, indem hauptsächlich die zahlreichen vorhandenen bewölkten Beobachtungen verwendet werden.

PDF herunterladenDownload PDF
Hier finden Sie mehr Informationen zum gis-Abonnement.