Publications

back
S. Zorzi (2023)

Deep Learning-based Building Extraction and Vectorization from Satellite and Aerial Imagery

communication medium

PhD thesis (TU Graz)

Abstract

In der Fernerkundung stellt die präzise Extraktion von Gebäudegrundrissen aus hochauflösenden Satelliten- und Luftbildern nach wie vor eine bedeutende Herausforderung dar. Dies hat erhebliche Auswirkungen auf die Stadtplanung, das Katastrophenmanagement und die Kartierung der Bodenbedeckung. In dieser Dissertation werden innovative Deep-Learning-Methoden präsentiert, die bestehende Herausforderungen im Bereich der Fernerkundung bewältigen, die Grenzen der Fernerkundungstechnologien erweitern und neue Anwendungsbereiche erschließen. Wir stellen ein innovatives Modell eines Convolutional Neural Networks (CNN) vor, das speziell darauf trainiert ist, von Mask R-CNN erkannte Instanzmasken automatisch zu regularisieren. Dadurch erhalten wir optimierte Gebäudegrundrisse, die denen in OpenStreetMap (OSM)-Layers sehr ähnlich sind. Dieses Modell eignet sich besonders gut für Anwendungen wie die 3D-Stadtrekonstruktion und die Kartierung der Bodenbedeckung. Um den Nutzen und den Anwendungsbereich des Modells zu erweitern, stellen wir eine Pipeline für die Segmentierung und Polygonisierung von Gebäuden in kartografischen Anwendungen vor. Dies ermöglicht die Verwendung von Vektorannotationen anstelle von gerasterten Bildern. Angesichts der Komplexität der oben genannten Ansätze wird in dieser Arbeit auch ein auf einem Graph Neural Network (GNN) basierendes Modell namens PolyWorld vorgestellt. Im Gegensatz zu herkömmlichen Modellen erkennt PolyWorld Objektpunkte in Bildern und verbindet sie direkt, indem es ein optimales Transportproblem löst und somit Polygone ohne Zwischenschritte erzeugt. Da PolyWorld nicht in der Lage ist, Szenen zu verarbeiten, die Polygone mit gemeinsamen Eckpunkten enthalten, stellen wir eine erweiterte Version namens PolyWorld Remastered (Re:PolyWorld) vor. Dieses Modell zeichnet sich durch seine fortgeschrittene Szenendarstellung aus und ist in der Lage, ein breiteres Spektrum an polygonalen Szenen zu verarbeiten. Daher eignet es sich für eine Vielzahl von Anwendungsfällen und Datensätzen. Diese Dissertation demonstriert eindrucksvoll die Einsatzmöglichkeiten von Re:PolyWorld und zeigt nicht nur Fortschritte im Bereich der Gebäudeextraktion und Polygonisierung, sondern auch bei Anwendungen wie der Rekonstruktion von Gebäudegrundrissen und Außenanlagen sowie der Szenenanalyse. Die vorgestellten Methoden stellen einen bedeutenden Fortschritt im Bereich der Objekterkennung und Segmentierung von Fernerkundungsbildern dar und bieten Potenzial für wirkungsvolle Anwendungen in verschiedenen Bereichen.

research topic

research groups