@thesis{PB-VRVis-2023-025,
author = {Zorzi, Stefano},
title = {Deep Learning-based Building Extraction and Vectorization from Satellite and Aerial Imagery},
year = {2023},
type = {PhD Thesis},
institution = {TU Graz},
subtitle = {PhD thesis (TU Graz)},
url = {https://www.vrvis.at/publications/PB-VRVis-2023-025},
abstract = {In der Fernerkundung stellt die pr{\"a}zise Extraktion von Geb{\"a}udegrundrissen aus hochaufl{\"o}senden Satelliten- und Luftbildern nach wie vor eine bedeutende Herausforderung dar. Dies hat erhebliche Auswirkungen auf die Stadtplanung, das Katastrophenmanagement und die Kartierung der Bodenbedeckung. In dieser Dissertation werden innovative Deep-Learning-Methoden pr{\"a}sentiert, die bestehende Herausforderungen im Bereich der Fernerkundung bew{\"a}ltigen, die Grenzen der Fernerkundungstechnologien erweitern und neue Anwendungsbereiche erschlie{\ss}en. Wir stellen ein innovatives Modell eines Convolutional Neural Networks (CNN) vor, das speziell darauf trainiert ist, von Mask R-CNN erkannte Instanzmasken automatisch zu regularisieren. Dadurch erhalten wir optimierte Geb{\"a}udegrundrisse, die denen in OpenStreetMap (OSM)-Layers sehr {\"a}hnlich sind. Dieses Modell eignet sich besonders gut f{\"u}r Anwendungen wie die 3D-Stadtrekonstruktion und die Kartierung der Bodenbedeckung. Um den Nutzen und den Anwendungsbereich des Modells zu erweitern, stellen wir eine Pipeline f{\"u}r die Segmentierung und Polygonisierung von Geb{\"a}uden in kartografischen Anwendungen vor. Dies erm{\"o}glicht die Verwendung von Vektorannotationen anstelle von gerasterten Bildern. Angesichts der Komplexit{\"a}t der oben genannten Ans{\"a}tze wird in dieser Arbeit auch ein auf einem Graph Neural Network (GNN) basierendes Modell namens PolyWorld vorgestellt. Im Gegensatz zu herk{\"o}mmlichen Modellen erkennt PolyWorld Objektpunkte in Bildern und verbindet sie direkt, indem es ein optimales Transportproblem l{\"o}st und somit Polygone ohne Zwischenschritte erzeugt. Da PolyWorld nicht in der Lage ist, Szenen zu verarbeiten, die Polygone mit gemeinsamen Eckpunkten enthalten, stellen wir eine erweiterte Version namens PolyWorld Remastered (Re:PolyWorld) vor. Dieses Modell zeichnet sich durch seine fortgeschrittene Szenendarstellung aus und ist in der Lage, ein breiteres Spektrum an polygonalen Szenen zu verarbeiten. Daher eignet es sich f{\"u}r eine Vielzahl von Anwendungsf{\"a}llen und Datens{\"a}tzen. Diese Dissertation demonstriert eindrucksvoll die Einsatzm{\"o}glichkeiten von Re:PolyWorld und zeigt nicht nur Fortschritte im Bereich der Geb{\"a}udeextraktion und Polygonisierung, sondern auch bei Anwendungen wie der Rekonstruktion von Geb{\"a}udegrundrissen und Au{\ss}enanlagen sowie der Szenenanalyse. Die vorgestellten Methoden stellen einen bedeutenden Fortschritt im Bereich der Objekterkennung und Segmentierung von Fernerkundungsbildern dar und bieten Potenzial f{\"u}r wirkungsvolle Anwendungen in verschiedenen Bereichen.},
}