Die Erkundung des Weltraums und ferner Planeten wie dem Mars bedarf einer großen Palette verschiedenster Technologie-Instrumente, durch die in Bild- und Sensordaten verschlüsselt die Informationen auf die Erde geschickt werden können. Im Rahmen der Mars-Rover-Missionen Perseverance der NASA sowie ExoMars der ESA hat das VRVis gemeinsam mit JOANNEUM Research, die federführend an der Entwicklung der Hauptkameras der Rover beteiligt ist, den innovativen 3D-Viewer PRo3D entwickelt, durch den Orbiter- und Mars-Rover-Kamerabilder bis ins kleinste Detail rekonstruiert und dreidimensional visualisiert werden können. Das vielseitig einsetzbare 3D-Visualisierungstool wurde dabei auch dafür verwendet, unmittelbar nach der Mars-Landung von Perseverance die ersten 3D-Überflugsvideos zu erstellen, um die breite Öffentlichkeit an den ersten Schritten des NASA-Rovers teilhaben zu lassen. Die in PRo3D mit nur wenigen Handgriffen erstellbaren hochaufgelösten digitalen Oberflächenmodelle schaffen für die Planetengeologie darüber hinaus eine wesentliche Grundlage, um ferne Welten, etwa auch im Rahmen von Impaktforschung Asteriodenoberflächen, auf die Erde zu bringen.
Planetenforschungsteams können geologische Protokolle auch direkt aus Anmerkungen in der 3D-Ansicht erstellen. Sie wählen Punkte an den Grenzen der stratigrafischen Schichten aus, um einen Querschnitt eines Aufschlusses zu definieren. Das Ergebnis ist eine 2D-Darstellung der Schichtung. Schließlich kombinieren sie mehrere dieser Aufzeichnungen von verschiedenen Standorten, indem sie deren Schichtgrenzen aneinander angleichen. Das Ergebnis sind so genannte Korrelationstafeln, die eine geologische Interpretation der Stratigraphie eines größeren Gebiets darstellen. Wir haben diese Erweiterung von PRo3D auf der IEEE VIS 2020 Konferenz vorgestellt (hier geht es zum IEEE VIS 2020-Paper Video und zur Publikation "InCorr: Interactive Data-Driven Correlation Panels for Digital Outcrop Analysis").
VRVis ist an der ESA-Mission HERA beteiligt, die Teil der gemeinsamen ESA-NASA-Mission AIDA (Asteroid Impact & Deflection Assessment) ist und sich mit der planetaren Verteidigung befasst. Ziel ist es zu testen, ob Asteroiden, die sich der Erde nähern, durch einen Impaktor abgelenkt werden können. Hierfür wird unser 3D-Viewer PRo3D erweitert, um die Daten der HERA-Instrumente zu analysieren, die für die Bewertung der Auswirkungen eines Einschlags unerlässlich sind. Mehr über das HERA-Projekt.
Bei Rover-Missionen zum Mars ist die Identifikation vielversprechender wissenschaftlicher Ziele von größter Bedeutung. Da die Planung von der Erde aus sehr schwierig ist, wäre die ideale Lösung, Mars-Rover dahingehend weiterzuentwickeln, dass sie zukünftig "selbstständig" vor Ort relevante Ziele für Messungen und Probenentnahmen erkennen können. Für das Training eines Deep Learning-Systems, das vom Projektpartner SLR entwickelt wurde, hat das VRVis darüber hinaus eine Methode geschaffen, um verschiedenste Bilder automatisch aus bestehenden Rekonstruktionen der Marsoberfläche zu rendern. Das DL-System wurde dabei auf die Erkennung von Strahlenkegeln (Shatter Cones) trainiert, die durch Asteroideneinschläge entstehen.
Publikation: Bechtold, Paar, Garolla, Nowak, Fritz, Traxler, Sidla, Köberl (2023): Planetary Scientific Target Detection via Deep Learning: A Case Study for Finding Shatter Cones in Mars Rover Images
Weltraumwetter und welche Auswirkungen z.B. Wetterphänomene wie Sonnenstürme auf die Erde haben kann, rückt als Forschungsfrage immer mehr in den Mittelpunkt. Aufgrund der hohen Komplexität ist dabei vor allem auch wichtig, das Thema sowohl für die Wissenschaft als auch für die interessierte Allgemeinheit verständlich aufzubereiten. Extended Reality bietet hier eine hervorragende Möglichkeit, um mithilfe von innovativen VR- und AR-Lösungen komplexe Wetterdaten niederschwellig zu visualisieren: für eine menschzentrierte Analyse, Simulation und Kommunikation.
Satellitenbilder beinhalten wichtige Informationen über die Erdoberfläche und die umliegende Atmosphäre, was sie nicht zuletzt zu wichtigen Datenquellen im Kampf gegen den Klimawandel macht. Zugleich fehlt vielen Satellitenbildern, vor allem frei und kostenlos verfügbaren, der nötige Detailgrad, um mit ihnen tatsächlich effizient arbeiten und forschen zu können. Das VRVis entwickelt hierfür KI-basierte Lösungen, die die Auflösung frei verfügbarer Satellitenbilder mithilfe von adaptierten Super Resolution Reconstruction-Methoden verfeinern. Das derzeitige Ziel der Forschungsarbeit ist, ein KI-gestütztes Monitoring von kleinstrukturierten Agrarflächen zu schaffen, das eine nachhaltige Landwirtschaft im Sinne des Europäischen Green Deals unterstützt.
Das im Rahmen von „AI for Green“-geförderte Forschungsprojekt entwickelt KI-basierte Lösungen für die Optimierung von freien Satellitendaten für das Monitoring von Agrarflächen aller Größen.
Das Ziel von PanCam-3D ist die Weiterentwicklung von interaktiven 3D-Visualisierungen für die ExoMars 2022-Mission.
WIBSTAC befasst sich mit der Nutzung von 3D-Stereo-Rekonstruktionen mit großem Durchmesser für die Kartierung der Marsoberfläche über mittlere und große Entfernungen basierend auf Bildern der Rover-Panoramakameras.
Das Forschungsprojekt CosmoWeather befasst sich mit der Entwicklung von VR- und AR-Lösungen für Forschung sowie Öffentlichkeit, um das Thema Weltraumwetter greifbarer und verständlicher zu machen.
Im Projekt "Mars-DL" wird erforscht, wie ein Deep Learning-System durch Objekt- und Mustererkennung die Arbeit von Planetenforscherinnen und -forschern unterstützen kann. VRVis hat für dieses Projekt die Funktionalität von PRo3D erweitert, um Shatter Cone-Trainingsbilder automatisch zu rendern.
Unterstützung für die Planetenforschung: Visuelle Analyse von Rekonstruktionen der Mars-Oberfläche und Ansichtsplanung für Rover-Kamerainstrumente.
Visuelle Analyse der Ablenkung eines Asteroiden.
Virtuelle Erkundung und geologische Analyse von rekonstruierten Marsoberflächen und Gesteinsaufschlüssen.
MINERVA ist ein integriertes Framework für die Planetenforschung, das es Wissenschaftlerinnen und Wissenschaftlern aus verschiedenen Teams ermöglicht, in virtuellen Arbeitsbereichen zusammenzuarbeiten.
Planetare Robotik Vision-Datenauswertung.
Strategische Forschung in skalierbarem, semantischem Rendering.