Unser Portfolio

• Erklärbare Entscheidungen

• Analyse von Mammographie-Daten

• Segmentierung von Weichteiltumoren in Multimodalen Daten

• Tuberkulose-Detektion durch KI-gestützte Screenings

• Segmentierung und Annotation von Blutgefäßen

• Generelle Ansätze zur Merkmalsdetektion und Segmentierung von Organen

• Vollautomatische semantische Annotation der Wirbelsäule

• Herzanalyse

• Mehrere Patente zu KI

Erklärbare Entscheidungen

Ein Deep Learning-basiertes Klassifikationsergebnis eines radiologischen Bildes, etwa in Kategorien wie "krank" oder "gesund", ist für den Nutzer bzw. die Nutzerin zunächst nicht nachvollziehbar. Neuronale Netze agieren als "Black Box" – die gelernten Merkmale eines Bildes, die zur Entscheidung des Netzwerkes führen, sind für den Menschen nicht interpretierbar.

VRVis entwickelt Methoden, die die Grundlagen für solche Entscheidungen eines neuronalen Netzes für den Nutzer bzw. die Nutzerin sichtbar machen. Diese Methoden geben nicht nur medizinischem Fachpersonal ein zusätzliches Feedback über die Sicherheit der Entscheidung, sondern helfen auch Entwicklerinnen und Entwickler, die Qualität des trainierten Netzwerkes zu überprüfen.

Publikation

• M. Wimmer, G. Sluiter, D. Major, D. Lenis, A. Berg, T. Neubauer, K. Bühler (2021): Multi-task fusion for improving mammography screening data classification. IEEE Transactions on Medical Imaging.

• D. Major, D. Lenis, M. Wimmer, G. Sluiter, A. Berg, and K. Bühler, "Interpreting medical image classifiers by optimization based counterfactual impact analysis," IEEE International Symposium on Biomedical Imaging, Iowa City, 2020.

• D. Lenis, D. Major, M. Wimmer, A. Berg, G. Sluiter, K. Bühler (2020): "Domain aware medical image classifier interpretation by counterfactual impact analysis," International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI) 2020.

Videos

• Explainable AI: Interpreting Mammography Image Classifiers
• Interpreting Medical Image Classifiers by Optimization Based Counterfactual Impact Analysis

• Domain Aware Medical Image Classifier Interpretation by Counterfactual Impact Analysis

Medienbericht

• "XAI – Vertrauenswürdige Künstliche Intelligenz: Das Denken der Neuronalen Netze verstehen lernen", in: APA Science (11/2022)

Analyse von Mammographie-Daten

Brustkrebs ist weltweit die am häufigsten auftretende Krebsart bei Frauen. Daher ist die genaue Analyse von Mammographie-Bildern eine wichtige Aufgabe in der Radiologie, da besonders das frühzeitige Erkennen von Risikofaktoren und verdächtigen Veränderungen der Brust von großer Bedeutung für eine erfolgreiche Therapie sind.

In Kooperation mit unserem langjährigen Partner Agfa HealthCare haben wir verschiedene Deep Learning-Ansätze für die Analyse von Mammographie-Daten entwickelt, die den Workflow einer radiologischen Befundung auf verschiedenen Entscheidungsebenen unterstützen. Dafür wurden mehrere Deep Learning-Modelle kombiniert, die sich jeweils auf spezifische medizinische Fragestellungen fokussieren, wie beispielsweise die Detektion krankhafter Läsionen und Mikroverkalkungen oder ob eine Patientin dichteres Brustgewebe besitzt. Dadurch können wir insgesamt eine verbesserte Aussage auf Patientenebene treffen. Der aufgabenspezifische Aufbau der Lösung und die Möglichkeit auch auf Teilentscheidungen zuzugreifen, erhöht gleichzeitig die Erklärbarkeit und damit das Vertrauen in die Gesamtentscheidung. Um das Vertrauen in einzelne Black-Box Deep Learning-Komponenten unseres Modells und deren Entscheidungen zu stärken, wurden von uns weitere neue Methoden für die Erklärbarkeit von KI-Entscheidungen entwickelt.

Publikation

• M. Wimmer, G. Sluiter, D. Major, D. Lenis, A. Berg, T. Neubauer, K. Bühler (2021): Multi-task fusion for improving mammography screening data classification. IEEE Transactions on Medical Imaging.

Videos

• Explainable AI: Interpreting Mammography Image Classifiers

Segmentierung von Weichteiltumoren in Multimodalen Daten

Die exakte Segmentierung von Weichteiltumoren in multimodalen Daten ist in verschiedenen Bereichen der Medizin von großer Bedeutung, zum Beispiel für die Operations- und Biopsieplanung oder in der Radiotherapie. Hierfür werden multimodale Daten aufgenommen, wie MRI und PET/CT, wobei die Segmentierung der Tumore je nach Modalität und medizinischer Fragestellung unterschiedlich sein kann.

In Kooperation mit der Medizinischen Universität Wien haben wir verschiedene Methoden zur Segmentierung von Weichteiltumoren entwickelt und verglichen. Wir haben uns hierbei speziell auf die Modalitäts- und Fragestellungs-abhängige Tumorsegmentierung fokussiert, und wie wir mit der Fusion multimodaler Daten die Qualität der Segmentierung verbessern können.

Publikationen

• T. Neubauer, M. Wimmer, A. Berg, D. Major, D. Lenis, T. Beyer, J. Saponjski, K. Bühler, "Soft Tissue Sarcoma Co-segmentation in Combined MRI and PET/CT Data", Multimodal Learning for Clinical Decision Support Workshop at MICCAI, 2020

• T. Neubauer, "Volumetric Tumor Segmentation on Multimodal Medical Images using Deep Learning" Master's Thesis

Videos

• Soft Tissue Sarcoma Co-Segmentation in Combined MRI and PET/CT Data

Tuberkulose-Detektion durch KI-gestützte Screenings

Um medizinisches Fachpersonal bei Patientenscreenings zur Erkennung von Tuberkuloseinfektionen zu unterstützen, hat VRVis gemeinsam mit Agfa Healthcare eine Deep Learning-basierte Anwendung entwickelt. Diese hilft gerade bei großen Patientenzahlen, erkrankte Personen schneller zu identifizieren, und so weitere Diagnose und Behandlungsabläufe zu optimieren.

• Pressemeldung

Medizinische Bildregistrierung

Die Registrierung von medizinischen Bildern ist ein wichtiger Bestandteil von medizinischen Analyse-Workflows. Sie ermöglicht es, verschiedene Bilder eines oder mehrerer Patienten direkt vergleichbar zu analysieren, indem die Bilder in dasselbe Koordinatensystem transferiert werden. Die Registrierung ist notwendig, um Bilder zwischen verschiedenen Zeitpunkten aufgenommenen Studien oder zwischen verschiedenen Modalitäten zu vergleichen.

Das VRVis entwickelte in Koorperation mit seinen Partnern aus der Medizin Methoden zur klassischen und Deep Learning-basierten Bildregistrierung und untersuchte insbesondere, wie Visualisierung Registrierungsworkflows unterstützen und Probleme aufzeigen kann.

Publikationen

• A. Berg , E. Vandersmissen , M. Wimmer , D. Major , T. Neubauer , D. Lenis , J. Cant , A. Snoeckx , K. Bühler (2023): Employing similarity to highlight differences: On the impact of anatomical assumptions in chest X-ray registration methods. Computers in Biology and Medicine.
• M. Schlachter , T. Fechter , M. Jurisic , T. Schimek-Jasch , O. Oehlke , S. Adebahr , W. Birkfellner , U. Nestle , K. Bühler (2016): Visualization of Deformable Image Registration Quality using Local Image Dissimilarity. IEEE Transactions on Medical Imaging.

Segmentierung und Annotation von Blutgefäßen

Arteriosklerose ist laut WHO weltweit die Todesursache Nummer 1. Eine detaillierte Analyse von Blutgefäßen in 3D-Angiographien sind im Allgemeinen sehr zeitaufwändig. VRVis hat gemeinsam mit AGFA Healthcare mehrere Methoden zur effizienten semi- und vollautomatischen Segmentierung von peripheren und koronaren Blutgefäßen, sowie deren semantischer Annotation, entwickelt, die teilweise sowohl prämiert als auch hochkarätig publiziert, patentiert und in Produkte unseres Kunden integriert wurden.

Auswahl an Publikationen

• A. Novikov, D. Major, M. Wimmer, G. Sluiter, and K. Bühler, "Automated Anatomy-Based Tracking of Systemic Arteries in Arbitrary Field-of-View CTA Scans," IEEE Trans. Med. Imaging, vol. 36, no. 6, pp. 1359–1371, 2017.

• D. Major, A. Novikov, M. Wimmer, J. Hladuvka, and K. Bühler, "Automated Slice-Based Artery Identification in Various Field-of-View CTA Scans," presented at the Eurographics Workshop on Visual Computing for Biology and Medicine, 2015, pp. 123–129.

• A. Novikov, M. Wimmer, D. Major, and K. Bühler, "A Two-Level Cascade Classification Algorithm for Real-Time Bifurcation Detection in CTA Images of Blood Vessels," presented at the Eurographics Workshop on Visual Computing for Biology and Medicine, 2015.

• S. Zambal, J. Hladuvka, A. Kanitsar, and K. Bühler, "Shape and Appearance Models for Automatic Coronary Artery Tracking," MICCAI 2008 Contest: 3D Segmentation in Clinic: A Grand Challange, 2008. (Gewinner in zwei Kategorien)

• P. Felkel, R. Wegenkittl, and K. Bühler, "Surface Models of Tube Trees," Proceedings of CGI -Computer Graphics International, pp. pp. 70–77, 2004.

Generelle Ansätze zur Merkmalsdetektion und Segmentierung von Organen

VRVis hat etliche grundlegende Methoden zur medizinischen Bildanalyse entwickelt und patentieren lassen. Darunter vielzitierte KI-Methoden zur gleichzeitigen Segmentierung mehrerer Objekte auf Röntgenbildern, sequenzielle Segmentierungsverfahren für CT-Bilddaten, effiziente Feature-Detektionsverfahren, sowie mehrere Grundlagenmethoden für statistische Form- und Texturmodelle, die z.B. auch heute noch in Kombination mit KI-Methoden für komplexe Aufgaben in der Organsegmentierung zur Anwendung kommen.

Auswahl an Publikationen

• A. Novikov, D. Major, M. Wimmer, D. Lenis, and K. Bühler, "Deep Sequential Segmentation of Organs in Volumetric Medical Scans," IEEE Trans. Med. Imaging, vol. 38, no. 5, pp. 1207–1215, May 2019.

• A. Novikov, D. Lenis, D. Major, J. Hladuvka, M. Wimmer, and K. Bühler, "Fully Convolutional Architectures for Multi-Class Segmentation in Chest Radiographs," IEEE Trans. Med. Imaging, vol. 37, no. 8, pp. 1865–1876, Aug. 2018.

• F. Schulze, D. Major, and K. Bühler, "Fast and Memory Efficient Feature Detection using Multiresolution Probabilistic Boosting Trees," Journal of WSCG, vol. 19, no. 1, pp. 33–40, 2011.

• S. Zambal, K. Bühler, and J. Hladuvka, "Entropy-Optimized Texture Models," Med Image Comput Comput Assist Interv, vol. 11, no. 2, pp. 213–221, 2008.

• J. Beyer, C. Langer, L. Fritz, S. Wolfsberger, and K. Bühler, "Interactive Diffusion Based Smoothing and Segmentation of Volumetric Datasets on Graphics Hardware," Journal Methods of Information in Medicine 2007, pp. 270–274, 2007.

• J. Hladuvka and K. Bühler, "MDL Spline Models: Gradients and Polynomial Reparametrizations," Proceedings of BMVC - British Machine Vision Conference, pp. 869–878, 2005.

Vollautomatische semantische Annotation der Wirbelsäule

Die Wirbelsäule ist ein wichtiges Referenzsystem im menschlichen Körper, um bei einer radiologischen Untersuchung die Lage von Pathologien zu beschreiben. Dafür muss die anatomische Bezeichnung für jeden sichtbaren Wirbel im Bild bekannt sein. Diese muss in vielen Ländern von Radiologinnen und Radiologen manuell auf dem Bild eingetragen werden – eine zeitaufwändige Arbeit, die Radiologinnen und Radiologen zusätzlich zur eigentlichen Diagnose in einem knappen Zeitrahmen erledigen müssen. VRVis hat eine Gruppe von Algorithmen entwickelt, die menschliche Wirbel auf verschiedenen MR- und CT-Scans unabhängig vom Bildausschnitt vollautomatisch erkennen und anatomisch korrekt annotieren kann. Diese wichtige maschinelle Vorarbeit erleichtert Radiologinnen und Radiologen die Arbeit und verschafft mehr Zeit für die Diagnoseerstellung.

Auswahl an Publikationen

• D. Major, J. Hladuvka, F. Schulze, and K. Bühler, "Automated Landmarking and Labeling of Fully and Partially Scanned Spinal Columns in CT Images," Med Image Anal, vol. 17, no. 8, pp. pp. 1151–1163, 2013.

• M. Wimmer, D. Major, A. A. Novikov, and K. Bühler, "Fully automatic cross-modality localization and labeling of vertebral bodies and intervertebral discs in 3D spinal images," Int. J. Computer Assisted Radiology and Surgery, vol. 13, no. 10, pp. 1591–1603, 2018.

• J. Hladuvka, D. Major, and K. Bühler, "Bone Profiles: Simple, Fast, and Reliable Spine Localization in CT Scans," Lecture Notes in Computational Vision and Biomechanics, vol. 20, no. 15, Cham: Springer International Publishing, 2015, pp. 173–184.

Herzanalyse

Herz-Kreislauf-Erkrankungen sind heute auch in Österreich die häufigste Todesursache. Eine detaillierte Analyse von (zeitabhängigen) 3D-Bilddaten des schlagenden Herzens und der Koronararterien eines Patienten ist extrem zeitaufwändig. Vollautomatische Methoden, die die Quantifizierung von Pathologien des Herzens erleichtern, können daher stark zur Beschleunigung der Befundung durch den Radiologen bzw. die Radiologin beitragen. VRVis hat bereits mehrere Lösungen für die Segmentierung der Herzkammern auf CT- und MR-Bildern sowie eine prämierte Lösung zur vollautomatischen Segmentierung von Koronararterien entwickelt.

Auswahl an Publikationen

• A. Grünauer, S. Zambal, and K. Bühler, "Detektion von Koronararterien: Das Beste aus zwei Welten," in Proceedings of Bildverarbeitung für die Medizin 2011, pp. 269–273, 2011.

• S. Zambal, A. Schöllhuber, K. Bühler, and J. Hladuvka, "Fast and robust localization of the heart in cardiac MRI series," Proceedings of the International Conference on Computer Vision Theory and Applications (Visapp 2008), pp. 314–316, 2008.

• S. Zambal, J. Hladuvka, A. Kanitsar, and K. Bühler, "Shape and Appearance Models for Automatic Coronary Artery Tracking," MICCAI 2008 Contest: 3D Segmentation in Clinic: A Grand Challange, 2008.

• S. Zambal, J. Hladuvka, and K. Bühler, "A fully automatic system for segmentation and analysis of the left and right ventricles of the heart using a bi-temporal two-component model," Proceedings of CARS 2007 (Computer Assisted Radiology Surgery), 2007.

• S. Zambal, J. Hladuvka, and K. Bühler, "Improving Segmentation of the Left Ventricle Using a Two-Component Statistical Model," MICCAI, vol. 4190, no. 19, pp. 151–158, 2006.