Forschungsprojekte

Die Komplexität von Produktions- und Logistiksystemen in Unternehmen jeder Größe, insbesondere im Bereich der datenintensiven Industrie 4.0, wird zunehmend größer. Die Entwicklung von innovativen Lösungen für die optimale Planung und Kontrolle komplexer Steuerungsprobleme ist entscheidend, um mit dieser wachsenden Komplexität Schritt zu halten.

In der Analyse und Steuerung komplexer Systeme setzt sich Machine Learning (ML) sowohl in der Forschung als auch in der Industrie zunehmend durch, da ML die Lernfähigkeit des Menschen mittels Computeralgorithmen nachahmen kann. In Bereichen wie prädiktiver Wartung, Robotik, Verkehrsüberwachung oder der optimierten Steuerung von Transportsystemen hat sich die ML-Subform Reinforcement Learning (RL) in den letzten Jahren als besonders effektiv erwiesen. Um jedoch wirklich auf reale Herausforderungen anwendbar zu sein, muss RL weiter untersucht werden. In diesem Sinne wird sich das REINFORCE-Team eingehend mit den Potenzialen des Reinforcement Learning für die Lösung komplexer Steuerungsprobleme befassen, mit Schwerpunkt auf intelligenten Fahrsystemen.

Forschungsziele und Use Cases

REINFORCE wird spezielle Methoden des Reinforcement Learning für Steuerung und Planung intelligenter Logistiksysteme entwickeln. Ein zentraler Fokus ist, die Art und Weise, wie automatisierte Systeme lernen und welche Faktoren den Lernprozess beeinflussen, für den Menschen besser verständlich zu machen. Anhand von zwei praktischen Use Cases aus dem Bereich dynamischer Systeme soll das Anwendungspotenzial von Reinforcement Learning evaluiert werden, da insbesondere in komplexen Systemen wie diesem etablierte Entscheidungsmethoden zunehmend an ihre Grenzen stoßen.

Ergänzend zur Erforschung der technischen Aspekte des Reinforcement Learning, wie z.B. der Entwicklung von Algorithmen für dynamische Systemszenarien, beschäftigt sich das REINFORCE-Projekt auch mit menschenzentrierten und wirtschaftlichen Fragestellungen. Die Interpretierbarkeit der Ergebnisse, der Wissenstransfer an die Fachkräfte und die Vertrauenswürdigkeit des Systems bzw. der Lösungen sind entscheidende Faktoren dafür, ob die entwickelten ML-basierten Problemlösungsagenten auch tatsächlich in der Praxis als Entscheidungswerkzeuge eingesetzt werden. Die Resultate des Pilotprojekts sollen außerdem als Grundlage für allgemeine Richtlinien für die Implementierung von Reinforcement Learning zur Lösung von Planungs- und Steuerungsproblemen in einem breiten Spektrum von Produktions- und Logistiksystemen dienen.

Zentrale Projektaufgaben des VRVis

Auf Grundlage der langjährigen Erfahrung des VRVis auf den Gebieten Visual Analytics und Explainable AI, mit dem Schwerpunkt, Menschen in datengetriebene Entscheidungsprozesse einzubinden, werden sich unsere Forschenden in erster Linie mit den Themen Explainability und User Empowerment beschäftigen. Ziel ist es, visuell-grafische Benutzeroberflächen zu erarbeiten, die es dem Menschen ermöglichen, die Lernprozesse von RL-Agenten zu verstehen und zu bewerten. Kern dieser Forschungsarbeit ist die Entwicklung humanzentrierter, webbasierter Dashboards, die u.a. die Entscheidungsfindung des RL-Agenten bezüglich bestimmter Strategien, die Vertrauenswürdigkeit dieser Vorgehensweisen sowie eine Übersicht über die Konsequenzen verschiedener Handlungsoptionen darstellen.