Simulationsmodelle der Virtuellen Inbetriebnahme als Lernumgebung für Reinforcement Learning Algorithmen

Artikelserie Stuttgarter Innovationstage (Teil 1): Selbstlernende Steuerungssysteme

Die Umstellung eines Produktionssystems, z.B. einer Roboterzelle, auf ein neues Produkt muss künftig schnell und mit wenig Aufwand möglich sein. Die Steuerungssysteme, sowie die zugehörigen Engineering Methoden, müssen dabei intelligent und lernfähig werden, manuelle Aufwände in der Entwicklung zu reduzieren. Die virtuelle Inbetriebnahme stellt eine geeignete Lernumgebung dar, in der sich das Steuerungssystem mit Methoden der künstlichen Intelligenz selbst programmiert. Dafür müssen die Simulationswerkzeuge erweitert und möglichst standardisierte Schnittstellen geschaffen werden.

 Vergleich der Architektur von X-in-the-Loop-Simulation (a) und Reinforcement-Learning-Ansatz (b)
Vergleich der Architektur von X-in-the-Loop-Simulation (a) und Reinforcement-Learning-Ansatz (b)Bild: Institut für Steuerungstechnik der Werkzeugmaschinen und Fertigungseinrichtungen (ISW)

In vielen Industriebereichen steigt die Produktvarianz, was bedeutet, dass produzierende Unternehmen auch bei kleineren Losgrößen weiterhin effizient sein müssen. Besonders für kleine und mittelständische Firmen steigen die Herausforderungen dabei effizient und automatisiert produzieren zu können. Zudem sind kleine Unternehmen oftmals Teil einer größeren Wertschöpfungskette. Sie müssen dadurch schnell und unter hoher Termintreue reagieren können und ihr Produktionssystem auf eine neue Variante umstellen können. Problematisch ist zumeist nicht die Automatisierung von Produktionsprozessen an sich, sondern diese möglichst effizient zu erreichen. Besonders wichtig für kleine Losgrößen ist es, den Aufwand des Engineerings für alle an der Automatisierung beteiligten Systeme gering zu halten. Dabei hilft der zunehmende Trend zum Software-Defined-Manufacturing. Funktionen, die früher spezielle Hardware benötigten, werden zunehmend auf die Softwareseite der Automatisierung verlagert. Ein wichtiges Werkzeug für der Softwareentwickler im Bereich Produktionstechnik ist deshalb die virtuelle Inbetriebnahme (VIBN) mit ihren Simulationsmodellen.

Erleichterung für Entwickler

Die Simulationsmodelle stehen früher zur Verfügung als ein realer Aufbau des Produktionssystems, der beim Kunden oder auf eigenen Flächen in Betrieb genommen wird. Die Steuerungsentwicklung kann zeitlich und räumlich verlagert werden, was die Arbeit des Entwicklers erleichtert. Durch das simulierte System erhält er früher eine Entwicklungs- und Testumgebung. Eine solche Umgebung wird als X-in-the-Loop-System bezeichnet, in der ein Testobjekt X (das Steuerungssystem), mithilfe einer Feedback-Schleife iterativ entwickelt und verbessert werden kann. Das iterative Vorgehen wird durch den Entwickler vorangetrieben, der durch direktes Austesten eines Entwicklungsschritts Feedback erhält und darauf basierend den nächsten Schritt plant und umsetzt. Das iterative Vorgehen bei der Entwicklung am X-in-the-Loop-System unterscheidet sich im Grundsatz jedoch kaum von einer konventionellen Entwicklung ohne Simulationsmodelle. Egal ob das Feedback nun aus der Simulation oder noch vom realen System kommt, die Iterationen hin zur passenden Steuerungslösung sind nach wie vor vom Entwickler manuell durchzuführen. Ein Ansatz welcher die Iterationen mithilfe der Simulation selbstständig durchführt und so automatisiert zur Lösung kommt, wäre eine deutliche Erleichterung für den Entwickler und kann dadurch die Effizienz des Engineerings erheblich steigern.

 Die VIBN-Simulationsumgebung ISG-Virtuos ist 1:1 als OpenAI Gym verwendbar, um Lernalgorithmen ohne Anpassung verwenden zu können.
Die VIBN-Simulationsumgebung ISG-Virtuos ist 1:1 als OpenAI Gym verwendbar, um Lernalgorithmen ohne Anpassung verwenden zu können.Bild: Institut für Steuerungstechnik der Werkzeugmaschinen und Fertigungseinrichtungen (ISW)

Reinforcement Learning als Ansatz

Eine solcher Ansatz zur selbständigen Iteration und Lösungsfindung am X-in-the-Loop-System ist Reinforcement Learning. Dieser Begriff steht für eine Klasse von Problemen, für die eine Vielzahl von Methoden im Bereich des maschinellem Lernens zur Verfügung stehen. Dabei interagiert ein lernfähiges Programm, ein sogenannter Agent mit einer bekannten oder unbekannten Umgebung (engl. Environment). Der Agent sieht die Umgebung über bestimmte Zustandsvariablen und kann über definierte Aktionen Einfluss auf seine Umgebung ausüben. Er lernt dabei laufend dazu und passt sich an, indem er für jede Iteration eine Belohnung oder Bestrafung als numerischem Feedback von der Umgebung erhält. Das Ziel des Agenten ist es die Belohnung auf lange Sicht zu maximieren. Reinforcement Learning hat in vielen, oftmals noch nicht-kommerziellen, Bereichen beeindruckende Ergebnisse erzielt. Bekannte Beispiele sind Videospiele, oder Simulationen von Brettspielen wie Schach oder Go als Lernumgebung, in denen Agenten, über die einfache Maximierung eines Punktestands, auch die fähigsten Menschen weit übertreffen konnten. Entscheidend für Reinforcement Learning ist die Lernumgebung innerhalb derer der Agent interagieren kann. Für Produktionssysteme scheidet das reale System aus, da der Agent während des Lernens unweigerlich Fehler machen muss. Diese Fehler wären kostenintensiv und teilweise gefährlich für das Produktionssystem. Daher müssen simulierte Lernumgebungen geschaffen werden, oder noch besser, bereits bestehende Simulationsumgebungen müssen so erweitert werden, dass sie den Anforderungen des Reinforcement Learning gerecht werden.

Testumgebung als Lernumgebung

Der vorgestellte Lösungsansatz basiert auf der strukturellen Ähnlichkeit zwischen der X-in-the-Loop-Simulation und Reinforcement Learning. Die Idee besteht darin, die Entwicklungs- und Testumgebung so zu erweitern, dass sie vom Funktionsumfang einer Lernumgebung entsprechen kann. Der Agent agiert als Steuerungssystem in der X-in-the-Loop-Struktur. Ziel ist es die Abläufe und damit die Programmierung der Steuerung zu erlernen und diese anschließend auf das Steuerungssystem zu übertragen. Die Kommunikation der Soll/Ist-Werte zwischen den simulierten Komponenten und der Steuerung muss in die für Reinforcement Learning übliche Struktur mit Zuständen und Aktionen eingepasst werden. Als Ergänzung zu der X-in-the-Loop Struktur muss eine spezifische Belohnungsfunktion integriert werden, um das Reinforcement Learning Problem vollständig zu definieren. Die Belohnungsfunktion muss dabei als Zielstellung vom Steuerungsentwickler vorgegeben werden. Der Agent ist dadurch in der Lage selbstständig, in seinem über die Aktionen definierten Lösungsraum, iterativ eine Strategie zu finden, um den in der Lernumgebung vorgegebenen Anwendungsfall optimal zu lösen.

 Die Simulationsmodelle der virtuellen Inbetriebnahme sind eine geeignete Lernumgebung für verschiedene Anwendungsfälle der Produktionstechnik.
Die Simulationsmodelle der virtuellen Inbetriebnahme sind eine geeignete Lernumgebung für verschiedene Anwendungsfälle der Produktionstechnik.Bild: Institut für Steuerungstechnik der Werkzeugmaschinen und Fertigungseinrichtungen (ISW)

Schnittstelle zum VIBN-Werkzeug

Um Reinforcement Learning für Produktionssysteme nutzbar zu machen ist es wichtig auf bereits existierende Ansätze und vor allem Software-Bibliotheken zurückzugreifen. Der Steuerungsentwickler soll in die Lage versetzt werden aktuellen Methoden und Algorithmen integrieren zu können, ohne diese selbst zu entwickeln oder anzupassen. Wichtig dafür ist es, die Lernumgebung an bestehenden Standards zu orientieren. OpenAI, Google und Microsoft stellen standardisierte Lernumgebungen als Bibliothek als zur Verfügung um eigene Lernalgorithmen zu valideren und zu vergleichen. Das am häufigsten verwendete Toolkit, OpenAI Gym, stellt Open-Source-Lernumgebungen für Computerspiele, physikbasierte Simulationen oder klassische Steuerungs- und Regelungsprobleme zur Verfügung. Es definiert dadurch einen DeFacto-Standard für Lernumgebungen, in Bezug auf den Aufbau und die Schnittstellen. Besonders interessant ist die Tatsache, dass für eine solche OpenAI-Gym-Lernumgebung auch Open-Source-Algorithmen (OpenAI Baselines) zur Verfügung stehen, die aktuelle Entwicklungen und Fortschritte aus der Forschung beinhalten. Diese Algorithmen werden in verschiedenen Communitys laufend verbessert und erweitert und sind auf eine Vielzahl von Anwendungsfällen anwendbar, solange die zugehörigen Lernumgebungen dem OpenAI-Standard entsprechen.

Lernumgebung für Zeilensteuerung und Motion

Durch entsprechende Erweiterungen eines VIBN-Simulationswerkzeuges, sodass der OpenAI-Standard eingehalten werden kann, stehen folglich eine Vielzahl von Lernalgorithmen zur Verfügung. Am ISW der Uni Stuttgart wurde eine entsprechende Lösung in Verbindung mit einem VIBN-Simulationswerkzeug entwickelt. Für die Erfüllung des OpenAI-Standards waren dabei bestimmte Funktionen des Werkzeugs gegeben. Es muss eine Schnittstelle für den Austausch von Signalen, zwischen dem Agenten und der Simulation bestehen. Üblicherweise existieren bei VIBN-Simulationswerkzeugen dazu Schnittstellen auf Feldbusebene, um denselben Kommunikationsweg wie am realen System zu realisieren. Für eine VIBN-Lernumgebung müssen jedoch weitere relevante Funktionen wie das Starten, Stoppen und Resetten von Simulationen sowie das Parametrieren von Simulationsmodellen realisiert werden. Daher wurde auf Basis einer Remote-Schnittstelle des VIBN-Simulationswerkzeuges eine spezielle Kommunikationsschnittstelle entwickelt, welche den OpenAI-Standards entspricht. Die entwickelte VIBN-Lernumgebung wurde bisher für einfache Logiksteuerungen (Zellensteuerung) und Bewegungssteuerungen (Motion) für Robotersysteme getestet.

Steuerungstechnik aus der Cloud? Der damals kontrovers diskutierte Ansatz wurde vor fünf Jahren erstmals umfangreich auf der Fachtagung Stuttgarter Innovationstage präsentiert. Zum fünfjährigen Jubiläum werden Experten und Anwender am 2. und 3. März 2021 in einer Podiumsdiskussion die Fortschritte der Steuerungstechnik aus der Cloud und reale Anwendungsfälle aufzeigen. Zusätzlich geben an beiden Tagen die Schwerpunktthemen Software Defined Manufacuturing und Intelligente Produktion Einblicke in aktuelle Trends und Entwicklungen. Die Fachvorträge und der direkte Kontakt zu den geladenen Experten aus den Fachbereichen der IT und Automatisierungstechnik ermöglichen den interdisziplinären Austausch mit den Gestaltern der Steuerungstechnik von morgen. Weitere Infos zur Fachtagung unter www.stuttgarter-innovationstage.de

Artikelserie Stuttgarter Innovationstage

Teil1: Selbstlernende Steuerungssysteme (SPS-MAGAZIN 10/2020)

Teil2: Umati für Werkzeugmaschinen (SPS-MAGAZIN 11/2020)

Teil3: KI-basierte Qualitätsüberwachung (SPS-MAGAZIN 13/2020)

Teil4: Computer Vision in der Steuerung (SPS-MAGAZIN 1/2021)

ISW Institut für Steuerungstechnik der

Das könnte Sie auch Interessieren

Bild: Fraunhofer IEM
Bild: Fraunhofer IEM
Effiziente Produktionsplanung: KI reduziert Aufwand bei Schulte Kartonagen um 25%

Effiziente Produktionsplanung: KI reduziert Aufwand bei Schulte Kartonagen um 25%

Welcher Liefertermin steht wann an? Wie aufwändig muss die Maschine umgerüstet werden? Ist das benötigte Material bereits geliefert? Um die Reihenfolge verschiedener Kundenaufträge optimal zu planen, müssen Produktionsplaner:innen eine Vielzahl von Faktoren kennen und einschätzen. Bei Schulte Kartonagen hat ab sofort ein intelligenter KI-Assistent alle Faktoren im Blick – und macht Vorschläge für die effiziente Planung der Produktion. Gefördert wurde die Zusammenarbeit mit dem Fraunhofer IEM und den Universitäten Paderborn und Bielefeld im it’s OWL-Projekt ARISE.

Bild: schoesslers GmbH
Bild: schoesslers GmbH
appliedAI Institute for Europe launcht kostenlosen KI-Onlinekurs

appliedAI Institute for Europe launcht kostenlosen KI-Onlinekurs

Das gemeinnützige appliedAI Institute for Europe stellt den kostenfreien Online-Kurs ‚AI Essentials‘ zur Verfügung, der es Interessierten ermöglicht, in die Welt der Künstlichen Intelligenz einzusteigen. Konzepte wie maschinelles Lernen und Deep-Learning sowie deren Anwendungsmöglichkeiten und Auswirkungen auf unser Leben und unsere Wirtschaft sind Teile der umfassenden Einführung.

Bild: Trumpf SE + Co. KG
Bild: Trumpf SE + Co. KG
Künstliche Intelligenz macht Fabriken clever

Künstliche Intelligenz macht Fabriken clever

Seit dem Siegeszug des Chatbots ChatGPT ist künstliche Intelligenz in aller Munde. Auch in der industriellen Produktionstechnik kommt KI mit großen Schritten voran. Lernende Maschinen machen die Fertigung effizienter. Wie funktioniert das genau? Das können Interessierte auf der EMO Hannover 2023 vom 18. bis 23. September erfahren. Die Weltleitmesse für Produktionstechnologie wird ihr Fachpublikum unter dem Claim ‚Innovate Manufacturing‘. mit frischen Ideen inspirieren und künstliche Intelligenz spielt dabei ihre Stärken aus.

Bild: Mitsubishi Electric Corporation, Japan
Bild: Mitsubishi Electric Corporation, Japan
KI-gestütztes Analysetool für moderne Produktionslinien

KI-gestütztes Analysetool für moderne Produktionslinien

Das Data-Science-Tool Melsoft MaiLab von Mitsubishi soll Unternehmen bei der Digitalisierung ihrer Fertigung und unterstützen und so deren Produktivität steigern. Die neue Lösung ist eine intuitive, bedienerzentrierte Plattform, die KI nutzt, um Abläufe automatisch zu verbessern. Sei es Abfallvermeidung durch geringere Ausschussmengen, weniger Stillstandszeiten durch vorbeugende Wartung oder Senkung des Energieverbrauchs durch Prozessoptimierung.

Bild: Fraunhofer IGD
Bild: Fraunhofer IGD
Software Arrange beschleunigt Absortierprozesse

Software Arrange beschleunigt Absortierprozesse

In Kombination mit einer Augmented-Reality-Brille bietet eine neue Software des Fraunhofer IGD digitale Unterstützung von Absortiervorgängen. Zusammengehörige Bauteile werden direkt im Sichtfeld der Beschäftigten an der Produktionslinie farblich überlagert. Anwender im Automotive-Bereich können so etwa durch beschleunigte Prozesse und eine minimierte Fehleranfälligkeit Kosten reduzieren.