Reinforced Learning in der Fertigungsplanung

Ablösung für die Heuristik

Bild: ©ipopba/stock.adobe.com

Im Zuge des weltweiten Wettbewerbsdrucks müssen Unternehmen ihre Fertigung immer flexibler gestalten und planen. Ein wesentliches Ziel der Fertigungsplanung stellt daher eine optimale Auslastung der Produktion dar. Künstliche Intelligenz (KI) kann dabei ein nützliches Werkzeug sein. Der Einsatz von Reinforcement Learning in der Fertigungsplanung soll dies veranschaulichen.

Muss ein Fertigungsplaner 500 Arbeitsgänge einplanen, stehen ihm 101000 mögliche Reihenfolgen für die Arbeitsgänge zur Verfügung. Das sind mehr, als es Atome im Universum gibt. Weitere Faktoren, welche die Produktion beeinflussen, sind beispielsweise Werkzeuge, Material und Personal. Diese Restriktionen müssen für eine optimale Auslastung ebenfalls berücksichtigt werden.

Heutige Fertigungsplanung

Bereits heute bieten Manufacturing-Execution-Systeme (MES) Funktionen zur automatischen Planung von Fertigungsaufträgen an. Auf Basis von Heuristiken kann eine automatische Zuweisung von Aufträgen und deren Arbeitsgängen auf die Arbeitsplätze und Maschinen erfolgen. Heuristiken haben das Ziel, mit begrenztem Wissen und wenig Zeit ein praktikables Ergebnis zu erzielen. Aufgrund der in der Vergangenheit verfügbaren Rechnerleistungen war die heuristische Planung lange Zeit die beste mathematische Herangehensweise, die für die automatische Planung einsetzbar war. Die Heuristik setzt dabei im Wesentlichen auf eine Schritt-für-Schritt-Planung. Demnach wird ein Arbeitsgang nach dem anderen bestmöglich gemäß feststehender Vorgaben eingeplant. Hierbei wird nur bedingt berücksichtigt, welche Arbeitsgänge noch einzuplanen sind und wie sich die Planungsaktion des aktuellen Arbeitsgangs auf zukünftige Arbeitsgänge auswirkt. Auch werden bereits getroffene Planungsentscheidungen nur unter bestimmten Bedingungen hinterfragt oder rückgängig gemacht. Das resultierende Planungsergebnis kennzeichnet sich oftmals durch hohe Rüstaufwände, lange Durchlaufzeiten und daraus resultierend Terminverzüge.

Fertigungsplanung mit KI

In der heutigen Zeit sind jedoch deutlich leistungsfähigere Rechner verfügbar als früher, mit denen signifikant größere Datenmengen verarbeitet und immer bessere Algorithmen entwickelt werden können. Mit der Weiterentwicklung der Technik kann nun ein entscheidender Schritt in Richtung optimale Fertigungsplanung gemacht werden. Durch die Integration von KI ins MES kann eine Automatisierung von intelligentem Verhalten umgesetzt werden. Reinforcement Learning ermöglicht eine intelligente und ganzheitliche Planung der Fertigung. Im Gegensatz zum schrittweisen Vorgehen der Heuristik, werden nun zahlreiche Entscheidungsmöglichkeiten geprüft, bevor eine endgültige Planungsentscheidung getroffen wird. Reinforcement Learning, was als verstärkendes Lernen übersetzt werden kann, bewertet die getroffenen Entscheidungen, hinterfragt diese und lernt daraus. Der Algorithmus lernt somit mit jeder Entscheidung Neues über die vorhandenen Daten und kann bei jeder durchzuführenden Planungsentscheidung bessere Entscheidungen treffen. Hierbei werden nicht alle Planungsentscheidungsmöglichkeiten geprüft, sondern aktiv nur diejenigen, die gute Ergebnisse liefern werden. Daraus resultiert eine weitsichtige Entscheidungsfindung unter Berücksichtigung von noch durchzuführenden Planungsaktionen.

Wie geht Reinforcement Learning?

Beim Reinforcement Learning soll einem Computerprogramm ein Verhalten antrainiert werden, das dem Verhalten eines Menschen entsprechen könnte. Es funktioniert über Belohnungen und Bestrafungen je nachdem welche Handlungsweise das Programm aus verschiedenen Möglichkeiten wählt. Dadurch soll das Programm lernen, wie es sich in bestimmten Situationen verhalten sollte, ohne dass man ihm direkt für jede Situation sagen muss, wie es reagieren soll. Die Vorgehensweise kann mit dem Erziehen eines Hundes verglichen werden: Immer wenn das Tier etwas richtig gemacht hat, bekommt es ein Leckerli – wenn nicht, dann nicht. Der Hund wird folglich versuchen, so viel wie möglich richtig zu machen, um möglichst viele Leckerlis zu bekommen. Auf ähnliche Weise funktioniert Reinforcement Learning und nähert sich so sukzessive einem Optimum an – nur eben ohne Leckerli.

Anwendung in der Praxis

Dieses Vorgehen einer intelligenten Fertigungsplanung bringt enorme Vorteile mit sich. Faktoren wie Aufträge, Arbeitsplätze, Transportwege, Rüstzeiten, begrenzte Ressourcen sowie Personalverfügbarkeiten werden bereits bei der Entscheidungsfindung berücksichtigt und führen zu einer globalen Optimierung. Auf diese Weise werden Rüstzeiten minimiert, Durchlaufzeiten gekürzt und Termintreue erhöht. Bei Einsatz einer Lösung wie der kognitiven Planung und Optimierung von MPDV kann der Anwender zudem selbst modellieren, welche planungsrelevanten Faktoren von der künstlichen Intelligenz berücksichtigt werden sollen. So können Personalkosten minimiert oder eine Materialverfügbarkeitsprüfung durchgeführt werden.

Vergleich heutiger Planungsalgorithmen mit der KI-basierten kognitiven Planung (Bild: Aimes GmbH)

Beispiel Engpassressource

Ein fiktives Praxisbeispiel soll den Nutzen verdeutlichen: Bei einem Fertigungsunternehmen befindet sich in der Mitte des Fertigungsprozesses ein Ofen, der den Engpass der gesamten Fertigung darstellt. Ziel der Fertigungsplanung ist es, den Ofen selbst optimal auszulasten, sowie die vor- und nachgelagerten Prozessschritte optimal an dem Engpass auszurichten. Die zur Planung eingesetzte KI wird bei der Suche der optimalen Planungsentscheidungen früh erkennen, dass der Ofen den Engpass der Fertigung darstellt. Sie wird diese Erkenntnis bei allen späteren Entscheidungsfindungen berücksichtigen. Alle weiteren Planungsprüfungen werden den Ofen bestmöglich auslasten und anschließend die vor- und nachgelagerten Fertigungsbereiche verbessern.