High-Speed-Sortierung mit KI und FPGA-Framegrabbern

Eine herausfordernde Anwendung bei der Kunststoffverarbeitung ist die Erkennung von Stippen (punktförmige Materialveränderung) bis zu einer Größe von 50µm. Derzeitige Technologien bieten meist nicht die Kombination aus hoher Bandbreite und geringer Latenz, die Voraussetzung für den benötigten Durchsatz und die gewünschte Sortierqualität sind.
Bild: MSTVision GmbH

Eine passende Lösung hierfür ist die von MSTVision 2018 vorgestellte Technologieplattform, die auf programmierbaren FPGA-Framegrabbern von Basler basiert und mit Komponenten von MSTVision ergänzt wird. Dabei übernimmt der Framegrabber die Bilderfassung einer Zeilenkamera, eine einfache Bildauswertung und die zeitlich hochgenau verzögerte Ansteuerung von Aktuatoren. Bei der voll ausgenutzten Bandbreite der CameraLink-Schnittstelle von 800MByte/s können äußerst kurze Responsezeiten von 1ms erreicht werden. Im Zusammenspiel mit den von MSTVision bereitgestellten Elektronikkomponenten sind je Framegrabber bis zu 1.024 Aktuatoren/Schnellschaltventile steuerbar (inVision 5/18 ‚Materialsortierung mit FPGA-Framegrabber und Trigger Boards‘). In den vergangenen drei Jahren hat keine Kundenanfrage diese Technologieplattform an ihre (Geschwindigkeits-)Grenzen gebracht. Dies änderte sich durch das Projekt mit der Firma Sense2Sort. Um den ambitionierten Vorgaben des Endkunden möglichst nahe zu kommen, musste bei allen Komponenten das technisch machbare Limit ausgereizt werden. Die erfolgreiche Portierung der Technologie von CameraLink auf CoaXPress und damit den Framegrabber microEnable 5 ironman VQ8-CXP6D ermöglichte noch einmal deutlich höhere Datenraten. So konnte eine Zeilenkamera mit 16k Auflösung und einer maximalen Zeilenfrequenz von 140kHz eingesetzt werden.

Theoretisch eine Million Objekte pro Sekunde

In einer ersten experimentellen Phase wurden unterschiedliche Beleuchtungsanordnungen und Auflösungen zunächst mit Matrixkameras evaluiert. Eine Kombination aus Dunkel- und Hellfeldbeleuchtung zeigte vielversprechende Ergebnisse. In einer anschließenden zweiten Phase wurde dann gezeigt, dass dieser Ansatz auch in eine Zeilenkameraanordnung überführt werden konnte. Nach Freigabe durch den Endkunden wurde daraufhin ein Prototyp ausgelegt und aufgebaut. Um die hohen Zeilenraten zu ermöglichen, war für das Dunkelfeld der Einsatz von zwei wassergekühlten Linienleuchten von MTD mit 3,5MLux je Leuchte notwendig. Ein Ausschnitt des Prototyps ist in Bild 2 zu sehen. Zur Analyse des Materialflusses und zur Optimierung der Ansprechzeiten der Aktorik war der Prototyp mit einer zusätzlichen High-Speed-Kamera ausgestattet. Die praktischen Versuche zeigten, dass auch bei der erhöhten Datenrate die gewohnten Responsezeiten realisiert werden konnten und so theoretisch eine Million Objekte pro Sekunde sortiert werden könnten. Leider traten bereits bei geringeren Geschwindigkeiten Probleme im Materialstrom auf, durch die eine ausreichende Sortierqualität nicht mehr sichergestellt werden konnte. Aktuell werden daher weitere Optimierungen des Materialtransports diskutiert. Parallel arbeitet MSTVision daran, leistungsstärkere und flexiblere Algorithmen im Framegrabber einsetzen zu können. Aktuell sind nur einfache klassische Methoden (Schwellwerte, Morphologie, …) verfügbar. Der extreme Geschwindigkeitsvorteil kann daher nur für Anwendungen ausgeschöpft werden, deren Problemstellungen mit den vorhandenen Algorithmen zu bewältigen sind.

Bild: MSTVision GmbH

Hybride Bildverarbeitung auf FPGAs

Um auch komplexere Aufgaben lösen zu können, wurde zusammen mit dem Institut für Industrielle Informationstechnik des Karlsruher Instituts für Technologie (KIT) und Basler eine Kooperation im Projekt ‚Hybride Bildverarbeitung auf FPGAs‘ begonnen. Ziel des vom BMWi geförderten ZIM-Projektes ist es, klassische Bildverarbeitungsmethoden so mit Machine Learning Methoden (CNNs) zu kombinieren, dass deren Vorteile auch bei kurzen Latenzzeiten (2,4GByte/s) genutzt werden können. Im ersten Schritt werden dazu Schnittstellen erarbeitet, um vorhandene AI-Lösungen auf GPUs oder CPUs mit der Geschwindigkeit der MSTVision Sorting Technologie zu kombinieren. Ziel des zweiten Schritts ist es, den Ressourcenbedarf der CNNs so zu verringern, dass die Anwendung wieder vollständig im Framegrabber der aktuellen Generation oder spätestens der nächsten Generation umgesetzt werden kann. Diese Methoden sollen dann auch für die Oberflächeninspektion verfügbar gemacht werden und mit den zeilenkamerabasierten Computational Imaging Methoden (Bilderfassung mit zeitlichem Multiplexing, SWIR, Photometric Stereo…) kombinierbar sein, die MSTVision als Funktion für die Basler Framegrabber anbietet.

Das könnte Sie auch Interessieren

Bild: Fraunhofer IEM
Bild: Fraunhofer IEM
Effiziente Produktionsplanung: KI reduziert Aufwand bei Schulte Kartonagen um 25%

Effiziente Produktionsplanung: KI reduziert Aufwand bei Schulte Kartonagen um 25%

Welcher Liefertermin steht wann an? Wie aufwändig muss die Maschine umgerüstet werden? Ist das benötigte Material bereits geliefert? Um die Reihenfolge verschiedener Kundenaufträge optimal zu planen, müssen Produktionsplaner:innen eine Vielzahl von Faktoren kennen und einschätzen. Bei Schulte Kartonagen hat ab sofort ein intelligenter KI-Assistent alle Faktoren im Blick – und macht Vorschläge für die effiziente Planung der Produktion. Gefördert wurde die Zusammenarbeit mit dem Fraunhofer IEM und den Universitäten Paderborn und Bielefeld im it’s OWL-Projekt ARISE.

Bild: schoesslers GmbH
Bild: schoesslers GmbH
appliedAI Institute for Europe launcht kostenlosen KI-Onlinekurs

appliedAI Institute for Europe launcht kostenlosen KI-Onlinekurs

Das gemeinnützige appliedAI Institute for Europe stellt den kostenfreien Online-Kurs ‚AI Essentials‘ zur Verfügung, der es Interessierten ermöglicht, in die Welt der Künstlichen Intelligenz einzusteigen. Konzepte wie maschinelles Lernen und Deep-Learning sowie deren Anwendungsmöglichkeiten und Auswirkungen auf unser Leben und unsere Wirtschaft sind Teile der umfassenden Einführung.

Bild: Trumpf SE + Co. KG
Bild: Trumpf SE + Co. KG
Künstliche Intelligenz macht Fabriken clever

Künstliche Intelligenz macht Fabriken clever

Seit dem Siegeszug des Chatbots ChatGPT ist künstliche Intelligenz in aller Munde. Auch in der industriellen Produktionstechnik kommt KI mit großen Schritten voran. Lernende Maschinen machen die Fertigung effizienter. Wie funktioniert das genau? Das können Interessierte auf der EMO Hannover 2023 vom 18. bis 23. September erfahren. Die Weltleitmesse für Produktionstechnologie wird ihr Fachpublikum unter dem Claim ‚Innovate Manufacturing‘. mit frischen Ideen inspirieren und künstliche Intelligenz spielt dabei ihre Stärken aus.

Bild: Mitsubishi Electric Corporation, Japan
Bild: Mitsubishi Electric Corporation, Japan
KI-gestütztes Analysetool für moderne Produktionslinien

KI-gestütztes Analysetool für moderne Produktionslinien

Das Data-Science-Tool Melsoft MaiLab von Mitsubishi soll Unternehmen bei der Digitalisierung ihrer Fertigung und unterstützen und so deren Produktivität steigern. Die neue Lösung ist eine intuitive, bedienerzentrierte Plattform, die KI nutzt, um Abläufe automatisch zu verbessern. Sei es Abfallvermeidung durch geringere Ausschussmengen, weniger Stillstandszeiten durch vorbeugende Wartung oder Senkung des Energieverbrauchs durch Prozessoptimierung.

Bild: Fraunhofer IGD
Bild: Fraunhofer IGD
Software Arrange beschleunigt Absortierprozesse

Software Arrange beschleunigt Absortierprozesse

In Kombination mit einer Augmented-Reality-Brille bietet eine neue Software des Fraunhofer IGD digitale Unterstützung von Absortiervorgängen. Zusammengehörige Bauteile werden direkt im Sichtfeld der Beschäftigten an der Produktionslinie farblich überlagert. Anwender im Automotive-Bereich können so etwa durch beschleunigte Prozesse und eine minimierte Fehleranfälligkeit Kosten reduzieren.