Intelligent entwickeln

Intelligent
entwickeln

Entwicklung von Multi-Kamera-Systemen für autonome Fahrzeuge

Bild: Avnet EM EMEA

Für die Entwicklung von Embedded Vision Systemen zur Steuerung autonomer Fahrzeuge bietet Avnet Silica Lösungen an, die mit Tools und Referenzdesigns gebündelt werden, um die Systementwicklung zu beschleunigen.
Eine der größten Herausforderungen bei der Entwicklung von Bildverarbeitungssystemen für autonome Fahrzeuge besteht im Umgang mit den sehr großen Datenmengen, die von mehreren Kameras und Sensoren erzeugt werden. Die in Fahrzeugen verwendeten Fahrerassistenzsysteme (ADAS) verfügen heute über mehrere Kameras sowie Radar- und LIDAR-Sensoren, um ein Sichtfeld von 360° zu erzeugen. Auf dem Weg hin zu mehr Fahrzeugautonomie wird die Anzahl der verwendeten Kameras weiter zunehmen, ihre Auflösung von 1 auf 8MP und die Bildraten von heute 10 bis 30 auf 60fps ansteigen. Ähnlich verhält es sich mit UAVs oder Drohnen, die ihre Umgebung mit mehreren Kameras erfassen und mit anwendungsspezifischen Sensoren ausgestattet sind. Die Visionsysteme müssen zudem einen hohen Grad an funktionaler Sicherheit und Zuverlässigkeit bieten und zahlreiche Funktionen unterstützen wie die Echtzeitausführung mit niedriger Latenzzeit, einen geringen Stromverbrauch, Flexibilität beim Arbeiten mit unterschiedlichen Kamerakonfigurationen und umfangreiche Möglichkeiten zur Implementierung von Vision- und Maschin Learning Algorithmen zur Objekterkennung, -klassifizierung und -verifizierung. Bildverarbeitungssysteme für Fahrzeuge müssen zudem Automotive-qualifiziert sein, d.h. die verwendeten Bauelemente über einen relativ langen Produktlebenszyklus und in Automotive-Qualitätsklassen erhältlich sein. Entwickler müssen daher sicherstellen, dass ein einfacher Übergang von den Entwicklungssystemen, auf denen sie ihre Hardware- und Software entwickeln und testen, zu qualifizierten kommerziellen Systemen möglich ist.

Die Software-Herausforderung

Auf der Softwareseite ist die Menge an Daten, die verwaltet werden muss, sehr groß und die Arbeit mit den heterogenen Multiprozessor-Systemen, die zur Verarbeitung dieser Daten erforderlich sind, vergrößert die Software-Komplexität nochmals. Zudem entwickelt sich Machine Learning extrem schnell, sodass es sehr wahrscheinlich ist, dass zentrale Code-Teile später im Entwicklungsprojekt überarbeitet werden müssen. Zuverlässigkeits- und Sicherheitsaspekte erschweren den Entwicklungsprozess zusätzlich. Eine der wesentlichen Aufgaben ist die Zusammenführung der Eingangssignale verschiedener Sensoren (Sensorfusion), z.B. Bildsensoren, LIDAR und Radarsensoren in einem Fahrzeug, um Defizite einzelner Sensoren zu korrigieren und genauere Ergebnisse zu ermöglichen. Ist die Endanwendung z.B. eine Kollisionsvermeidung, muss die Sensorfusion mit geringer Latenz erfolgen. Die zweite große Softwareaufgabe besteht in der Implementierung effizienter Machine Learning Algorithmen, um die Objekterkennung, -klassifizierung und -verifizierung durchzuführen, wie sie für ein autonomes Fahrzeug erforderlich ist.

Eine Entwicklungslösung

Die Entwicklung eines Bildverarbeitungssystems für autonome Fahrzeuge erfordert viel Experimentieren mit realen Daten und eine Systemoptimierung zwischen Hardware, Software, Computer Vision und Machine Learning Aspekten des Designs. Entwickler benötigen daher Tools, die sie dabei unterstützen, Kompromisse zu finden, um die Entwicklungsdauer und das Entwicklungsrisiko zu minimieren. Die neue Entwicklungslösung beinhaltet ein Embedded Vision System mit mehreren Kameras und umfasst eine Entwurfsmethodik, die Hardwareplattform, Softwareumgebung, Treiber, sowie den Zugriff auf Beispiel-Algorithmen und Implementierungen für Computer Vision, Machine Learning und Implementierungen. Die Hardware unterstützt bis zu sechs Kameras, das aktuelle Design hat vier 2MP-Kameras und wird zukünftig um zwei weitere 8MP-Kameras erweitert. Es basiert auf einem Xilinx Zynq UltraScale+ MPSoC, der einen Quad-Core ARM Cortex-A53 64-Bit-Prozessor sowie eine FPGA Logikstruktur enthält. Die Kameras werden über Koaxialkabel mit bis zu 15m mit einem Deserialisierer für mehrere Kameras auf einer FPGA-Mezzanine-Karte (FMC) verbunden. Das Modul wird auf eine Platine aufgesteckt, auf der sich der MPSoC befindet. Die SoCs sind mit verschiedenen CPUs und optional mit einer GPU und zusätzlichen Hardware-Videocodecs erhältlich. Sie bieten außerdem eine programmierbare FPGA Logikstruktur, die sich als Hardwarebeschleuniger für rechenintensive Algorithmen oder für weitere Funktionen verwenden lässt, z.B. über die Verwendung von IP-Blöcken von Xilinx oder Drittanbietern.

Seiten: 1 2Auf einer Seite lesen

Avnet EMG GmbH

Das könnte Sie auch Interessieren

Bild: Fraunhofer IEM
Bild: Fraunhofer IEM
Effiziente Produktionsplanung: KI reduziert Aufwand bei Schulte Kartonagen um 25%

Effiziente Produktionsplanung: KI reduziert Aufwand bei Schulte Kartonagen um 25%

Welcher Liefertermin steht wann an? Wie aufwändig muss die Maschine umgerüstet werden? Ist das benötigte Material bereits geliefert? Um die Reihenfolge verschiedener Kundenaufträge optimal zu planen, müssen Produktionsplaner:innen eine Vielzahl von Faktoren kennen und einschätzen. Bei Schulte Kartonagen hat ab sofort ein intelligenter KI-Assistent alle Faktoren im Blick – und macht Vorschläge für die effiziente Planung der Produktion. Gefördert wurde die Zusammenarbeit mit dem Fraunhofer IEM und den Universitäten Paderborn und Bielefeld im it’s OWL-Projekt ARISE.

Bild: schoesslers GmbH
Bild: schoesslers GmbH
appliedAI Institute for Europe launcht kostenlosen KI-Onlinekurs

appliedAI Institute for Europe launcht kostenlosen KI-Onlinekurs

Das gemeinnützige appliedAI Institute for Europe stellt den kostenfreien Online-Kurs ‚AI Essentials‘ zur Verfügung, der es Interessierten ermöglicht, in die Welt der Künstlichen Intelligenz einzusteigen. Konzepte wie maschinelles Lernen und Deep-Learning sowie deren Anwendungsmöglichkeiten und Auswirkungen auf unser Leben und unsere Wirtschaft sind Teile der umfassenden Einführung.

Bild: Trumpf SE + Co. KG
Bild: Trumpf SE + Co. KG
Künstliche Intelligenz macht Fabriken clever

Künstliche Intelligenz macht Fabriken clever

Seit dem Siegeszug des Chatbots ChatGPT ist künstliche Intelligenz in aller Munde. Auch in der industriellen Produktionstechnik kommt KI mit großen Schritten voran. Lernende Maschinen machen die Fertigung effizienter. Wie funktioniert das genau? Das können Interessierte auf der EMO Hannover 2023 vom 18. bis 23. September erfahren. Die Weltleitmesse für Produktionstechnologie wird ihr Fachpublikum unter dem Claim ‚Innovate Manufacturing‘. mit frischen Ideen inspirieren und künstliche Intelligenz spielt dabei ihre Stärken aus.

Bild: Mitsubishi Electric Corporation, Japan
Bild: Mitsubishi Electric Corporation, Japan
KI-gestütztes Analysetool für moderne Produktionslinien

KI-gestütztes Analysetool für moderne Produktionslinien

Das Data-Science-Tool Melsoft MaiLab von Mitsubishi soll Unternehmen bei der Digitalisierung ihrer Fertigung und unterstützen und so deren Produktivität steigern. Die neue Lösung ist eine intuitive, bedienerzentrierte Plattform, die KI nutzt, um Abläufe automatisch zu verbessern. Sei es Abfallvermeidung durch geringere Ausschussmengen, weniger Stillstandszeiten durch vorbeugende Wartung oder Senkung des Energieverbrauchs durch Prozessoptimierung.

Bild: Fraunhofer IGD
Bild: Fraunhofer IGD
Software Arrange beschleunigt Absortierprozesse

Software Arrange beschleunigt Absortierprozesse

In Kombination mit einer Augmented-Reality-Brille bietet eine neue Software des Fraunhofer IGD digitale Unterstützung von Absortiervorgängen. Zusammengehörige Bauteile werden direkt im Sichtfeld der Beschäftigten an der Produktionslinie farblich überlagert. Anwender im Automotive-Bereich können so etwa durch beschleunigte Prozesse und eine minimierte Fehleranfälligkeit Kosten reduzieren.