- Anzeige -
- Anzeige -
Lesedauer: 6min
Deep Learning mit Time-of-Flight Sensorik für Einsteiger

Jun 22, 2020 | Technologie

Die Kombination von Time-of-Flight Kameras und Deep Learning ermöglicht es komplexe Aufgaben zeit- und kosteneffizient zu lösen, da das Anlernen der neuralen Netze von der räumlichen Information stark profitiert. Zudem erlaubt die 3D-Punktwolke ein genaues Positionieren und Vermessen von Objekten.
Bild: Data Spree GmbH

Die Stärken von Deep Learning basierter Bildverarbeitung treten besonders bei einem hohen Variantenreichtum der zu untersuchenden Gegenstände auf. Ein gutes Beispiel hierfür ist die Sortierung und Verarbeitung von landwirtschaftlichen Erzeugnissen. Diese können sich in Form und Farbe stark voneinander unterscheiden, was klassische Bildverarbeitungsmethoden vor große Herausforderungen stellt. Zusätzlich erschweren oft unterschiedliche Lichtverhältnisse das Erstellen von generalisierten Lösungen, wodurch RGB-Kameras nur noch einen geringen Vorteil gegenüber Graustufenaufnahmen bieten. Abhilfe schaffen hier 3D-Kameras, wie die blaze von Basler, die über die Time-of-Flight (ToF) Methode nicht nur Graustufenaufnahmen als Intensitätsbild erzeugen, sondern zusätzlich, über Laufzeitmessungen von Lichtimpulsen im NIR, Distanzmessungen für jeden einzelnen Pixel vornehmen. Die resultierende Aufnahme kann anschließend als 2D-Tiefenbild oder als 3D-Punktwolke weiterverarbeitet werden und liefert zusätzliche Informationen über die abgebildete Szene. Im Vergleich zu 2D-RGB-Aufnahmen werden hier die Farbinformationen durch Forminformationen ersetzt, welches nicht nur Vorteile bei der gleichzeitigen Erkennung von roten und grünen Äpfeln hat, sondern zusätzliche Applikationen ermöglicht, wie z.B. das genau Positionieren und Vermessen der erkannten Objekte.

Bild 2: Mit der Deep Learning DS KI-Plattform von Data Spree können Echtzeitlösungen auch ohne jegliche Programmier- und Deep Learning Vorkenntnisse entwickelt werden.
Bild 2: Mit der Deep Learning DS KI-Plattform von Data Spree können Echtzeitlösungen auch ohne jegliche Programmier- und Deep Learning Vorkenntnisse entwickelt werden.Bild: Data Spree GmbH

Eigene Deep Learning Lösung

In einer Beispielanwendung für die Detektion und Klassifikation von Früchten sieht man, wie man mit der 3D-Kamera und der Deep Learning DS KI-Plattform von Data Spree eine Echtzeitlösung entwickelt, ohne jegliche Programmier- und Deep Learning Vorkenntnisse. Durch die Tageslichttauglichkeit und die IP67 Schutzklasse der Kamera lässt sich diese Lösung auch direkt auf mobilen Arbeitsmaschinen in rauen Umgebungen einsetzen. Allgemein lässt sich der Arbeitsablauf für die Erstellung von Deep Learning Modellen in fünf Abschnitte unterteilen:

– Datenakquise (Aufnahme von Beispielbildern)
– Annotation (Anreichern mit Metadaten)
– Training (Optimieren des Deep Neural Networks)
– Deployment (Ausführen des Netzes auf der Zielhardware)
– Kontinuierliche Verbesserung des neuronalen Netzes durch neue Daten

Da diese Schritte zunächst nach einer großen Herausforderung klingen, wurde mit Deep Learning DS eine Plattform entwickelt, um es dem Anwender so leicht wie möglich zu machen, in kürzester Zeit seine eigene Deep-Learning-Lösung zu entwickeln:

Datenakquise: Zunächst müssen Bilder von den Früchten aufgenommen werden, welche später erkannt und klassifiziert werden sollen. Für diese Anwendung wurden ca. 500 Bilder von Bananen, Äpfeln und Birnen aufgenommen. Die Aufnahmesoftware erstellt 2-Kanal-Bilddaten aus der Graustufen-Intensitätsaufnahme und dem Tiefenbild, welches für jeden Pixel den Abstand in Millimetern enthält. Die Bilddaten werden direkt in die Deep Learning Plattform geladen.

Annotation: Anschließend werden die Daten mit Metadaten angereichert. Dazu werden manuell Boxen um die Früchte gezeichnet und die entsprechende Kategorie (Apfel, Birne etc.) zugeordnet. Damit wird festgelegt, was das neuronale Netz im folgenden Schritt lernen soll. Der Prozess kann bereits nach circa 100 manuell annotierten Bildern beschleunigt werden, indem ein initiales Deep Learning Modell Vorschläge für die weiteren Aufnahmen generiert, die der Anwender anschließend nur noch korrigiert.

Training: Sind alle 500 Bilder annotiert, erfolgt über wenige Mausklicks die Erstellung und das Training eines weiteren Modells. Abhängig von der Datenmenge und der Komplexität der Aufgabe dauert dieser Prozess zwischen wenigen Stunden und einem Tag. Während des Trainings wird die Erkennungsgenauigkeit zyklisch auf einem vorenthaltenem Testdatensatz geprüft, um die aktuelle Güte des Modells abzuschätzen. Sobald eine hinreichende Genauigkeit erreicht ist, läuft das Training noch etwas weiter, um die Robustheit der Erkennung weiter zu verbessern.

Deployment und Inferenz: Sobald das Training abgeschlossen ist, wird das fertig trainierte Modell heruntergeladen und direkt über die Ausführungssoftware Inference DS ausgeführt. Zahlreiche USB-, Netzwerk- und gängigen Industriekameras sowie die blaze ToF Kamera (inklusive entsprechender Vorverarbeitung) sind bereits vollständig integriert, sodass die Deep Learning Applikation direkt gestartet werden kann. Mit der zusätzlichen Tiefeninformation der ToF-Kamera können die detektierten Früchte auch dreidimensional im Raum verortet werden, um z.B. in Sortieranlagen die genaue Position an einen Roboter zu übergeben.

Autor: Leonard Brix, Data Spree GmbH
Firma: Data Spree GmbH
www.data-spree.com

News

- Anzeige -

Weitere Beiträge

Das könnte Sie auch interessieren

Mit Machine Learning präzise Vorhersagen treffen

Viele Unternehmen haben das Potenzial selbstlernender Systeme, die Machine Learning benutzen, erkannt. Dieser Teilbereich der künstlichen Intelligenz basiert auf Algorithmen, die Muster und Gesetzmäßigkeiten in großen Datenmengen erkennen. Mithilfe neuronaler Netze lassen sich aus den Datenbeständen Rückschlüsse ziehen und Prognosen treffen. In vielen Branchen bereits etabliert, findet Machine Learning als Analyse- und Steuerungsinstrument nun auch zunehmend Anwendung in der Logistik. Ein Beispiel dafür ist die Verknüpfung des Microsoft Azure Machine Learning Studios mit Bestandsmanagement- oder ERP-Systemen. Mit diesen Lösungen lassen sich unter anderem Bestände und Bestellungen optimieren sowie Lagerprozesse erheblich verbessern.

mehr lesen

Studie von VDE und Bertelsmann Stiftung: KI-Ethik messbar machen

In einer neuen Studie zeigen die Technologieorganisation VDE und die Bertelsmann Stiftung, wie sich Ethikprinzipien für künstliche Intelligenz (KI) in die Praxis bringen lassen. Zwar gibt es eine Vielzahl an Initiativen, die ethische Richtlinien für die Gestaltung von KI veröffentlicht haben, allerdings bis dato kaum Lösungen für deren praktische Umsetzung. Genau hier setzt der VDE als Initiator und Leiter der ‚AI Ethics Impact Group‘ gemeinsam mit der Bertelsmann Stiftung an.

mehr lesen

KI in der medizinischen Diagnostik

Das Robotik Startup Robominds hat in Reaktion auf die aktuelle Corona-Pandemie eine Lösung entwickelt, die Roboterarme befähigt, Proben und Reagenzien für die medizinische Diagnostik vor zu sortieren. Auf Basis künstlicher Intelligenz erkennt das Soft-und Hardwaresystem Robobrain Position und Farbe der Probenröhrchen und kann diese ohne vorheriges Einlernen voll automatisiert vor- und einsortieren.

mehr lesen

Künstliche Intelligenz für ‚Beyond 5G‘

Während viele europäische Staaten gerade dabei sind, den Mobilfunk der 5. Generation aufzubauen, arbeitet die Forschung bereits an seiner Optimierung. Denn obwohl 5G seinen Vorgängern weit überlegen ist, hat auch der neueste Mobilfunkstandard noch Verbesserungspotenzial: Besonders in urbanen Gebieten, in denen ein direkter Sichtkontakt zwischen Sender und Empfänger erschwert ist, funktioniert die Funkverbindung oftmals noch nicht zuverlässig. In dem kürzlich gestarteten EU-Projekt Ariadne erforschen nun elf europäische Partner, wie sich durch die Nutzung von hohen Frequenzbändern und künstlicher Intelligenz eine fortschrittliche Systemarchitektur für »Beyond 5G« entwickeln lässt.

mehr lesen

Schutz der Privatsphäre und KI in Kommunikationssystemen

Alle zwei Jahre vergeben der VDE, die Deutsche Telekom sowie die Städte Friedrichsdorf und Gelnhausen den mit 10.000 Euro dotierten Johann-Philipp-Reis-Preis an einen Nachwuchswissenschaftler. Dieses Jahr geht er an Prof. Dr.-Ing. Delphine Reinhardt von der Georg-August-Universität Göttingen und an Dr.-Ing. Jakob Hoydis von den Nokia Bell Labs in Nozay, Frankreich. Die beiden Preisträger teilen sich die Auszeichnung und damit das Preisgeld.

Infor bringt Infor Coleman AI auf den Markt

Infor, Anbieter von branchenspezifischer Business-Software für die Cloud, hat bekanntgegeben, dass die Plattform Infor Coleman AI für Embedded-Machine-Learning-Modelle ab sofort verfügbar ist. Sie bietet die Geschwindigkeit, Wiederholbarkeit und Personalisierung, die Unternehmen benötigen, um KI vollständig zu operationalisieren.