- Anzeige -
- Anzeige -
- Anzeige -
- Anzeige -
Lesedauer: 6min
Deep Learning mit Time-of-Flight Sensorik für Einsteiger

Jun 22, 2020 | Technologie

Die Kombination von Time-of-Flight Kameras und Deep Learning ermöglicht es komplexe Aufgaben zeit- und kosteneffizient zu lösen, da das Anlernen der neuralen Netze von der räumlichen Information stark profitiert. Zudem erlaubt die 3D-Punktwolke ein genaues Positionieren und Vermessen von Objekten.
Bild: Data Spree GmbH

Die Stärken von Deep Learning basierter Bildverarbeitung treten besonders bei einem hohen Variantenreichtum der zu untersuchenden Gegenstände auf. Ein gutes Beispiel hierfür ist die Sortierung und Verarbeitung von landwirtschaftlichen Erzeugnissen. Diese können sich in Form und Farbe stark voneinander unterscheiden, was klassische Bildverarbeitungsmethoden vor große Herausforderungen stellt. Zusätzlich erschweren oft unterschiedliche Lichtverhältnisse das Erstellen von generalisierten Lösungen, wodurch RGB-Kameras nur noch einen geringen Vorteil gegenüber Graustufenaufnahmen bieten. Abhilfe schaffen hier 3D-Kameras, wie die blaze von Basler, die über die Time-of-Flight (ToF) Methode nicht nur Graustufenaufnahmen als Intensitätsbild erzeugen, sondern zusätzlich, über Laufzeitmessungen von Lichtimpulsen im NIR, Distanzmessungen für jeden einzelnen Pixel vornehmen. Die resultierende Aufnahme kann anschließend als 2D-Tiefenbild oder als 3D-Punktwolke weiterverarbeitet werden und liefert zusätzliche Informationen über die abgebildete Szene. Im Vergleich zu 2D-RGB-Aufnahmen werden hier die Farbinformationen durch Forminformationen ersetzt, welches nicht nur Vorteile bei der gleichzeitigen Erkennung von roten und grünen Äpfeln hat, sondern zusätzliche Applikationen ermöglicht, wie z.B. das genau Positionieren und Vermessen der erkannten Objekte.

Bild 2: Mit der Deep Learning DS KI-Plattform von Data Spree können Echtzeitlösungen auch ohne jegliche Programmier- und Deep Learning Vorkenntnisse entwickelt werden.
Bild 2: Mit der Deep Learning DS KI-Plattform von Data Spree können Echtzeitlösungen auch ohne jegliche Programmier- und Deep Learning Vorkenntnisse entwickelt werden.Bild: Data Spree GmbH

Eigene Deep Learning Lösung

In einer Beispielanwendung für die Detektion und Klassifikation von Früchten sieht man, wie man mit der 3D-Kamera und der Deep Learning DS KI-Plattform von Data Spree eine Echtzeitlösung entwickelt, ohne jegliche Programmier- und Deep Learning Vorkenntnisse. Durch die Tageslichttauglichkeit und die IP67 Schutzklasse der Kamera lässt sich diese Lösung auch direkt auf mobilen Arbeitsmaschinen in rauen Umgebungen einsetzen. Allgemein lässt sich der Arbeitsablauf für die Erstellung von Deep Learning Modellen in fünf Abschnitte unterteilen:

– Datenakquise (Aufnahme von Beispielbildern)
– Annotation (Anreichern mit Metadaten)
– Training (Optimieren des Deep Neural Networks)
– Deployment (Ausführen des Netzes auf der Zielhardware)
– Kontinuierliche Verbesserung des neuronalen Netzes durch neue Daten

Da diese Schritte zunächst nach einer großen Herausforderung klingen, wurde mit Deep Learning DS eine Plattform entwickelt, um es dem Anwender so leicht wie möglich zu machen, in kürzester Zeit seine eigene Deep-Learning-Lösung zu entwickeln:

Datenakquise: Zunächst müssen Bilder von den Früchten aufgenommen werden, welche später erkannt und klassifiziert werden sollen. Für diese Anwendung wurden ca. 500 Bilder von Bananen, Äpfeln und Birnen aufgenommen. Die Aufnahmesoftware erstellt 2-Kanal-Bilddaten aus der Graustufen-Intensitätsaufnahme und dem Tiefenbild, welches für jeden Pixel den Abstand in Millimetern enthält. Die Bilddaten werden direkt in die Deep Learning Plattform geladen.

Annotation: Anschließend werden die Daten mit Metadaten angereichert. Dazu werden manuell Boxen um die Früchte gezeichnet und die entsprechende Kategorie (Apfel, Birne etc.) zugeordnet. Damit wird festgelegt, was das neuronale Netz im folgenden Schritt lernen soll. Der Prozess kann bereits nach circa 100 manuell annotierten Bildern beschleunigt werden, indem ein initiales Deep Learning Modell Vorschläge für die weiteren Aufnahmen generiert, die der Anwender anschließend nur noch korrigiert.

Training: Sind alle 500 Bilder annotiert, erfolgt über wenige Mausklicks die Erstellung und das Training eines weiteren Modells. Abhängig von der Datenmenge und der Komplexität der Aufgabe dauert dieser Prozess zwischen wenigen Stunden und einem Tag. Während des Trainings wird die Erkennungsgenauigkeit zyklisch auf einem vorenthaltenem Testdatensatz geprüft, um die aktuelle Güte des Modells abzuschätzen. Sobald eine hinreichende Genauigkeit erreicht ist, läuft das Training noch etwas weiter, um die Robustheit der Erkennung weiter zu verbessern.

Deployment und Inferenz: Sobald das Training abgeschlossen ist, wird das fertig trainierte Modell heruntergeladen und direkt über die Ausführungssoftware Inference DS ausgeführt. Zahlreiche USB-, Netzwerk- und gängigen Industriekameras sowie die blaze ToF Kamera (inklusive entsprechender Vorverarbeitung) sind bereits vollständig integriert, sodass die Deep Learning Applikation direkt gestartet werden kann. Mit der zusätzlichen Tiefeninformation der ToF-Kamera können die detektierten Früchte auch dreidimensional im Raum verortet werden, um z.B. in Sortieranlagen die genaue Position an einen Roboter zu übergeben.

Autor: Leonard Brix, Data Spree GmbH
Firma: Data Spree GmbH
www.data-spree.com
- Anzeige -

News

- Anzeige -

Weitere Beiträge

Das könnte Sie auch interessieren

Wie KI in der Krise Wirtschaftsleistung unterstützen kann

Künstliche Intelligenz hat einen großen Einfluss auf die Zeit in der Corona-Krise, aber auch nach der Krise ist sie sehr hilfreich. Claudia Bünte ist Expertin auf dem Gebiet der KI und Professorin für ‚International Business Administration‘ mit Schwerpunkt Marketing an der SRH in Berlin. 2016 gründete sie die Marketingberatung ‚Kaiserscholle – Center of Marketing Excellence‘ und berät Top-Manager in Kernfragen der Markenführung und des Marketings.

mehr lesen

Digitalisierung und künstliche Intelligenz optimieren Prozessanlagen

Digitalisierung und künstliche Intelligenz (KI) eröffnen auch in der Prozessautomatisierung Perspektiven für Einsparungen in allen Phasen des Lebenszyklus einer Anlage. Schon verfügbar ist ein digitales Feldgerät, das Festo Motion Terminal VTEM. Auch Dashboards von Festo visualisieren Anlagenzustände und selbst künstliche Intelligenz ist in der Prozessautomatisierung keine ferne Zukunftsmusik mehr.

mehr lesen

Künstliche Intelligenz gezielt in der Wertschöpfung einsetzen

Die Wettbewerbsfähigkeit deutscher produzierender Unternehmen hängt heute mehr denn je von der Fähig-keit ab, komplexen Herausforderungen wie volatilen Märkten effektiv zu begegnen. Insbesondere im industri-ellen Kontext ergeben sich durch eine stetig wachsende Datenverfügbarkeit sowie verbesserte Analysemög-lichkeiten erhebliche Potenziale: „Artificial Intelligence“ (AI), zu Deutsch „Künstliche Intelligenz“ (KI), ermög-licht die Verarbeitung großer Datenmengen und kann dabei helfen, Prognosen abzuleiten und die Entschei-dungsfindung zu erleichtern. Um diese Potenziale abrufen zu können, müssen Unternehmen befähigt wer-den, Künstliche Intelligenz in der Wertschöpfung gezielt einzusetzen.

mehr lesen

Quantensprung für die künstliche Intelligenz

Quantencomputer werden die künstliche Intelligenz und das Maschinelle Lernen tiefgreifend verändern und völlig neue Anwendungsmöglichkeiten erschließen. In einer Studie erläutern Experten der Fraunhofer-Allianz Big Data und künstliche Intelligenz gemeinsam mit wissenschaftlichen Partnern, wie Quantencomputer Verfahren des Maschinellen Lernens beschleunigen können und welche Potenziale ihr Einsatz in Industrie und Gesellschaft mit sich bringen wird. Die Studie stellt grundlegende Konzepte und Technologien des Quantencomputings vor, analysiert die aktuelle Forschungs- und Kompetenzlandschaft und zeigt Marktpotenziale auf.

mehr lesen

KI-Studie 2020: Das Fremdeln des Top-Managements mit KI

Künstliche Intelligenz ist eine wichtige Technologie, von der sich Unternehmen handfeste Wettbewerbsvorteile versprechen. Das ist das Ergebnis einer aktuellen Studie des IT-Dienstleisters Adesso unter Führungskräften. Konkrete Projekte haben allerdings bislang nur wenige Firmen umgesetzt. Besonders zurückhaltend zeigt sich bei dem Thema das Top-Management.

mehr lesen

Schutz der Privatsphäre und KI in Kommunikationssystemen

Alle zwei Jahre vergeben der VDE, die Deutsche Telekom sowie die Städte Friedrichsdorf und Gelnhausen den mit 10.000 Euro dotierten Johann-Philipp-Reis-Preis an einen Nachwuchswissenschaftler. Dieses Jahr geht er an Prof. Dr.-Ing. Delphine Reinhardt von der Georg-August-Universität Göttingen und an Dr.-Ing. Jakob Hoydis von den Nokia Bell Labs in Nozay, Frankreich. Die beiden Preisträger teilen sich die Auszeichnung und damit das Preisgeld.

Infor bringt Infor Coleman AI auf den Markt

Infor, Anbieter von branchenspezifischer Business-Software für die Cloud, hat bekanntgegeben, dass die Plattform Infor Coleman AI für Embedded-Machine-Learning-Modelle ab sofort verfügbar ist. Sie bietet die Geschwindigkeit, Wiederholbarkeit und Personalisierung, die Unternehmen benötigen, um KI vollständig zu operationalisieren.