Skalierbare Rechenleistung für ML, DL, Inferencing
Damit KI-Lösungen, die auf Deep Learning, Machine Learning und Inferencing aufsetzen und ihre Rolle als systemkritische Anwendungen in jeder Branche erfüllen können, sind leistungsstarke Hard- und Software-Komponenten unabdingbar. Die Systeme müssen große Datenmengen in kurzer Zeit analysieren. Die Rechenpower, die für Parallel Processing notwendig ist, steuern Multicore-CPUs, Video Processing Units (VPUs), Graphics Processing Units (GPUs) oder Field Programmable Gate Arrays (FPGAs) bei, die neuronal Netze mit Rechenleistungen im Bereich von Tera-Operations pro Sekunde berechnen. Das von dem IIoT Software Framework Susietec unterstützte Intel OpenVino Video Processing API ermöglicht hierzu, einmal erstellte neuronale Netzwerk Modelle zu skalieren und wahlweise auf Intel Multicore CPUs, GPUs, VPUs und FPGAs auszuführen und somit exponentielle Leistungssteigerungen zu ermöglichen. Bestehende trainierte neurale Netzwerk Modelle können mit geringem Aufwand auch auf Intel OpenVino konvertiert werden. Neben Intel und NXP basierenden Plattformen für das Inferencing, setzt Kontron seit Juli 2019 als Nvidia Preferred Partner auch GPUs des internationalen Marktführers bei Grafikkarten und GPUs für das Deep Learning (Training) ein. Nvidia-GPUs sind Teil des aktuell leistungsfähigsten Kontron Rackmount-Server Kiss V3 4U SKX-AI. Der skalierbare Server ist mit zwei starken Prozessoren der Intel Xeon SP-Serie ausgestattet, die mit zwölf DIMM DDR4-2666 Modulen und bis zu 768GB RAM mit ECC-Unterstützung erweitert werden können. Bis zu drei doppeltbreite Highend GPU-Karten Nvidia Tesla V100 sorgen für eine extrem hohe GPU-Leistung. GPUs führen genau die Matrix-Mathematik durch, die neben dem Rendern auch für das Simulieren künstlicher Neuronen notwendig ist. Die Nvidia GPUs unterstützen dabei die Intel Xeon Prozessoren bei dem Trainieren neuronaler Netze. Für die Softwareentwicklung können Anwender das leistungsstarke Cuda Toolkit von Nvidia nutzen.
KI-Entwicklung mit oder ohne Cloud
Der konkrete Anwendungsfall entscheidet darüber, ob KI-Lösungen und -Prozesse zum Teil oder in Gänze in die Cloud verlagert werden. Das IIoT Software Framework Susietec von Kontron Technologies, vormals S&T Technologies, einem Schwesterunternehmen von Kontron innerhalb der S&T Gruppe, hat dabei eine zentrale Bedeutung, denn es ermöglicht die jeweilige IoT-Architektur hybrid und skalierbar zu realisieren. Susietec ist für den Einsatz mit Kontron Hardware optimiert, lässt sich aber nahtlos mit Produkten von Drittanbietern einsetzen und in die vorhandene Infrastruktur der Kunden integrieren. Susietec ist ein herstellerunabhängiges Software- und Dienstleistungsangebot, das alle Puzzleteile einer Cloudlösung zusammenfügt und zu einem anwenderspezifischen Gesamtpaket verbindet. In bestimmten Szenarien ist es nicht sinnvoll, KI-Lösungen in die Public Cloud zu verlagern. Wenn die Reaktionszeiten bei Millisekunden liegen müssen, sind Latenzzeiten und Bandbreitenbeschränkungen der Cloud nicht akzeptabel. Dann sind leistungsstarke Edge Computer oder eine Embedded Cloud, wie sie sich mit dem High Performance Server Kiss 4U V3 SKX am Netzwerkrand aufbauen lässt, notwendig. In diesem Fall hat Susietec die Aufgabe, Daten lokal vorzuverarbeiten, zu filtern und danach in die Cloud weiterzuleiten.
Lösungen für Machine und Deep Learning
Rechenpower, ob lokal oder aus der Cloud bezogen, ist bei Machine und Deep Learning immer notwendig. Meist vorgefertigte neuronale Netze werden dabei für automatisierte Erkennungsfunktionen trainiert. Der komplette Prozess für Deep Learning besteht aus vier Phasen:
1. Samples sammeln
2. Trainingsphase
3. Gelerntes Netz transformieren
4. Integration des trainierten Netzes in ein Produkt
Bei KI-Anwendungen, die in kurzer Zeit oder gar in Echtzeit Ergebnisse liefern müssen, wird ein Edge Computer benötigt, der im Netzwerk eng an die Applikation angebunden ist. Für das Training von neuronalen Neztwerken ist es oft sinnvoll, die großen Serverkapazitäten in der Cloud zu nutzen, es gibt aber auch viele Fälle, wo das Trainingsmaterial lokal verbleiben muss und ein Edge Trainingsserver genutzt wird. Ein Beispiel ist Visual Inspection. Dabei werden Aufnahmen einer Kamera, die entweder über USB oder via Netzwerk angeschlossen sind, direkt auf dem Edge Device von einem trainierten neuronalen Netz im Inference-Prozess analysiert und ausgewertet. Neben Visual Inspection sind auch KI-Anwendungen in der Texterkennung und -wiedergabe sowie der Audio- und Verhaltensmuster-Erkennung möglich. Über die Audioerkennung lassen sich etwa ungewöhnliche Vibrationen identifizieren, die auf ein fehlerhaftes Maschinenteil hindeuten. So könnten z.B. Achsen von Zügen im Vorbeifahren geprüft werden. Firewalls in IT-Netzwerken können lernen, was einem normalen Verhalten im Netzwerk entspricht und bei ungewöhnlichen Aktivitäten Alarm schlagen und erste Schutz- und Abwehrmaßnahmen einleiten.