KI fit machen für sicherheitskritische Anwendungen
Bild: Fraunhofer-Gesellschaft

Produktionsplanung, Logistik, Wartung, Qualitätskontrolle – in der industriellen Fertigung gibt es viele Einsatzgebiete für künstliche Intelligenz. In der Praxis werden KI-Modelle bisher allerdings noch wenig genutzt. Der Grund: Die Zuverlässigkeit ist schwer prüfbar. Das IPA-Team am Zentrum für Cyber Cognitive Intelligence hat dafür jetzt eine Strategie mit Zertifizierungs-Kriterien vorgeschlagen und über den Stand der entsprechenden Technik in dem White Paper ‚Zuverlässige KI – KI in sicherheitskritischen industriellen Anwendungen einsetzen‘ berichtet: Die Strategie basiert auf Zertifizierbarkeit und Transparenz.

Das Ergebnis dieser Recherche sind fünf Kriterien, die KI-Systeme erfüllen sollen, um als sicher zu gelten:

  • Alle Entscheidungen der Algorithmen müssen für Menschen verständlich sein.
  • Die Funktion der Algorithmen muss vor ihrem Einsatz mit Methoden der Formalen Verifikation geprüft werden.
  • Darüber hinaus ist eine statistische Validierung notwendig, besonders wenn die Formale Verifikation wegen Skalierbarkeit für den bestimmten Anwendungsfall nicht nutzbar ist. Dies kann durch Testläufe mit größeren Datenmengen bzw. Stückzahlen überprüft werden.
  • Auch die Unsicherheiten, die den Entscheidungen Neuronaler Netze zu Grunde liegen, müssen ermittelt und quantifiziert werden.

Während des Betriebs müssen die Systeme permanent überprüft werden, z.B. durch Online-Monitoring. Wichtig ist dabei die Erfassung von Input und Output – also von Sensordaten und den aus deren Auswertung resultierenden Entscheidungen.

Transparenz schafft Vertrauen

Die zweite Grundvoraussetzung für einen sicheren Einsatz der KI-Systeme ist deren Transparenz. Diese ist gemäß den ethischen Richtlinien der ‚High-Level Expert Group on Artificial Intelligence‘ der Europäischen Kommission, kurz HLEG AI, eines der Schlüsselelemente für die Realisierung einer vertrauenswürdigen KI. Diese Transparenz bezieht sich, anders als die Kriterien, mit denen die Zuverlässigkeit in der algorithmischen Ebene geprüft werden kann, ausschließlich auf die Interaktion mit dem Menschen in der systematischen Ebene. Drei Punkte sind dafür aufgrund der Richtlinien der HLEG AI zusammengefasst, die transparente KI erfüllen muss: Erstens müssen die von den Algorithmen gefällten Entscheidungen nachvollziehbar sein. Zweitens muss es für Menschen auf einer umfassenden Ebene des menschlichen Verständnisses möglich sein, die Entscheidungen zu erklären. Und drittens müssen KI-Systeme mit dem Menschen kommunizieren und ihn informieren, welche Fähigkeiten die Algorithmen haben und wo sie an Grenzen stoßen.

Thematik: Newsarchiv
| News
Fraunhofer - Institut IPA
www.ipa.fhg.de

Anzeige

Anzeige

Das könnte Sie auch Interessieren

Bild: Abat AG
Bild: Abat AG
Forschungskooperation verlängert

Forschungskooperation verlängert

Bild: Abat AG Voneinander und miteinander lernen, gemeinsam an innovativen Ideen für den Markt innerhalb von Forschungskooperationen tätig sein - seit mehreren Jahren schon besteht eine enge Zusammenarbeit zwischen der Bremer Abat AG und der Uni Oldenburg (Abteilung...

Image: Xilinx Inc.
Image: Xilinx Inc.
Adaptive AI Vision

Adaptive AI Vision

Image: Xilinx Inc. Die Kria SOMs ermöglichen den schnellen Einsatz durch Bereitstellung einer End-to-End Lösung auf Board-Ebene mit vorkonfiguriertem Software Stack. Das Kria K26 SOM basiert auf der Zynq UltraScale+ MPSoC Architektur, die einen Quad-Core Arm Cortex...