Beide zuvor eingeführten KI-Komponenten müssen vom Hersteller hinsichtlich der
Anwendungsdomäne formalisiert werden. Am Beispiel der
Schiffserkennungskomponente muss der Hersteller die zur Entwicklung
yerwendeten und in der Anwendung vorkommenden Bilddaten zum einen aus
technischer Perspektive und zum andern aus der inhaltlichen Perspektive
beschreiben.
Mit der technischen Perspektive sind Größen des RGB-Kamerasystems wie
Bildauflösung, Brennweite, Sichtfeld und ähnliche Größen gemeint. Diese sind
notwendig, damit bei der Prüfung der KIl-Komponenten möglichst dieselbe
Bildtechnik verwendet wird, wie sie in der Anwendung vorkommt, um Bilddaten
zu reproduzieren, die von der Kl-Komponente verarbeitbar sind.
Darüber hinaus muss der in Anwendung vorkommende Bildinhalt beschrieben
werden. Hierzu zählt die Beschaffenheit, also z.B. die Wetterbedingungen be:
Aufnahme des Bildes. Aus dem Produktdatenblatt (s. Kapitel 4.3) ließe sich
entnehmen, dass der bildgestützte Peilsensor nur bei Tageslicht unter klarer Sicht
agiert.
Aus der Formalisierung der Anwendungsdomäne ist für den Hersteller ersichtlich,
unter Verwendung welcher Bilder der bildgestützte Peilungssensor funktionieren
muss.
Die formalisierte Anwendungsdomäne lässt der Hersteller dem Prüfer im Rahmen
der prüfungsvorbereitenden Kommunikation (s. Kapitel 5) zukommen.
F3 | Definition der Prüfmetriken und Erfolgskriterien
Als letzten Schritt der Formalisierung muss der Hersteller der Prüfstelle Prüfmetriken
und Erfolgskriterien vorlegen, mit denen die Güte der Ausgabe der Kl-Komponenten
Jewertet werden kann. In diesem Zuge muss der Hersteller eine Methode zur Messung
(Prüfmetrik) sowie die zu erfüllende Güte (Erfolgskriterien) bereitstellen. In Abstimmung
mit der Prüfeinrichtung wird untersucht, ob diese die Prüfanforderungen der
Prüfeinrichtung erfüllen. Sofern bereits Standards oder Normen zu Erfolgskriterien
vergleichbarer Kl-Komponenten bestehen, dürfen die vom Hersteller genannten
zrfolgskriterien gleich kritisch oder kritischer sein. Die Definition der Prüfmetriken und
zrfolgskriterien muss separat für jede Kl-Komponente durchgeführt werden.
Bereits bei der Entwicklung eines Kl-Modells sollten vom Hersteller Messmethoden
angewendet werden, um die Performanz des Modells zu messen und zu optimieren.
Die Wahl einer geeigneten Messmethode hängt in erster Linie von der Art der Ausgabe
ab. Beispielsweise eignet sich im Falle von binären oder mehrklassiger
Classifikationsproblemen die Verwendung einer Wahrheitsmatrix (Navlani et al., 2021).
Damit der Prüfer die Performanz der KI-Komponenten bewerten und bei
hinreichendem Ergebnis zulassen kann, muss der Hersteller komponentenweise
eine Prüfmetrik und ein Erfolgskriterium mitgeben.
im Rahmen der Schiffserkennungskomponente kann der Hersteller eine
‘Nahrheitsmatrix verwenden, da es sich um ein binäres Klassifikationsproblem
handelt (Navlani et al., 2021). Denn, sofern ein hinreichend erkennbares Schiff auf
einem Bild vorhanden ist, muss dieses von der Schiffserkennungskomponente
Fraunhofer CML
ec FA
Bundesamt für Seeschifffahrt und Hydrographie