3.2 Qualitätsmanagement-Konzept
Zi Fraunhofer ZZ Fraunhofer
CML 160
3.2.1 Konzeptionierung
Formalisierung der Anwendungsdomäne
Charakterisierung von relevanten Datensätzen
Definition von Performanz-Metriken und Erfolgskriterien
4
Definition von Testszenarien
Auswahl der Hardware
Auswirkungen bei technischem Versagen
Anal
Methoden zur Erklärbarkeit des Modeliverhaltens
Abbildung 3: Maßnahmen in der Phase Konzeptualisierung.
K.F.1 Formalisierung der Anwendungsdomäne
Die Formalisierung der Anwendungsdomäne wird als erste notwendige Maßnahme betrachtet. Aus ihr lassen
sich sowohl Anforderungen an Datensätze und Modelle ableiten. Die Formalisierung wird in [Z3] behandelt. Das
Systemverhalten sollte sich anhand der Formalisierung der Anwendungsdomäne in zumindest die folgenden vier
Unterdomänen abgrenzen können [BI]:
1. Input-Domäne: Menge an Input, mit welchen das Modell umgehen kann.
2. Betriebsmäßige Domäne: Menge an Input, welches für das Modell im Betrieb erwartet wird.
3. Fehlfunktionale Domäne: Menge an Input, welches das Modell im Falle von Fehlfunktionen innerhalb im
gesamten software- und hardware-seitigen System erwarten kann.
4. Feindliche£ Domäne: Menge an Input, welches das Modell bei feindlichen Störungen erwarten kann.
Ferner wird mit der Berücksichtigung der Anwendungsdomäne die Brücke zu MASS geschlagen, da hier das
Operational Envelope eine wichtige Rolle spielt [9]. Das Operational Envelope wird - vereinfacht formuliert - durch
die Erweiterung der Anwendungsdomäne um den Anteil menschlicher operativer Steuerung gebildet.
K.F.2 Charakterisierung von relevanten Datensätzen
Die zur Entwicklung herangezogenen Datensätze müssen sowohl im Umfang als auch in Qualität [BY, BI] gegebenen
Anforderungen entsprechen. In der Phase der Konzeption wird zunächst der inhaltliche Umfang der notwendigen
Datensätze charakterisiert. Aus der formalisierten Anwendungsdomäne (s. Maßnahme K.ED) der Kl-Anwendung
lässt sich schließen, welche Daten für die Bedienung welcher Unterdomänen notwendig sind. Die
heranzuziehenden Datensätze sollten insbesondere die Input-Domäne und die Betriebsmäßige Domäne bedienen.
K.F.3 Definition von Performanz-Metriken und Erfolgskriterien
Die Definition von Metriken zur Messung der Performanz, sowie zu erreichende Erfolgskriterien dienen als
Messung der Zielerreichung eines Modells [Z3]. Je nach vorliegender Problemstellung eignen sich verschiedene Meiriken
zur Messung der Performanz eines Modells. In [B7, EX] werden Metriken für ML-Modelle i.A. behandelt. In
der vorliegenden Studie handelt es sich bei der Problemstellung um ein Klassifikationsproblem. Mögliche Metriken,
die sich hierfür im Speziellen eignen, werden in [E89] behandelt. Performanz-Metriken im Kontext von Objekterkennung
und semantischer Segmentierung, welche auch in dieser Studie herangezogen worden sind, werden in
Kapitel A. vorgestellt.
2 Aus dem Enalischen von “adversarial” im Kontext von “adversarial attacks” abgeleitet
