3.2 Qualitätsmanagement-Konzept

Zi Fraunhofer ZZ Fraunhofer
CML 160

3.2.2 Entwicklung

Mr LEN

mE Mr

Eignung von Datensätzen

Eignung von Modellen

Erfassung der Anwendungsgrenzen und Unsicherheiten

Beschreibung des Modellverhaltens

Beschreibung der verwendeten Datensätze

Abbildung 4: Maßnahmen in der Phase Entwicklung.

E.EL1 Eignung von Datensätzen
Aufgrund des entscheidenen Einflusses des verwendeten Datensatzes spielt die Einhaltung von ausreichender
Datenqualität eine entscheidende Rolle [ZP3]. In der Konzeptionierungsphase werden basierend auf der formalisierten
 Anwendungsdomäne (s. Maßnahme KEN) relevante Datensätze charakterisiert und Anforderungen formuliert
(s. Maßnahme KA). Datensätze können grundlegendend auf folgenden Wegen beschaffen werden [PA]:
e Es wird ein bestehender öffentlicher oder privater Datensatz erworben.
® Es wird ein bestehender öffentlicher oder privater Datensatz augmentiert.
» Es wird ein synthetischer Datensatz erzeugt (und augmentiert).
Die Augmentierung von Datensätzen ist bereits eine gängige und effektive Methode zur Erweiterung von Datensätzen.
 Insbesondere die Synthetisierung von Bilddaten, und die Verwendung dieser zum Training von ML-basierten
Modellen wird wegen des vielversprechenden Potenzials aktuell in der Forschung untersucht. Verfügbare öffentliche
ader private Datensätze werden in der Entwicklungsphase auf ihre Qualität geprüft. Die problematischen Manifestationen
 mangelnder Datenqualität werden in [ZI] angesprochen. Dabei gilt es zu beachten, dass der Datensatz
relevant, vollständig, ausgeglichen und präzise ist. Entsprechende Methoden werden in [BI] vorgestellt. Methoden
zur Untersuchung von Datensätzen auf Bias sind in [F2] beschrieben. Wenn zur Verbesserung der Datenqualität
notwendig, können verfügbare Datensätze augmentiert oder auch mit synthetischen Datensätzen kombiniert wer
den.

E..2 Eignung von Modellen
Die Untersuchung der Eignung von Modellen verläuft über mehrere Schritte. Für das Lernen des Modells sind
mindestens drei Schritte erforderlich [BI]:
1. Modellauswahl
2. Modelltraining
3. Wahl der Hyperparameter
4. ggf. Transferlernen

Zunächst werden für die angestrebte Anwendung geeignete Modelle ausgewählt. Im Falle dieser Studie ist die
Hauptunterscheidung, ob es sich um Objekterkennung oder -segmentation handelt. Nachfolgend wird das Modell
hinsichtlich einer Zielfunktion trainiert, wobei dies iterativ mit der Wahl der Hyperparameter geschieht. Die Hyperparameter
 wiederum parametrisierung das Training an sich. Sofern notwendig, wird ein Modell nachtrainiert. Dies
ist z.B. dann der Fall, wenn ein aufwendig vortrainiertes, allgemeines Modell für spezifische Anwendungsdomänen
nachtrainiert wird.
Die Performanz des Modells wird anhand der in der Konzeptionierungsphase definierten Testszenarien (s. Maßnahme
 K:E2) und Performanz-Metriken (s. Maßnahme K.E3) gemessen und gewertet.