119
Lernabbruchkriterium
Anzahl Lernepochen
Abb.5.1: Lernkurven des Validations- (obere durchgezogene Kurve) und Trainingsfehlers (untere Kurven). Die
untere durchgezogene Kurve basiert auf einem quadratisch exponentiellen Abnahmegesetz für die Lernschritt
weite e [5.1] und die untere gestrichelte Linie auf einem linear exponentiellen Abnahmegesetz. Das
Minimum des Validationsfehlers ist durch ein Rechteck mit einem gestrichelten Fadenkreuz eingerahmt. Der
"cut-off'-Zeitpunkt ist durch eine senkrechte Linie mit einem waagerechten Strich jeweils am Ende und in
der Mitte der Linie gekennzeichnet.
im ersten Teil der Lernphase im Mittel ungefähr parallel verhalten und daher keine An
gleichung der Fehler stattfindet.
Nach dem nichtmonotonen sehr variablen Verhalten beider Lernkurven verlieren beide
Kurven im Verlauf der Lernphase allmählich ihre Variabilität (Abb.5.1). Der Validations
fehler verhält sich dann relativ glatt auf ungefähr gleich hohem oder etwas ansteigendem
Niveau, während gleichzeitig der Trainingsfehler recht schnell kleiner wird. Je schneller er
abnimmt, desto eher kann das cut-off-Kriterium zuschlagen und Rechenzeit sparen. Die
Gleichzeitigkeit dieses Kurvenverhaltens bewirkt, daß sich der cut-off-Punkt in der Nähe des
zeitlich-globalen Minimums befindet. In der Nähe bedeutet, daß die Punkte nur wenige
Lernepochen voneinander entfernt liegen (Abb.5.1). Das kombinierte Lernabbruchkriterium
ist so gewählt worden, daß der Zeitpunkt eines eventuellen Minimums immer vor dem cut-
off-Punkt liegt. Es ist natürlich denkbar, daß nach dem cut-off-Punkt ein noch kleineres Mini
mum auftritt, welches dann insgesamt auf die maximal mögliche Länge n Lmax der Lernphase
bezogen das zeitlich-globale Minimum ist. Da aber die Variabilität der Lernkurven fast
verschwunden ist, wird die Differenz dieses Minimums zu dem Minimum vor dem cut-off-
Punkt nicht sehr groß sein. Wenn also das Minimum vor dem cut-off-Punkt nicht mit dem
zeitlich-globalen Minimum identisch ist, dann stellt es zumindest eine gute Näherung dieses
