In der Abbildung unten sehen Sie einen Lernalgorithmus, der versucht zu lernen, um eine gewünschte Ausgabe zu erzeugen (die rote Linie). Der Lernalgorithmus ähnelt einem neuronalen Netz mit Rückwärtsfehlerfortpflanzung.
Die "Lernrate" ist ein Wert, der die Größe der Anpassungen steuert, die während des Trainingsprozesses vorgenommen werden. Ist die Lernrate zu hoch, lernt der Algorithmus schnell, aber seine Vorhersagen springen während des Trainingsprozesses stark hin und her (grüne Linie - Lernrate von 0,001), ist sie niedriger, springen die Vorhersagen weniger hin und her, aber der Algorithmus braucht viel länger zum Lernen (blaue Linie - Lernrate von 0,0001).
Die schwarzen Linien sind gleitende Durchschnitte.
Wie kann ich die Lernrate so anpassen, dass sie anfangs nahe an die gewünschte Ausgabe herankommt, dann aber langsamer wird, um den richtigen Wert zu finden?
Lernkurve http://img.skitch.com/20090605-pqpkse1yr1e5r869y6eehmpsym.png