On-Line VERSUS Off-Line

Analog zu den Algorithmen aus Kapitel 2 spart sich die off-line Version des Algorithmus die Ausführung der Gesamtgewichtsänderung für $S$ (die Summe aller durch einzelne Zeitschritte verursachten Gewichtsänderungen) bis Abschluß der Präsentation aller Trainingssequenzen auf.

Die entsprechende on-line-Version ändert $W_S$ zu jedem Zeitschritt jeder Trainingssequenz. Die interessante Eigenschaft der on-line-Version besteht wiederum darin, daß die Notwendigkeit zur Spezifikation von Trainingssequenzbegrenzungen entfällt. Die Lernrate $\eta$ muß wieder klein genug sein, um Instabilitäten zu verhindern: Nur im asymptotischen Fall (bei gegen Null gehender Lernrate) vollzieht man exakten Gradientenabstieg im Performanzmaß. Akzeptable Lernraten lassen sich gegenwärtig nur durch Experimente finden. Die später zu beschreibenden Experimente legen für $\eta$ Werte zwischen $\eta = 0.02$ und $\eta = 0.5$ nahe.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite