DIE KETTENREGEL

Bei gegebener Architektur und gegebenen Zielfunktionen verbleibt die formale Aufgabe der Ableitung des Lernalgorithmus. Hilfsmittel hierzu ist die Kettenregel. Sie sei für Funktionen mehrerer Veränderlicher an dieser Stelle in der für unser Anliegen zweckmäßigsten Weise formal niedergeschrieben:

Gegeben sei eine bezüglich all ihrer Parameter differenzierbare Funktion $f: R^n \rightarrow R$

$$f(\phi_1(w), \phi_2(w), \ldots, \phi_n(w))$$ (1.1)

wobei alle $\phi_i: R \rightarrow R$ mit $i=1 \ldots n$ ihrerseits nach $w$ ableitbar sind. Dann gilt

$$\frac{\partial f(\phi_1(w), \phi_2(w), \ldots, \phi_n(w))} ... ...al f} {\partial \phi_i} \frac{\partial \phi_i} {\partial w}.$$ (1.2)

$f$ stellt bei unseren Anwendungen häufig ein Performanzmaß oder aber auch bloß die Ausgabe eines adaptiven Untermoduls dar, $\phi_i$ bezeichnet in vielen Fällen die Aktivation eines Knotens (möglicherweise aber auch die Ausgabe eines weiteren Untermoduls), und $w$ steht oft für einen Gewichtsparameter (vielleicht aber auch für die Ausgabe eines zu einem früheren Zeitpunkt aktiven Knotens oder Untermoduls).

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite