ALGORITHMUS

Durch Präsentation von Kombinationen möglicher Zustands- und Aktionsvektoren sowie durch Beobachtung der entsprechenden Umgebungseffekte wird zunächst $M$ durch konventionelles BP (siehe Kapitel 1) adjustiert. Nach jeder Präsentation des Trainingsensembles ändert sich dabei jedes Gewicht $w_{ij}$ in $M$ gemäß

$$\triangle w_{ij} \sim -\frac{\partial E_M}{\partial w_{ij}}.$$ (4.3)

Nach Abschluß von $M$'s Trainingsphase werden $M$'s Gewichte `eingefroren'. $M$ dient ab jetzt als starre Approximation von $eval$ zur Berechnung von Fehlergradienten für $C$. Jedes Gewicht $w_{ij}$ in $C$ wird nun gemäß

$$\triangle w_{ij} \sim -\frac{\partial \sum_p \frac{1}{2} \s... ...i - d^p_i)^2 } {\partial w_{ij}} = -\sum_p \delta^p_i c^p_j$$ (4.4)

geändert, wobei

$$\delta^p_i = - \frac{\partial \frac{1}{2} \sum_i (y^{p,p}_i - d^p_i)^2 } {\partial net^p_i}$$

gilt. Zu diesem Zweck berechnen wir für alle $p$ zunächst durch konventionelles BP in $M$ die Werte

$$\kappa^p_i = - \frac{\partial \frac{1}{2} \sum_i (y^{p,p}_i - d^p_i)^2 } {\partial a^p_i}.$$ (4.5)

Falls $i$ einen Ausgabeknoten von $C$ bezeichnet, so ist

$$\delta_i^p = f_i'(net^p_i) \kappa^p_i$$

Steht $i$ hingegen für einen versteckten Knoten der $r$-ten Lage von $C$, so gilt

$$\delta_i^p = f_i'(net^p_i) \sum_{l \in~Lagen~ > r} w_{li} \delta^p_l.$$

Erweiterung auf dynamische Umgebungen. Sind sowohl $M$ als auch $C$ rekurrent, lassen sich alle drei in Kapitel 2 vorgestellten Algorithmen auf $M$ bzw. auf die ebenfalls rekurrente Kombination von $M$ und $C$ anwenden. Derartige Erweiterungen obigen Prinzips auf zyklische Netzwerke in nichtstationären Umgebungen mit externer Rückkopplung^4.2 wurden in [96], [98], und [94] beschrieben.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite