ARCHITEKTUR UND ZIELFUNKTIONEN

Zum Zeitpunkt $t$ der Sequenz $p$ ist $H^p(t) \circ X^p(t)$ die (weiter unten zu definierende) Eingabe eines Autoassoziators $A$ mit $n_H$ versteckten Knoten, $n_H + n_I$ Eingabeknoten, und $n_H + n_I$ Ausgabeknoten. $A$'s interner Zustandsvektor (ablesbar von einem `Flaschenhals' versteckter Knoten) heißt $h^p(t)$. $A$'s $n_H + n_I$-dimensionaler Ausgabevektor wird mit $A^p(t)$ bezeichnet. Zu jedem Zeitschritt $t >0$ versucht $A$ mittels BP, seine eigene Eingabe zu rekonstruieren. $A$'s Zielfunktion ist dabei

$$E_A(t) = \frac{1}{2} (H^p(t) \circ X^p(t) - A^p(t))^T (H^p(t) \circ X^p(t) - A^p(t)).$$

Der $n_h$-dimensionale Vektor $H^p(t)$ (aus gleich offensichtlich werdenden Gründen $A$'s `reduzierter Zustand' genannt) nimmt für $t = 0$ einen `Defaultwert' an, z.B. den Nullvektor. Das gleiche gilt für den $n_i$-dimensionalen Vektor $X^p(t)$.

Zum Zeitpunkt $t$ der Sequenz $S_p$ erhält ein azyklisches BP-Netz $P$ den Vektor $H^p(t) \circ x^p(t)$ als Eingabe. Um die Dinge nicht über Gebühr zu verkomplizieren, nehmen wir auf (theoretisch eigentlich notwendige) eindeutige Zeitrepräsentationen keine Rücksicht. $P$'s $n_I$-dimensionaler Ausgabevektor $P^p(t)$ soll nach der Trainingsprozedur die Wahrscheinlichkeitsverteilung der möglichen $x^p(t+1)$ approximieren. Daher wird $P^p(t)$ so normalisiert, daß stets $\sum_i P^p_i(t) = 1$ gilt (siehe z.B. Abschnitt 5.3). Für $t > 1$ sind $H^p(t)$ und $X^p(t)$ folgendermaßen definiert:

$$H^p_i(t) = (1-\tau^p(t)) H^p_i(t-1) + \tau^p(t) h^p_i(t-1)$$

und

$$X^p_i(t) = (1-\tau^p(t)) X^p_i(t-1) + \tau^p(t) x^p_i(t),$$

wobei $\tau^p(t)$ eine monoton wachsende Funktion von $-log~P^p_j(t-1)$ ist, z.B. $\tau^p(t)= ~P^p_j(t-1)$, wobei $j$ so gewählt ist, daß $P^p_j(t-1)$ die von $P$ vermutete Wahrscheinlichkeit von $x^p(t)$ ist. Betrachte hierzu Abbildung 7.3.

Abbildung: Kontinuierliche Geschichtskompression: Informationsfluß während zweier sukzessiver Zeitschritte. Siehe Text für Details.

Der Effekt dieses Vorgehens ist: Solange sich die nächste Eingabe aus der vorherigen Eingabe und dem vorherigen reduzierten Zustand als (nahezu) vorhersagbar erweist, bleibt die Eingabe des Autoassoziators im wesentlichen invariant. Nur die wirklich unerwarteten Ereignisse generieren neue Zielwerte für $A$ - damit wird $A$ dazu angehalten, ausschließlich informationstragende Ereignisse in seine internen Repräsentationen einzubinden. Es sollte erwähnt werden, daß obige Methode wiederum nur eine von mehreren Möglichkeiten darstellt, das grundlegende Prinzip zu implemetieren.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite