DETAILS: EINE SERIE VON ZIELFUNKTIONEN

Wie bereits erwähnt, wird $P_{i+1}$ i. a. auf einer `langsameren' Zeitskala als $P_i$ arbeiten; die Zeitskala der Ebene $i+1$ wird durch die von $P_i$ nicht korrekt vorhergesagten Eingaben definiert. Der $t$-te Zeitschritt der zur $i$-ten Ebene gehörigen Zeitskala sei mit $t_i$ oder auch mit $(t)_i$ bezeichnet. $P_i$ aktualisiert die Aktivationen seiner Knoten ausschließlich zu den Zeitpunkten $t_i, t = 0, 1, \ldots$. Bei gegebener Sequenz $p$ stehe $x^{p,i}(t_i)$ für $P_i$'s Eingabevektor zum Zeitpunkt $t_i$. Der Ausgabevektor trage den Namen $z^{p,i}(t_i)$. Wir nehmen an, daß Bedingung 7.3 erfüllt ist. Als aktuelle Vorhersage $\bar{z}^{p,i}(t_i)$ wird derjenige der möglichen Eingabevektoren angesehen, der den geringsten euklidischen Abstand zu $z^{p,i}(t_i)$ aufweist (siehe Bedingung 7.3). Gibt es mehrere derartige Eingabevektoren, so wird derjenige mit der kleinsten Nummer (bei beliebiger Ordnung auf der Menge der möglichen Eingabevektoren) herausgepickt. So erhalten wir eine eindeutige deterministische Vorhersage. Wir gehen inkrementell vor: Zunächst wird $P_1$ trainiert, nach $P_1$'s Trainingsphase werden alle Gewichte in $P_1$ `eingefroren' und $P_2$'s Trainingsphase beginnt, etc.

$P_i$'s Zielfunktion ist gleich

$$E_i= \frac{1}{2} \sum_p \sum_{t_i} \sum_k (z_k^{p,i}(t_i) - (x_k^{p,i}((t+1)_i))^2.$$ (7.4)

Für die unterste Ebene gilt dabei

$$\forall t: t_1 = t, x^{p,1}(t_1) = x^p(t),$$

wobei $x^p(t)$ wie stets der $t$-te Eingabevektor der Sequenz $p$ ist. Jeder Sequenz $p$ wird dabei eine für alle Sequenzen gleichbleibende Initialisierungseingabe $x^p(0)$ vorangestellt.

Ist $i >1$ (höhere Level), so gilt

$$x^{p,i}(t_i) = x^{p,i-1}(t_{i-1}) \circ rep(t_{i-1}) ,$$

wobei $t_i$ auf der $i$-ten Zeitskala den Zeitpunkt des $t$-ten unerwarteten Ereignisses der Form

$$\bar{z}^{p,i-1}((t-1)_{i-1}) \neq x^{p,i-1}(t_{i-1})$$

bezeichnet und $rep(t_i)$ eine eindeutige vektorwertige Repräsentation von $t_i$ (oder der seit $(t-1)_i$ verstrichenen Zeitspanne) darstellt.

Falls die Menge der potentiellen Eingabevektoren überabzählbar unendlich viele Elemente enthält (z. B. alle möglichen reellen Vektoren mit der Dimension des Eingaberaums), so macht es Sinn, sich ein `Epsilon' $\epsilon$ definieren, welches `akzeptable Vorhersagefehler' definiert: Gilt

$$\sum_k (z_k^{p,i}(t_i) - (x_k^{p,i}((t+1)_i)))^2 < \epsilon,$$

so wird die Vorhersage als korrekt angesehen. Dies ist allerdings eine Heuristik, die auf der (häufig gemachten) Annahme basiert, daß eng benachbarte Eingabevektoren `ähnliche' Bedeutung besitzen.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite