SUBZIELARCHITEKTUR 1

Abbildung 4.3 zeigt einen statischen Subzielgenerator $S$ (ein azyklisches BP-Netz), der als Antwort auf eine Start/Ziel-Kombination eine von vornherein festgelegte Zahl $n$ von Subzielen liefert. $S$ ist in eine Architektur eingebettet, die $n+1$ Kopien des Evaluatornetzes mit umfaßt.

Abbildung: Die Ausgaben des azyklischen Subzielgenerators (die Subziele) werden von Kopien des differenzierbaren Evaluatormoduls bewertet - letztere erlauben die Berechnung eines Gradienten für die Ausgaben des Subzielgenerators (und damit auch für seine Gewichte).

$S$' Eingabevektor ist die Konkatenation $s^p \circ g^p$ der vektorwertigen Repräsentation des Startzustandes $s^p= s^p(0)$ und der Repräsentation des Zielzustandes $g^p = s^p(n+1)$.

$S$' Ausgabevektor ist die Konkatenation

$$s^p(1) \circ s^p(2) \circ \ldots \circ s^p(n)$$

der $n$ die Subziele repräsentierenden Vektoren $s^p(i), i = 1 \ldots n$.

$n+1$ Kopien des Evaluatormodules $E$ werden dergestalt mit dem Subzielgenerator verschaltet (siehe Abbildung 4.3), daß die Eingabe der $k$-ten Kopie von $E$ gleich $s^p(k-1) \circ s^p(k)$ ist. Die Ausgabe der $k$-ten Kopie von $E$ wird damit zu $eval(s^p(k-1), s^p(k))$.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite