next up previous contents
Nächste Seite: PERFORMANZMASS Aufwärts: ARCHITEKTUR UND NETZWERKDYNAMIK Vorherige Seite: ARCHITEKTUR 1   Inhalt

ARCHITEKTUR 2

Stelle für jeden Knoten in $F$, dem wenigstens eine Verbindung mit einem schnellen Gewicht entspringt, einen Ausgabeknoten in $S$ bereit. Nenne die Menge derartiger Ausgabeknoten VON. Spendiere einen weiteren Ausgabeknoten in $S$ für jeden Knoten in $F$, zu dem wenigstens eine `schnellgewichtige' Verbindung führt. Nenne die Menge dieser Ausgabeknoten ZU. Für jede Gewichtsvariable $w_{ba} \in W_F$ haben wir jetzt einen Knoten $s_a \in $ VON und einen Knoten $s_b \in$ ZU. Definiere für den Zeitpunkt $t$

\begin{displaymath}\Box w_{ba}(t):=g(s_a(t),s_b(t)), \end{displaymath}

wobei $g$ bezüglich all seiner Parameter differenzierbar sein muß. Wir konzentrieren uns auf ein repräsentatives Beispiel, nämlich den Fall, daß $g$ den Multiplikationsoperator darstellt:
\begin{displaymath}
\Box w_{ba}(t):=s_a(t)s_b(t).
\end{displaymath} (3.5)

Dies bedeutet, daß $F$'s schnelle Gewichte von $S$ in Hebb-ähnlicher Manier [33] manipuliert werden. Mit Architektur 2 benötigt $S$ weniger als doppelt so viele Ausgabeknoten, als Knoten in $F$ vorhanden sind. Siehe Abbildung 3.2.

Abbildung: Gewichtsänderungen des `schnellen' Netzwerkes ergeben sich durch die vom langsamen Netz in seinen beiden Ausgabefeldern $VON$ (für den `Schlüssel') und $ZU$ (für den Inhalt) vorgeschriebene Assoziation.
\begin{figure}\psfig{figure=fig3.2} \end{figure}

Man kann sich von der VON/ZU Architektur folgendes Bild machen: $S$ kreiert befristete Assoziationen, indem es zwei Parameter an das Kurzzeitgedächtnis weitergibt. Der erste Parameter ist ein durch VON übermitteltes Aktivationsmuster, welches den Schlüssel zu einem temporären Assoziationspaar darstellt, während der zweite Parameter einen durch ZU übermittelten Eintrag repräsentiert. Man beachte, daß sowohl der Schlüssel als auch der Eintrag versteckte Knoten ansprechen können.


next up previous contents
Nächste Seite: PERFORMANZMASS Aufwärts: ARCHITEKTUR UND NETZWERKDYNAMIK Vorherige Seite: ARCHITEKTUR 1   Inhalt
Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite