EIN `SELBSTREFERENTIELLES' REKURRENTES NETZ

Die Netzwerkeingabe zum Zeitpunkt $t$ heiße $x(t)$, die entsprechende Netzwerkausgabe sei mit $o(t)$ bezeichnet. Gelegentlich liefert die Umgebung eine Performanzevaluation $eval(t)$. $x(t), o(t)$ und $eval(t)$ seien o.B.d.A. durch reellwertige Vektoren repräsentiert. Die Menge der Algorithmen, die das System ausführen kann, heiße $S$. Das Ziel besteht in der Auffindung eines Algorithmus in $S$, welcher zu `wünschenswerten' Evaluationen $eval(t)$ führt (Abschnitt 8.2 wird den Begriff `wünschenswert' wie stets durch ein Performanzmaß formal spezifizieren).

Trainingsintervalle. Um Indices zu sparen, betrachten wir ein einzelnes begrenztes Zeitintervall diskreter Zeitschritte, während derer das (später zu beschreibende) Netzwerk mit seiner Umgebung interagiert. Es sei angenommen, daß die vom Netz während dieses Intervalls beobachtete Eingabesequenz über $n_{time} = n_sn_r$ (mit $n_s,n_r \in {\bf N}$) Zeitschritte verfügt und aus $n_s$ gleich großen `Blöcken' der Länge $n_r$ zusammengesetzt ist, während derer sich die Eingabevektoren $x(t)$ nicht ändern. Dies impliziert keinen Verlust an Allgemeinheit, sondern bedeutet lediglich, beliebige Eingabesequenzen durch Beschleunigung aller Netzwerkoperationen um einen konstanten Faktor dergestalt `aufzublasen', daß jedes Eingabemuster $n_r$ mal hintereinander präsentiert wird, bevor das nächste Eingabemuster beobachtet werden kann. Dies verschafft dem Netzwerk Zeit für sequentielle Informationsverarbeitung.

Ein Trainingsintervall läßt sich u.a. durch Konkatenation mehrerer entsprechender `konventioneller' Trainingssequenzen für `konventionelle' rekurrente Netze (Kapitel 2) gewinnen. Letztere Möglichkeit wird dem Netzwerk prinzipiell erlauben, wiederkehrende Regelmäßigkeiten bei der Lösung verschiedener Lernaufgaben zu entdecken und sich zunutze zu machen.

Informationsverarbeitende Architektur. Offenbar beschränkt die Architektur des Netzwerkes die Menge $S$ der Algorithmen, die es ausführen kann. Wir wollen uns auf eine endliche, jedoch allgemeine Architektur (auf der Basis der schon aus Kapitel 2 bekannten dynamischen rekurrenten Netze) konzentrieren, die Elementen der Menge $S$ außer unvermeidlichen Zeit- und Speicherbegrenzungen keine zusätzlichen Schranken auferlegt.

Wie bereits einführend erwähnt, unterscheidet sich die Methode des vorliegenden Kapitels von Verfahren vorangehender Kapitel sowie von Ansätzen anderer Autoren dadurch, daß das Netzwerk u.a. auch $eval(t)$ als Eingabe verarbeiten kann sowie theoretisch in der Lage ist, alle eigenen Gewichtsparameter ohne prinzipielle Einschränkung explizit zu analysieren und zu ändern^8.4. Dies wird erreicht durch (1) Einführung spezieller Eingabeknoten zur Beobachtung externer Performanzevaluationen, (2) Einführung von Adressen für alle Netzwerkverbindungen, (3) Einführung spezieller Ausgabeknoten zur sequentiellen Adressierung aller Verbindungen (einschließlich derjenigen Verbindungen, die gegenwärtig zur Verbindungsadressierung verwendet werden), (4) Einführung spezieller Eingabeknoten zur Analyse durch spezielle Ausgabeknoten adressierter Gewichte, (5) Einführung spezieller Ausgabeknoten zur Modifikation von durch spezielle Ausgabeknoten adressierten Gewichten. Die Architektur erlaubt die Implementierung von Algorithmen aus $S$, deren Ausgaben u.a. im Prinzip beliebige Änderungen von Komponenten der Algorithmen aus $S$ sein können, so daß die Ergebnisse der Änderungen wiederum Algorithmen aus $S$ darstellen.

Abschnitt 8.1.1 beschreibt die konventionellen Aspekte der Netzwerkarchitektur. Abschnitt 8.1.2 beschreibt die neuartigen `selbstreferentiellen' Aspekte des Netzes. Der Leser mag gelegentlich auf die kompakte Zusammenfassung relevanter Notation in Tabelle 1 sowie auf die illustrative Abbildung 1 zurückgreifen.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite