SCHLUSSBEMERKUNGEN

Es sei darauf hingewiesen, daß Kapitel 8 durch die Präsentation eines Lernalgorithmus für das erste `selbst-referentielle' rekurrente KNN noch einen Schritt über das vorliegende Kapitel hinausgehen wird. Dieses `introspektive' KNN verfügt über spezielle Eigenschaften, die es ihm erlauben, alle eigenen Gewichtsparameter zu analysieren und explizit zu manipiulieren, und zwar einschließlich derjenigen Parameter, die für die Analysier- und Manipulierprozesse zuständig sind. Theoretisch vermag dieses Netz nicht nur seinen eigenen Gewichtsänderungsalgorithmus zu ändern, sondern auch die Art und Weise, in der es seinen eigenen Gewichtsänderungsalgorithmus ändert, sowie die Art und Weise, in der es den Algorithmus ändert, der seinen eigenen Gewichtsänderungsalgorithmus ändert, und so fort ad infinitum.

Eine weitere Motivation für Netze, die ihre eigenen Gewichte (statt lediglich die Gewichte fremder Netzwerke) manipulieren können, ergibt sich aus folgenden Überlegungen:

Ein konventionelles vollständig rückgekoppeltes Netz mit $n$ Nichteingabeknoten verfügt über $n$ Variablen (die zeitveränderlichen Knotenaktivationen) zur Speicherung zeitlicher Ereignisse im Kurzzeitgedächtnis. In Kapitel 2 haben wir gesehen, daß der populäre RTRL-Algorithmus $O(n^4)$ Operationen pro Zeitschritt jeder Eingabesequenz benötigt. Das Verhältnis $R$ zwischen Operationen pro Zeitschritt und der Anzahl der Variablen zur Speicherung von Ereignissen beträgt demnach also $O(n^3)$. Der beschleunigte Algorithmus (Abschnitt 2.5) drückt dieses Verhältnis durch Reduzierung der durchschnittlichen Anzahl von Operationen pro Zeitschritt auf $O(n^2)$. Es stellte sich nun kürzlich heraus, daß es möglich ist, einen komplementären Ansatz zur Erzielung von $R = O(n^2)$ zu verfolgen [116], welcher die Zahl der Operationen pro Zeitschritt bei $O(n^4)$ beläßt, gleichzeitig jedoch die Anzahl der Variablen zur Speicherung von Ereignissen auf $O(n^2)$ hochschraubt. Dies wird erreicht, indem dem Netzwerk gestattet wird, während der Verarbeitung einer Eingabesequenz seine eigenen $O(n^2)$ Gewichte aktiv zu modifizieren. Hierbei findet eine schnelle Variante der Hebb-regel Verwendung, um sofortige (möglicherweise dramatische) Änderungen von Verbindungen zwischen zu sukzessiven Zeitschritten aktiven Knoten hervorzurufen. Für eine derartige Architektur wurde kürzlich ein exakter gradientenbasierter Algorithmus für überwachtes Sequenzlernen (eine Erweiterung von RTRL mit im wesentlichen gleicher Berechnungskomplexität) abgeleitet [116].

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite