AUSBLICK: `SELBSTREFERENTIELLE' NEURONALE NETZE

Ein wesentlicher Unterschied zwischen `menschlichem' Lernen und existierenden Methoden für maschinelles Lernen (einschließlich der Methoden aus den vorangegangenen Kapiteln) besteht darin, daß Menschen über ihr eigenes Lernverhalten reflektieren und ihre Lernstrategien gegebenenfalls ändern können, um sie den von der Umgebung typischerweise gestellten Lernaufgaben anzupassen<sup>8.1</sup>. Aus diesem Grunde macht das vorliegende Kapitel (der letzte originäre Beitrag dieser Arbeit) im Rahmen eines Gedankenexperiments einige anfängliche theoretische Schritte<sup>8.2</sup>in Richtung `selbstreferentielles' und `introspektives' maschinelles Lernen.

Wir haben in den Kapiteln 2 bis 7 gesehen, daß sich gradientenbasierte Gewichtsänderungsalgorithmen für sehr unterschiedliche Problemstellungen aus den Bereichen überwachtes Lernen, unüberwachtes Lernen und `Reinforcement'-Lernen herleiten lassen. Allen bisher in dieser Arbeit (oder in der KNN-Literatur) aufgetauchten KNN ist allerdings eines gemeinsam: Zumindest einige ihrer adaptiven Parameter lassen sich ausschließlich durch fest `vorverdrahtete' Lernalgorithmen ändern. Dies gilt auch für das System aus Kapitel 3. Das vorliegende Kapitel geht nun einen Schritt weiter und beantwortet in konstruktiver Weise folgende Fragen: (1) Ist es möglich, ein KNN zu entwerfen, das im Prinzip alle eigenen Gewichtsparameter selbst aktiv modifizieren kann? (2) Läßt sich das Konzept des Gradientenabstiegs im Prinzip auch zur Auffindung geeigneter Lernalgorithmen anwenden?

Das in den folgenden Abschnitten als Gedankenexperiment vorgestellte erste `selbstreferentielle' rekurrente neuronale Netzwerk repräsentiert seine eigenen Gewichtsänderungsalgorithmen dergestalt, daß sie im Prinzip beliebiger `Selbst-Manipulation' zugänglich sind. Theoretisch kann das Netzwerk eine Suche nicht nur im Raum möglicher Ein-/Ausgabe-Algorithmen, sondern in der Tat auch im Raum möglicher Gewichtsänderungsalgorithmen selbst veranstalten.

Dies wird u.a. dadurch erreicht, daß dem Netzwerk Gelegenheit gegeben wird, seine eigenen Erfolge und Mißerfolge zu beobachten. Weiterhin besitzt das Netzwerk spezielle Eigenschaften, die es ihm erlauben, alle eigenen Gewichtsparameter zu analysieren und explizit zu manipiulieren, und zwar einschließlich derjenigen Parameter, die für die Analysier- und Manipulierprozesse zuständig sind. Dank der Allgemeinheit der Architektur existieren keine theoretischen Begrenzungen für die Komplexität der im Netzwerk implementierbaren, zur Selbstmodifikation fähigen Gewichtsänderungsalgorithmen (abgesehen von unvermeidbaren, durch die Endlichkeit der Architektur bedingten Zeit- und Speicherbegrenzungen). Theoretisch vermag das Netz nicht nur seinen eigenen Gewichtsänderungsalgorithmus zu ändern, sondern auch die Art und Weise, in der es den Gewichtsänderungsalgorithmus ändert, sowie die Art und Weise, in der es den Algorithmus ändert, der den Gewichtsänderungsalgorithmus ändert, und so fort ad infinitum. Alle `Meta-Ebenen' lassen sich in das ursprüngliche Netzwerk einbetten [115]. Dies führt allerdings nicht zu endloser Rekursion.

Abschnitt 8.1 spezifiziert zunächst die Interaktion zwischen Umgebung und Netzwerk, beschreibt daraufhin die Details der `selbstreferentiellen' Netzwerkarchitektur, gliedert sie in konventionelle und unkonventionelle Aspekte, und macht eine Aussage über die Allgemeinheit der Klasse der auf der Architektur berechenbaren `selbstreferentiellen' Funktionen. Abschnitt 8.2 leitet schließlich für eine geeignete Zielfunktion mit Hilfe der Kettenregel einen `vorverdrahteten' Gewichtsänderungsalgorithmus zur Auffindung `günstiger' selbst-modifizierender Gewichtsmatrixen ab.

Ein Nachteil dieses vorverdrahteten Lernalgorithmus besteht allerdings in seiner hohen Berechnungskomplexität pro Zeitschritt, welche unabhängig von der Sequenzlänge $O(n_{conn}^2 log n_{conn})$ beträgt, wobei $n_{conn}$ die Anzahl der Verbindungen im Netz bezeichnet. Ein weiterer Nachteil ist die hohe Anzahl lokaler Minima der ungewöhnlich komplexen Zielfunktion. Der Zweck dieses letzten Kapitels der Arbeit besteht jedoch nicht in der Auffindung des effizientesten oder praktikabelsten gradientenbasierten `selbstreferentiellen' Lernalgorithmus, sondern in der Demonstration, daß solche Algorithmen überhaupt theoretisch möglich sind^8.3. Insofern will sich das Kapitel als Ausblick verstanden wissen. Weiterführende Fragen (siehe die Diskussion im abschließenden Abschnitt 8.3) sowie experimentelle Auswertungen sollen zukünftigen Forschungen vorbehalten bleiben.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite