next up previous contents
Nächste Seite: ARCHITEKTUR UND NETZWERKDYNAMIK Aufwärts: NETZWERKARCHITEKTUREN, ZIELFUNKTIONEN UND KETTENREGEL Vorherige Seite: SCHLUSSBEMERKUNGEN   Inhalt

DYNAMISCHE VERBINDUNGEN

Im letzten Kapitel haben wir vollständig rückgekoppelte Netze sowie eine allgemeine Zielfunktion für überwachtes Lernen in dynamischen Umgebungen betrachtet. Stellen bei gleichbleibender Zielfunktion rückgekoppelte Netze die einzige Architekturklasse dar, die es erlaubt, über simple Musterassoziation hinausgehendes sequentielles Verhalten zu implementieren? Der vorliegende Beitrag zeigt, daß dem keineswegs so ist. Tatsächlich bietet jede differenzierbare Gedächtnisstruktur3.1 die Möglichkeit, mittels der Kettenregel gradientenbasierte Lernalgorithmen für nichtstationäre Umgebungen herzuleiten.

Ein Beispiel dafür liefern die wohl erstmals von von der Malsburg vorgeschlagenen `dynamischen Verbindungen' (e.g. [138]). Bei diesen handelt es sich um Kanten, deren Gewichte (= Synapsenstärken) sich innerhalb kürzester Zeit von Grund auf ändern können. Solche `schnellen Gewichte' stehen im Kontrast zu den in praktisch allen Netzwerkmodellen verwendeten `langsamen Gewichten', die sich nur durch wiederholte Trainingseinflüsse signifikant ändern und keine Kurzzeitspeicherfunktion übernehmen können.

Gerade so wie die rekurrenten Verbindungen des letzten Kapitels erlauben schnelle Gewichte dank ihres Potentials zur Implementierung zeitüberbrückender Speicherfunktionen dynamische Programmabläufe. Es gibt wenigstens drei Gründe, zu versuchen, Lernalgorithmen für dynamische Verbindungen abzuleiten.

Zum ersten gibt es in nahezu allen in der Literatur beschriebenen KNN wesentlich mehr Verbindungen als Knoten. Verwendet man also dynamische Verbindungen statt Knoten mit Rückkopplung zur Speicherung von Ereignissen, so gewinnt man an Speichereffizienz.

Zum zweiten scheinen dynamische Verbindungen ein ideales Mittel zur Implementierung temporärer Variablenbindungen in KNN darzustellen. Wie implementiert man eine temporäre Bindung? Naheliegenderweise durch einen Zeiger vom Variablennamen auf den gegenwärtigen Inhalt. Genau dafür sind schnelle Gewichte wie geschaffen3.2.

Zum dritten sind gewisse experimentell an biologischen Organismen gewonnene Resultate konsistent mit der Modellvorstellung dynamischer Verbindungen. [1] zeigt beispielsweise, daß sich die dynamische effektive Konnektivität zweier Neuronen innerhalb weniger 10 msec drastisch ändern kann.

Im folgenden wird erstmalig ein gradientenbasierter Lernalgorithmus für ein auf schnellen Gewichten basierendes dynamisches System abgeleitet. Wir folgen unserem üblichen Schema: Nach der Definition der Architektur und der Netzwerkdynamik leiten wir für dasselbe Performanzmaß, das schon im letzten Kapitel verwendet wurde, durch massive Anwendung der Kettenregel den entsprechenden Lernalgorithmus her. Einige Experimente (u.a. zur temporären Variablenbindung) illustrieren schließlich die Arbeitsweise des Verfahrens.



Unterabschnitte
next up previous contents
Nächste Seite: ARCHITEKTUR UND NETZWERKDYNAMIK Aufwärts: NETZWERKARCHITEKTUREN, ZIELFUNKTIONEN UND KETTENREGEL Vorherige Seite: SCHLUSSBEMERKUNGEN   Inhalt
Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite