next up previous
Nächste Seite: Einführung Aufwärts: promotion Vorherige Seite: promotion


Inhalt




Institut für Informatik

Technische Universität München



Dynamische neuronale Netze und das fundamentale raumzeitliche Lernproblem



Jürgen Schmidhuber





Vollständiger Abdruck der von der Fakultät für Mathematik und Informatik der
Technischen Universität München zur Erlangung des akademischen Grades eines



Doktors der Naturwissenschaften


genehmigten Dissertation.




Vorsitzender: Univ.-Prof. Dr. B. Radig


Prüfer der Dissertation:


1. Univ.-Prof. Dr. W. Brauer

2. Prof. K. Schulten, Ph. D.




Die Dissertation wurde am 7. November 1990 bei der Technischen Universität München eingereicht und durch die Fakultät für Mathematik und Informatik am 20. Dezember 1990 angenommen.

Zusammenfassung




Neuronale Netze, obwohl bisher fast ausschließlich in stationären Umgebungen eingesetzt, öffnen neue Perspektiven für die Lösung von Minskys `basic credit-assignment problem' in zeitlich variierenden reaktiven Umgebungen.

Im ersten Kapitel dieser Arbeit wird die allgemeine Problemstellung beschrieben. Die beiden folgenden Kapitel geben eine Einführung zu existierenden Lernalgorithmen für neuronale Netze mit nicht-stationären Eingaben.

Im originären Teil der Arbeit werden in drei aufeinanderfolgenden Kapiteln drei verschiedene neuartige Klassen von Echtzeit-Lernalgorithmen für neuronale Netze begründet und experimentell getestet. Vertreter aller drei Algorithmenklassen erlauben im Gegensatz zu praktisch allen anderen Verfahren interne Rückkopplung: Aufgrund zyklischer Verbindungen besteht das Potential für ein Gedächtnis in Form zirkulierender Aktivationen. Auch externe Rückkopplung ist im Prinzip möglich: Ausgabeaktionen eines Netzwerkes können Einfluß auf spätere Eingaben nehmen. Alle drei Ansätze können auf einen gut informierten Lehrer verzichten, der schon weiß, welche Aktion zu welchem Zeitpunkt hätte stattfinden sollen.

Die erste Methode zeigt erstmals auf konstruktive Weise: Zielgerichtetes Lernen mit `versteckten Neuronen' ist kompatibel mit der vollständigen Lokalität des Lernalgorithmus.

Die zweite Methode zeigt, wie das fundamentale raumzeitliche Lernproblem mittels zweier interagierender rekurrenter Netzwerke durch Gradientenabstieg in einem adaptiven `Umgebungsmodell' in Echtzeit angegangen werden kann.

Die dritte Methode zeigt erstmals, wie Suttons Methoden der zeitlichen Differenzen und adaptive Kritiker auf rekurrente Netzwerke angewendet werden können. Weiterhin werden unter Rückgriff auf die zweite Methode erstmals multidimensionale adaptive Kritiker beschrieben.

Das folgende Kapitel führt am Beispiel `attentive vision' erstmals vor, daß dynamische selektive Aufmerksamkeit gelernt werden kann. Gleichzeitig illustriert diese Anwendung, wie man aus einem scheinbar statischen Problem unter Effizienzgewinn ein dynamisches machen kann.

Das abschließende Kapitel kritisiert alle vorangehenden, weil sie nicht das Problem des kompositionellen hierarchischen Lernens ansprechen. Die Kritik ist konstruktiv: Erstmalig wird ein adaptiver neuronaler Subzielgenerator entwickelt.


next up previous
Nächste Seite: Einführung Aufwärts: promotion Vorherige Seite: promotion
Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent neural networks - Subgoal learning - Reinforcement learning and POMDPs - Reinforcement learning economies - Selective attention
Deutsche Heimseite