next up previous contents
Nächste Seite: `Rekurrente' Umgebungsmodelle für R-Lernen Aufwärts: Vergleich mit anderen Ansätzen Vorherige Seite: Bezug zu TD-Methoden   Inhalt

Kritik und Ausblick

Die Motivation dieses Kapitels war es, die Kompatibilität vollständiger Lokalität mit zielgerichtetem Lernen unter Einschluß versteckter Knoten zu demonstrieren. Dieses Ziel wurde erreicht insofern, als zumindest bei einigen Experimenten nicht-linearer Natur gezeigt werden konnte, daß das vollständig lokale Eimerkettenprinzip zu brauchbaren Lösungen führen kann.

Andererseits wurden auch die Schranken des Algorithmus offenbar: Bei vergleichsweise großen Netzen sowie bei Aufgaben mit vergleichsweise langen zeitlichen Verzögerungen zwischen relevanten Ereignissen fand A1 keine befriedigenden Lösungen. Geht es um großmaßstäbliche Anwendungen, so ist vom Gebrauch der neuronalen Eimerkette abzuraten. (Das gleiche gilt allerdings auch für manches nicht-lokale Lernverfahren, wie z.B. die Boltzmann-Maschine.)

Obwohl (oder gerade weil?) die neuronale Eimerkette auf generelle Lernsituationen abzielt, muß sie sich den Vorwurf gefallen lassen, zu den `schwachen Methoden' (`weak methods') zu gehören. Die neuronale Eimerkette ist unter die generate-and-test-Verfahren einzureihen. Sie bemüht sich nicht darum, ein Modell externer Zusammenhänge zu konstruieren und dieses Modell zielgerichtet auszunutzen.

Die Tatsache, daß wenigstens für relativ kleine Probleme ein vollständig lokaler neuronaler Lernalgorithmus existiert, mag als Grundlage für weiterführende Arbeiten dienen. Es wäre zum Beispiel denkbar, daß man mehrere `Eimerkettenmodule' für verschieden hohe Ebenen der Problemlösung einsetzen kann. Die Motivation einer solchen Unternehmung bestünde gerade für lange Zeitdauern umfassende Aktionssequenzen darin, die Länge von Eimerketten kurz zu halten, um sie unanfälliger gegen Störungen verschiedenster Art zu machen.

Statt diese Möglichkeit in näheren Augenschein zu nehmen, werden wir uns in den nächsten Kapiteln jedoch zunächst mit modellbildenden Verfahren auseinandersetzen. Die Idee, in hierarchischer Weise größere Programme durch Komposition kleinerer Unterprogramme zu erlernen, wird aber im letzten Kapitel dieser Arbeit eine zentrale Rolle spielen.


next up previous contents
Nächste Seite: `Rekurrente' Umgebungsmodelle für R-Lernen Aufwärts: Vergleich mit anderen Ansätzen Vorherige Seite: Bezug zu TD-Methoden   Inhalt
Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent neural networks - Subgoal learning - Reinforcement learning and POMDPs - Reinforcement learning economies - Selective attention
Deutsche Heimseite