next up previous contents
Nächste Seite: Ein adaptiver Subzielgenerator Aufwärts: Kompositionelles hierarchisches Lernen Vorherige Seite: Wozu selektive zeitliche Aufmerksamkeit   Inhalt

Kompositionelles Lernen: Das `Teile und herrsche'-Problem

Gibt es kein a priori Wissen über typische Konsequenzen bestimmter Aktionssequenzen, können wir von unserem Roboter nicht erwarten, daß er die Anzahl der für den Lernprozeß zu beachtenden Ereignisse in vernünftiger Weise reduziert. Nehmen wir jedoch an, daß der Roboter schon gelernt hat, gewisse Aktionssequenzen in zufriedenstellender Weise durchzuführen, dann sollte ein intelligenter Adaptionsvorgang schon vorhandene `Unterprogramme' zur Erleichterung des Lernens neuer Aufgaben ausnützen. Auf inkrementelle Weise sollte der Roboter Information über Startbedingungen und Effekte von Unterprogrammen zur Komposition von komplizierteren (Unter-)Programmen heranziehen.

Kompositionelles Lernen bedeutet zu lernen, Lösungen für neue Aufgaben durch sequentielle Aneinanderreihung von Lösungen für ältere Probleme zu generieren. Kompositionelles Lernen heißt zu lernen, wie man `teilt und herrscht'. Es bedeutet auch zu lernen, wie man das Problem, eine Aktionssequenz von einem Startzustand in einen Zielzustand zu finden, in mehrere Unterprobleme zerlegt, für die schon Unterprogramme existieren. Es bedeutet das Erlernen des Ignorierens irrelevanter Details von Unterprogrammen. Die Schnittstellen zwischen Unterprogrammen treten dabei in den Vordergrund. Kompositionen von Unterprogrammen können ihrerseits als Unterprogramme für noch kompliziertere Aufgaben dienen.

Erneut sei auf die Symmetrie zwischen Planen und Lernen hingewiesen: In beiden Fällen müssen Ereignissubsequenzen kombiniert werden, um eine Brücke von Anfangszuständen zu Endzuständen zu bauen. Derselbe Prozeß, der einen gegenwärtigen Zustand durch die Zusammensetzung von Repräsentationen vergangener Subprozesse zu erklären vermag, kann auch zur Erreichung zukünftiger Ziele durch Zusammensetzung von Subprozessen dienen. Da Lernen nur dann Sinn macht, wenn Aufgaben, die man in der Vergangenheit hätte lösen sollen, denjenigen ähneln, die in der Zukunft zu lösen sein werden, kann man das Planen im wesentlichen dem Lernen gleichsetzen.

Wir gehen im folgenden davon aus, daß das `Teile und herrsche'-Problem in zwei Teile zerlegt und dann (besser) beherrscht werden kann, nämlich in das `Teile'-Problem und das `Herrsche'-Problem.

Das `Teile'-Problem besteht darin, alle Arten von Ereignissequenzen in zusammengehörige Untersequenzen zu zerlegen. Es besteht also darin zu entscheiden, was ein gutes Unterprogramm ist, und welche Anfangs- und Endzustände den Unterprogrammen zu eigen sind. Offensichtlich hat das Teile-Problem mit unüberwachtem Lernen zu tun.

Das `Herrsche'-Problem besteht darin, aus vielen vorhandenen Unterprogrammen bestimmte auszuwählen und sie in einer Weise zu kombinieren, die das Erreichen eines Zielzustandes zur Folge hat.

Im folgenden wird das Herrsche-Problem zunächst isoliert unter der Annahme betrachtet werden, daß das Teile-Problem bereits gelöst ist. (Das Teile-Problem wird im Ausblick beim Thema Kausalitätsdetektoren angeschnitten werden.) Wir konzentrieren uns also auf das Problem der Generierung adäquater Unterziele für nicht-triviale Aufgaben unter der Voraussetzung des Vorhandenseins funktionierender Unterprogramme für einfacherere Aufgaben. Der nächste Unterabschnitt beschreibt einen adaptiven Subzielgenerator. Letzterer benutzt adaptive Modellnetzwerke zur Vorhersage der Effekte der dem Gesamtsystem eigenen Unterprogramme.


next up previous contents
Nächste Seite: Ein adaptiver Subzielgenerator Aufwärts: Kompositionelles hierarchisches Lernen Vorherige Seite: Wozu selektive zeitliche Aufmerksamkeit   Inhalt
Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent neural networks - Subgoal learning - Reinforcement learning and POMDPs - Reinforcement learning economies - Selective attention
Deutsche Heimseite