next up previous contents
Nächste Seite: Wozu selektive zeitliche Aufmerksamkeit Aufwärts: promotion Vorherige Seite: Schlußbemerkungen   Inhalt

Kompositionelles hierarchisches Lernen

In den bisherigen Kapiteln wurden einige im Prinzip sehr allgemeine Ansätze zum Lernen mit interner und externer Rückkopplung vorgestellt.

Dieses Kapitel kritisiert alle vorangegangenen Kapitel. Trotz ihrer Allgemeinheit sind die dort vorgestellten Algorithmen nämlich in verschiedener Hinsicht immer noch unbefriedigend. Keiner dieser Algorithmen (und auch kein Algorithmus eines anderen Autors) versucht, hierarchische Komposition von Aktionssequenzen ins Spiel zu brigen.

Keiner der existierenden Lernalgorithmen für dynamische Umgebungen wendet sich dem Problem des Lernens durch Zusammenfügen von Unterprogrammen, des Erlernens von `Teile und herrsche'-Strategien zu. Im diesem Kapitel wird argumentiert, daß weder einfache adaptive Kritiker noch reine Gradientenabstiegsmethoden für großmaßstäbliche dynamische Steuerprobleme tauglich sein werden. Es besteht ein Bedarf für kompositionelle Lernmethoden und für dynamische selektive zeitliche Aufmerksamkeit. Im folgenden wird erklärt, was unter selektiver zeitlicher Aufmerksamkeit zu verstehen ist, und warum sie so wichtig ist. Einige mit kompositionellem Lernen assoziierte Probleme werden identifiziert, und ein System wird beschrieben, welches wenigstens eines dieser Probleme angreift.

Mit zwei Beiträgen zielt das 8. Kapitel in die Zukunft:

Im ersten Beitrag wird in konstruktiver Weise gezeigt, daß das Erlernen des hierarchischen Aufstellens von Subzielen und von `divide and conquer' Strategien möglich ist. Am Beispiel des ersten adaptiven neuronalen Subzielgenerators wird experimentell gezeigt, daß NN's das hierarchische Aufstellen von Subzielen wenigstens im Prinzip erlernen können [62].

Damit ergibt sich zum ersten Mal eine Möglichkeit, einen sogenannten `higher-level-process' (zeitüberbrückende Planung) auf `neuronale' Weise adaptiv zu machen.

Der zweite Beitrag führt ein einfaches Prinzip zur unüberwachten `Kausalitätsdetektion' aus einem kontinuierlichen Ereignisstrom ein. Darauf basierend werden die Grundzüge eines Verfahrens zur hierarchischen Abstraktion von Ereignisfolgen angegeben.

Der abschließende Ausblick weist auf perspektivenreiche Möglichkeiten für introspektive neuronale Lernalgorithmen hin. Wesentliche Grundzüge für `neuronales Meta-Lernen' werden skizziert, im Rahmen der Arbeiten zur Dissertation allerdings nicht mehr implementiert.



Unterabschnitte
next up previous contents
Nächste Seite: Wozu selektive zeitliche Aufmerksamkeit Aufwärts: promotion Vorherige Seite: Schlußbemerkungen   Inhalt
Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent neural networks - Subgoal learning - Reinforcement learning and POMDPs - Reinforcement learning economies - Selective attention
Deutsche Heimseite