next up previous contents
Nächste Seite: Schlußwort und Ausblick Aufwärts: Kompositionelles hierarchisches Lernen Vorherige Seite: Ein illustratives Experiment mit   Inhalt

Das `Teile'-Problem und adaptive Kausalitätsdetektoren

Eine sehr wichtige Frage, der im letzten Abschnitt aus dem Weg gegangen wurde, lautet: Was ist denn ein gutes Unterprogramm, das es auch wirklich wert ist, durch eine Anfang/Ende-Kombination in abgekürzter Form memoriert zu werden? Damit eng verwandt ist die Frage: Welche in der Umgebung sichtbaren Ereignissequenzen `gehören zusammen'? Diese Fragen haben offensichtlich mit unüberwachter Regularitätsentdeckung zu tun. Sie zielen ab auf die in Ereignis- und Aktionssequenzen enthaltene kausale Struktur.

Um die kausale Struktur einer dynamischen Umgebung in effizienter Weise zu repräsentieren, sei hier folgende grundlegende Idee zur Messung kausaler Abhängigkeiten vorgeschlagen:

Als eine zusammengehörige Untersequenz soll eine Ereignissequenz dann betrachtet werden, wenn es während ihres Ablaufs für einen adaptiven Vorhersager einfach ist, die Eingabe zu einem gegebenen Zeitpunkt aus Eingaben vergangener Zeitpunkte vorherzusagen [62]. Der adaptive Prophet kann durch irgendeinen überwachten Algorithmus für dynamische rekurrente Netze trainiert werden. Wann immer es eine Diskrepanz zwischen Erwartung und Realität gibt, existiert auch ein Grund, für die Untersequenz, welche die Zeit zwischen den letzten beiden unerwarteten Ereignissen überbrückt, einen neuen Namen zu generieren (wir nehmen einfach die Kombination aus Anfangs- und Endzustand der Untersequenz).

Dieses Vorgehen ist in einem gewissen Sinne sehr natürlich und effizient: Erwartete Ereignisse braucht sich ein lernendes System ja nicht zu merken, sie können aus dem deduziert werden, was das System schon weiß.

Kausalitätsaufdeckung zielt auf die Reduktion der Repräsentation der externen Dynamik. Es wird versucht, eine `minimale' Beschreibung der kausalen temporalen Struktur der Umgebung zu erhalten. Natürlich ist `Minimalität' in diesem Kontext relativ zum gegewärtigen Wissen des lernenden Systems zu sehen: Einer Umgebung mag eine tiefe Kausalstruktur zugrundeliegen, das Lernsystem mag jedoch unter Umständen weit davon entfernt sein, sie zu entdecken.

Der Leser beachte, daß Kausalitätsdetektion sehr verwandt ist mit dem, was er selbst ständig tut. Man erinnert sich bevorzugt an die unerwarteten, merkwürdigen Ereignisse. Diejenigen Vorfälle, die sich ständig wiederholen, fallen mit der Zeit der Nichtbeachtung anheim.

Es sollte hier erwähnt werden, daß es wichtig ist, zwischen zwei Arten von unerwarteten Ereignisse zu unterscheiden: Solchen, die in Situationen auftreten, für die das System bereits gelernt hat, daß es keine zuverlässige Voraussage treffen kann, und solchen, die tatsächlich den vom System für zuverlässig eingeschätzten Voraussagen widersprechen. Es ist also notwendig, das Vertrauen des neuronalen Systems in seine eigenen Vorhersagen zu modellieren, was durch ein geeignetes adaptives Sub-netzwerk erreicht werden kann. Experimente mit derartigen Systemen seien jedoch auf weiterführende Arbeiten verschoben.

Natürlich gibt es beim zielgerichteten Lernen noch weitere interessante Kandidaten für merkwürdige Situationen. Regularitätsdetektion sollte in hohem Maße durch adaptive selektive Aufmerksamkeit [64] und durch augenblickliche Subziele beeinflußt sein. Es ist beabsichtigt, durch weitere Untersuchungen Kausalitätsdetektoren und Subzielgeneratoren für die Generierung von Subzielhierarchien zu einem kohärenten Ganzen zu verschmelzen.


next up previous contents
Nächste Seite: Schlußwort und Ausblick Aufwärts: Kompositionelles hierarchisches Lernen Vorherige Seite: Ein illustratives Experiment mit   Inhalt
Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent neural networks - Subgoal learning - Reinforcement learning and POMDPs - Reinforcement learning economies - Selective attention
Deutsche Heimseite