Ein Flip-Flop Problem

Bei diesem Problem hätte das Eimerkettennetzwerk lernen sollen, sich analog zu einem Flip-Flop zu verhalten. Die Aufgabe bestand dabei darin, auf einen kontinuierlichen Strom von Eingabeereignissen (es gab 3 mögliche lokal repräsentierte Eingabeereignisse `A', `B' und `C') in folgender Weise zu reagieren: Wann immer ein Ereignis `B' zum ersten Mal nach einem Ereignis `A' stattfand, sollte der erste Ausgabeknoten einer 2 Knoten enthaltenden WTA-Einheit aktiviert werden, in allen anderen Fällen der zweite Knoten.

Eine Schwierigkeit bestand darin, daß die Ereignisse in der Umgebung auf zufällige Weise generiert wurden und beliebig lange Verzögerungen zwischen relevanten Ereignissen auftreten konnten. $C$ mußte also lernen, sich das Eintreten des Ereignis `A' über einen im Prinzip beliebig langen Zeitraum zu merken, nachfolgende unter Umständen irrelevante Ereignisse zu ignorieren und beim Eintreten von `B' in korrekter Weise zu reagieren sowie die `Speicherung' von `A' rückgängig zu machen.

Die Hauptschwierigkeit bestand in der Abwesenheit eines informativen Lehrers. Gewichtssubstanz wurde wie beim XOR-Experiment dann vergeben, wenn das Netz den richtigen Knoten zum richtigen Zeitpunkt aktivierte.

Unter verschiedensten Bedingungen (Anzahl der versteckten Knoten, Netztopologie) war es dem Eimerkettenalgorithmus nicht möglich, die Aufgabe zu lösen.

Die Tatsache, daß die neuronale Eimerkette bei langen Verzögerungen zwischen Aktionen und ihren späteren Konsequenzen sich nicht als das geeignete Verfahren erweist, legt es nahe, für solche Fälle nach tragfähigeren Alternativen für Netzwerke mit interner und externer Rückkopplung zu suchen. Die Kapitel 5 und 6 widmen sich diesem Anliegen, dort wird allerdings die starke Lokalität aufgeben.

Related links in English: Recurrent neural networks - Subgoal learning - Reinforcement learning and POMDPs - Reinforcement learning economies - Selective attention
Deutsche Heimseite