SCHRANKEN DES ANSATZES

Gerade wie die rekurrenten Netzwerke des letzten Kapitels geraten auch die Algorithmen des vorliegenden Kapitels in Schwierigkeiten, wenn alle Trainingssequenzen lange zeitliche Verzögerungen zwischen korellierten Ereignissen aufweisen. Beim Variablenbindungsexperiment aus dem vorangehenden Abschnitt trat dieser Effekt dank der gelegentlich kurzen zeitlichen Abstände zwischen relevanten Ereignissen im Eingabestrom nicht in Erscheinung. Erhöhte man beim obigen Versuch jedoch die Mindestzahl der Zeitschritte, die während der Trainingsphase zwischen zwei `Parkaktionen' verstreichen müssen, auf 10, so fand das System innerhalb von $10^6$ Zeitschritten keine Lösung mehr. Auch zur Standardaufgabe (siehe Abschnitt 2.6.4) analoge Probleme ließen sich mit der im vorliegenden Kapitel dargelegten Methode nicht in akzeptabler Zeit lösen. Dies liefert erneut Motivation für die in Kapitel 7 vorzustellenden erweiterten Verfahren zur Sequenzanalyse.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite