next up previous contents
Nächste Seite: KONTINUIERLICHE GESCHICHTSKOMPRESSION Aufwärts: KOLLAPS DER HIERARCHIE Vorherige Seite: EXPERIMENT MIT DER KOLLAPS-ARCHITEKTUR   Inhalt

SCHRANKEN DER KOLLAPS-ARCHITEKTUR

Mit der Prediktorenhierarchie ließ sich das Standardproblem natürlich wesentlich schneller (innerhalb weniger 100 Trainingsequenzen) lösen als mit der Kollapsarchitektur, welche die meiste Zeit der Trainingsphase für den Kollabiervorgang selbst verwendete. Für die in Abschnitt 7.4.1 beschriebene Aufgabe (mit zeitlichen Verzögerungen von mehr als 1000 Zeitschritten) fand die Kollapsarchitektur innerhalb von $10^6$ Trainingssequenzen keine Lösung - damit lernte sie bei diesem Problem mindestens 1000 mal langsamer als die hierarchische Architektur. Ferner ist die hierarchische Architektur, wie bereits des öftern erwähnt, im Gegensatz zur Kollapsarchitektur sicher, da ein Prediktor der Hierarchie keinen potentiell destabilisierenden Einfluß auf Prediktoren niederer Ebenen nehmen kann. Ein Nachteil der Hierarchie besteht allerdings darin, daß die Informationsverarbeitung nach der Trainingsphase mehr als ein Netzwerk erfordert - was die Kollapsarchitektur trotz ihrer Schranken interessant erscheinen läßt.



Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite