next up previous contents
Nächste Seite: PRINZIP Aufwärts: UNÜBERWACHTE GESCHICHTSKOMPRESSION Vorherige Seite: EXPERIMENTE ZUR TEXTKOMPRESSION   Inhalt

KOLLAPS DER HIERARCHIE

Normalerweise stellt eine Prediktorenhierarchie mit mehreren Ebenen den sichersten und schnellsten Weg dar, um den Umgang mit Sequenzen mit hierarchischer zeitlicher Struktur zu erlernen. Ein gewisser Nachteil des Multiebenensystems besteht jedoch darin, daß gewöhnlich nicht von vornherein bekannt ist, wieviele Ebenen benötigt werden. Ein weiterer Nachteil mag in gewissen Fällen darin gesehen werden, daß die Ebenen explizit voneinander getrennt sind, statt in ein und demselben Netzwerk repräsentiert zu werden.

Es ist jedoch bis zu einem gewissen Grad möglich, die Hierarchie in ein einzelnes Netz zu kollabieren. Der vorliegende Abschnitt liefert dazu Architektur und Zielfunktionen. Es soll allerdings gleich vorausgeschickt werden, daß wir hier zum ersten Mal ein mathematisch nicht exaktes Verfahren bekommen werden - es wird auf Gradientenabstieg in einer sich ändernden Funktion basieren und damit ein Potential für Instabilitäten aufweisen [110]. Ein Experiment mit unserer Standardaufgabe wird jedoch zeigen, daß auch die kollabierende Architektur konventionellen rekurrenten Netzen bei weitem überlegen sein kann.



Unterabschnitte

Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite