EXPERIMENTE MIT GLEICHVERTEILTEN EINGABEN

Bei den in diesem Unterabschnitt beschriebenen Experimenten besteht das Eingabeensemble aus $2^{dim(y)}$ uniform verteilten Eingabevektoren. Daher sind die erwünschten faktoriellen Codes bei maximalem $T = V_C$ gerade die alle möglichen Binärmuster umfassenden Binärcodes. Der unbedingte Erwartungswert der Aktivation jedes Repräsentationsknotens ist im Erfolgsfall gleich 0.5, was dem vom entsprechenden Prediktor als Antwort auf jedes Eingabemuster emittierten bedingten Erwartungswert entspricht.

Experiment 1: `off-line', $dim(y) = 2$, $dim(x) = 4$, lokale Eingaberepräsentation, 3 versteckte Knoten pro Prediktor, 4 allen Repräsentationsmodulen gemeinsame versteckte Knoten. 10 Testläufe mit 20000 Trainingsepochen für die Repräsentationsmodule wurden durchgeführt. In 8 Fällen genügte dies zur Findung eines faktoriellen Binärcodes.

Experiment 2: on-line, $dim(y) = 2$, $dim(x) = 2$, verteilte Eingaberepräsentation, 2 versteckte Knoten pro Prediktor, 4 allen Repräsentationsmodulen gemeinsame versteckte Knoten. 10 Testläufe wurden durchgeführt. Weniger als 3000 Musterpräsentationen (äquivalent zu ca. 700 Epochen) reichten dabei stets aus, um einen faktoriellen Binärcode zu entdecken.

Experiment 3: `off-line', $dim(y) = 4$, $dim(x) = 16$, lokale Eingaberepräsentation, 3 versteckte Knoten pro Prediktor, 16 allen Repräsentationsmodulen gemeinsame versteckte Knoten. 10 Testläufe mit 20000 Trainingsepochen für die Repräsentationsmodule wurden durchgeführt. In einem Fall fand das System einen invertiblen faktoriellen Code. In 4 Fällen kreierte es einen `nahezu' faktoriellen Code mit 15 verschiedenen binären Ausgabemustern als Antworten auf die 16 Eingabemuster. In drei Fällen kreierte es einen Code mit 14 Ausgabemustern, und in 2 Fällen einen mit 13. In allen Fällen wurde zumindest eine in hohem Maße nicht-redundante Codierung gefunden.

Experiment 4: on-line, $dim(y) = 4$, $dim(x) = 4$, verteilte Eingaberepräsentation, 6 versteckte Knoten pro Prediktor, 8 allen Repräsentationsmodulen gemeinsame versteckte Knoten. 10 Testläufe wurden durchgeführt. In allen Fällen außer einem genügten weniger als 4000 Musterpräsentationen (äquivalent zu weniger als 300 Epochen) zur Entdeckung eines faktoriellen Binärcodes mit 16 verschiedenen binären Ausgabemustern als Antworten auf die 16 Eingabemuster.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite