DISTRIBUIERTE REPRÄSENTATIONEN

In Abschnitt 5.5.3 wurde $D_l$ im zweiten Experiment durch einen Autoassoziator definiert. $D_l$ läßt sich jedoch statt dessen auch durch Predaktibilitätsminimierung festlegen.

Experiment 17: `on-line', Vorhersagbarkeitsmaximierung gemäß (5.15), $D_l$ definiert durch Vorhersagbarkeitsminimierung, ein gemeinsamer Gewichtsatz für beide Transformatoren, 2 versteckte Knoten pro Prediktor, 4 versteckte Knoten pro Transformator, Lernraten der Prediktoren gleich 1.0, Lernraten der Transformatoren gleich 0.5, $\epsilon = 0.5, ~~\lambda =1.0$. 10 Testläufe mit 10000 Musterpräsentationen wurden durchgeführt. Wie schon in Kapitel 5 fand das System stets eine distribuierte nahezu binäre Repräsentation der 4 möglichen vorhersagbaren Eigenschaftskombinationen.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite