EXPERIMENTE ZUR VORHERSAGBARKEITSMAXIMIERUNG

[120] und [75] enthalten beschreiben verschiedene Experimente zur Vorhersagbarkeitsmaximierung. So war es beispielsweise möglich, die in Abschnitt 5.5 beschriebene Stereo-Aufgabe [35] durch Vorhersagbarkeitsmaximierung (mit durch Vorhersagbarkeitsminimierung definiertem $D_l$) bei 100-prozentiger Erfolgsquote innerhalb kürzerer Zeit zu lösen als mittels Beckers und Hintons Methode, welche noch dazu bestimmte `Tricks' erforderte (siehe auch Abschnitt 6.6.5).

In untenstehenden Experimenten wurden Mittelwerte $\bar y^l_i$ annäherungsweise durch die Formel

$$\hat y^l_i \leftarrow 0.95 \hat y^l_i + 0.05 y^l_i,$$

berechnet, wobei $\hat y^l_i$ die Approximation von $\bar y^l_i$ nach Beobachtung von $y^l$ ist. Im Falle lokaler Ausgaberepräsentation (Abschnitt 5.3) wurde $\hat y^l_i$ mit $\frac{1}{q}$ initialisiert, ansonsten mit 0.5.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite