next up previous contents
Nächste Seite: EIN NACHTEIL OBIGER VERFAHREN Aufwärts: PERFORMANZMASSE FÜR DIE DREI Vorherige Seite: REELLWERTIGE CODES   Inhalt

ENTFERNUNG DES GLOBALEN INVERTIBILITÄTSTERMS

Man kann zur Gewinnung binärer Codes auf den Autoassoziator verzichten und in (6.6) $\beta = 0$ setzen. In diesem Fall bliebe die Maximierung von

\begin{displaymath}T = \alpha V - \gamma H. \end{displaymath}

Warum sollte dies zur Erzielung von Reversibilität ausreichen? Die Minimierung des $H$-Terms verhindert, daß verschiedene Repräsentationsknoten dieselbe (und damit redundante) Information über den gegenwärtigen Eingabevektor liefern. Jeder Repräsentationsknoten wird lokal ermutigt, seine Entropie zu maximieren, während er gleichzeitig versucht, Information aus der Umgebung zu extrahieren, die nicht bereits in anderen Repräsentationsknoten enthalten ist. Reversible Codes werden also favorisiert, obwohl es keinen globalen Reversibilitätsterm mehr gibt.



Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite