AUTOASSOZIATOREN

Ein Rekonstruktionsmodul $A^l$ erhält $y^{p,l}$ als Eingabe. Die Kombination von $T_l$ und $A^l$ wird mittels BP trainiert, die Rekonstruktion $h^{p,l}$ der externen Eingabe $x^{p,l}$ von $T_l$ auszugeben. Die grundlegende Architektur ist die eines Autoassoziators. $D_l$ läßt sich dabei als der Rekonstruktionsfehler

$$D_l = \frac{1}{2} \sum_p \Vert h^{p,l} - x^{p,l} \Vert^2.$$ (5.16)

definieren. Man werfe erneut einen Blick auf Abbildung 5.2.

Autoassoziatoren sind einfach zu implementieren. Ein Nachteil der Methode liegt jedoch darin, daß die vorhersagbare Information eines Eingabemusters unter Umständen trotz Nichttrivialität nichts dazu beiträgt, den Rekonstruktionsfehler zu minimieren (als Beispiel diene das Stereoexperiment aus Abschnitt 5.5).

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite