next up previous contents
Nächste Seite: UNÜBERWACHTE BILDUNG LOKALER REPRÄSENTATIONEN Aufwärts: DAS INFOMAX-PRINZIP Vorherige Seite: DAS INFOMAX-PRINZIP   Inhalt

MEHRDIMENSIONALE AUSGABEN

Bei mehr als einem Ausgabeknoten wird die kontinuierliche Version von Gleichung (5.1) unter ansonsten gleichen Voraussetzungen komplizierter. Nun gilt nämlich

\begin{displaymath}
R = \frac{1}{2}ln (\frac{Det(Q(y))}{VAR(n)} ),
\end{displaymath} (5.4)

wobei $Q(y)$ die Kovarianzmatrix der einzelnen Komponenten von $y$ bezeichnet [124]. Der aus der Maximierung von (5.4) durch Anwendung der Kettenregel ableitbare Lernalgorithmus ist insofern aufwendig (und auch biologisch recht unplausibel), als die partiellen Ableitungen der Determinante von $Q(y)$ bezüglich aller $y_i$ berechnet werden müssen. Der Effekt des Lernalgorithmus besteht in der Dekorrelation der Ausgaben, falls das Rauschsignal geringe Varianz besitzt. Bei starkem Rauschen erhöht sich die Redundanz der beteiligten Repräsentationskomponenten.

Kapitel 6 wird eine neue Methode zur Redundanzbeseitigung vorstellen, die im Gegensatz zu obiger Methode weder Gauss-Verteilungen noch lineare Abbildungen vom Eingaberaum in den Repräsentationsraum voraussetzen muß. Diese Methode wird weiterhin nicht nur die Dekorrelation der Ausgabeknoten, sondern sogar das wesentlich stärkere Kriterium statistischer Unabhängigkeit erzwingen.



Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite