MEHRDIMENSIONALE AUSGABEN

Bei mehr als einem Ausgabeknoten wird die kontinuierliche Version von Gleichung (5.1) unter ansonsten gleichen Voraussetzungen komplizierter. Nun gilt nämlich

$$R = \frac{1}{2}ln (\frac{Det(Q(y))}{VAR(n)} ),$$ (5.4)

wobei $Q(y)$ die Kovarianzmatrix der einzelnen Komponenten von $y$ bezeichnet [124]. Der aus der Maximierung von (5.4) durch Anwendung der Kettenregel ableitbare Lernalgorithmus ist insofern aufwendig (und auch biologisch recht unplausibel), als die partiellen Ableitungen der Determinante von $Q(y)$ bezüglich aller $y_i$ berechnet werden müssen. Der Effekt des Lernalgorithmus besteht in der Dekorrelation der Ausgaben, falls das Rauschsignal geringe Varianz besitzt. Bei starkem Rauschen erhöht sich die Redundanz der beteiligten Repräsentationskomponenten.

Kapitel 6 wird eine neue Methode zur Redundanzbeseitigung vorstellen, die im Gegensatz zu obiger Methode weder Gauss-Verteilungen noch lineare Abbildungen vom Eingaberaum in den Repräsentationsraum voraussetzen muß. Diese Methode wird weiterhin nicht nur die Dekorrelation der Ausgabeknoten, sondern sogar das wesentlich stärkere Kriterium statistischer Unabhängigkeit erzwingen.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite