DAS INFOMAX-PRINZIP

Linskers Infomaxpinzip [49][50] zielt auf die Maximierung der wechselseitigen (Shannon-) Information [125] zwischen Ein- und Ausgabeensemble. Wir setzen eine endliche Zahl von Eingabevektoren $x^p$ und Repräsentationsvektoren $y^q$ voraus. Nach Shannon ist die wechselseitige Information zwischen Ein- und Ausgabe gleich

$$R = < ln \frac{P(y^q \mid x^p)}{ P(y^q)} >,$$ (5.1)

wobei $< ... >$ den über das ganze Musterensemble genommenen Durchschnitt bezeichnet.

Es ist keine effiziente Methode zur Maximierung von (5.1) im Falle beliebiger azyklischer Netzarchitekturen, beliebiger Ausgabedimensionalität $dim(y)$ und beliebiger Eingabeensembles bekannt.

Betrachtet man allerdings ein Netzwerk, das nur über einen einzigen Ausgabeknoten verfügt, dessen Ausgabe $y^p_1$ die Summe einer linearen Funktion des Eingabevektors $x^p$ und eines nicht verschwindenden Rauschterms $n$ ist, wobei sowohl die Eingabesignale als auch das Ausgaberauschen Gauss-Verteilungen unterliegen, so läßt sich eine kontinuierliche Version von (5.1) als

$$R = \frac{1}{2}ln (\frac{VAR(y_1)}{VAR(n)} )$$ (5.2)

schreiben [49]. Unter der Annahme, daß $VAR(n)$ fix bleibt, läßt sich $R$ nun ohne weiteres mit der Kettenregel differenzieren. Der resultierende Lernalgorithmus ist äquivalent zur Maximierung der Ausgabevarianz. Interessanterweise stellt dies eine Variante der Hebbregel dar [33].

Wird nun zu jedem Eingabesignal Rauschen mit Varianz $V(n)$ addiert, so ergibt sich nach Linsker

$$R = \frac{1}{2} ln (\frac{VAR(y_1)}{VAR(n) \sum_i w_i^2} ),$$ (5.3)

wobei $w_i$ das Gewicht der Verbindung vom $i$-ten Eingabeknoten zum Ausgabeknoten ist. Der resultierende Lernalgorithmus ist äquivalent zur Maximierung der Ausgabevarianz unter gleichzeitiger Minimierung der Länge des Gewichsvektors, was der Analyse der prinzipiellen Komponenten des Eingabeensembles enstpricht (siehe hierzu auch [65][87][84][126][73]).

Experimente. [49] berichtet u.a., daß das Infomaxprinzip bei unstrukturierten Gauss-verteilten Eingaben im linearen Fall zu rezeptiven Feldern mit einer `on-center/off-surround'-Struktur führt, wie sie auch in biologischen Nervensystemen häufig beobachtet wird. Unter gewissen Voraussetzungen wurden auch Kohonen-artige topologische Karten [42] gefunden [50].

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite