G-MAX

Der G-Max Algorithmus [69] zielt darauf ab, in den Eingaben enthaltene Redundanz zu entdecken. G-Max maximiert im wesentlichen die Differenz zwischen der Wahrscheinlichkeitsverteilung $P$ der Ausgaben eines azyklischen Netzes mit einem einzelnen binären probabilistischen Ausgabeknoten und der Verteilung $Q$, die man unter der Annahme, daß die Komponenten der Eingabevektoren statistisch unabhängig sind, erwarten würde. Der Ausgabeknoten kann nur die Werte 0 oder 1 annehmen. Die Wahrscheinlichkeit, daß er in Antwort auf $x^p$ den Wert 1 annimmt, sei mit $P^p$ bezeichnet. Die Wahrscheinlichkeit, daß er in Antwort auf $x^p$ unter der Annahme, daß die Eingabekomponenten statistisch voneinander unabhängig sind, den Wert 1 annimmt, sei mit $Q^p$ bezeichnet. Die zu maximierende Zielfunktion ist die sogenannte asymptotische Divergenz (oder auch Kullback-Distanz, siehe [44])

$$G = \sum_p P^p log \frac{P^p}{Q^p} + (1-P^p) log \frac{1-P^p}{1-Q^p}.$$ (5.8)

Das Problem des G-Max-Algorithmus besteht darin, daß er nicht (zumindest nicht in offensichtlicher Weise) auf mehrdimensionale Ausgaben erweiterbar ist.

Experimente. Pearlmutter und Hinton berichten, daß G-max nach Training mit Bildern orientierter Balken wie schon Linskers Methode (Abschnitt 5.2) ebenfalls zu biologisch plausiblen `on-center/off-surround'-Strukturen führt [69].

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite