INFOMAX

$D_l$ kann die wechselseitige Information zwischen Ein- und Ausgaben von $T_l$ sein (siehe Abschnitt 5.2). Aus den folgenden Gründen wurde Infomax in den später zu beschreibenden Experimenten nicht verwendet: (a) Es ist keine effiziente und allgemeine Methode zur Maximierung wechselseitiger Information bekannt. (b) Infomax würde bei unserem grundlegenden Ansatz nur dann Sinn machen, wenn es automatisch hohe Varianz der Ausgaben von $T_l$ zur Folge hätte. Dies ist zwar der Fall bei den vereinfachenden, von Linsker studierten Rauschmodellen. Für den allgemeinen Fall trifft dies allerdings nicht zu. (c) Selbst unter Annahme geeigneter Gaussscher Rauschmodelle erfordert Infomax bei nichtskalaren, vektorwertigen Klassifikationen die Maximierung von Funktionen der Determinante der Kovarianzmatrix der Klassifikationskomponenten ($DET$MAX, siehe Abschnitt 5.2.1).

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite