Man darf von auf Vorhersagbarkeitsminimierung beruhenden Gradientenabstiegsmethoden nicht erwarten, bei gegebener Trainingsumgebung stets beim ersten Versuch einen faktoriellen Code zu finden. Vorhersagbarkeitsminimierung erlaubt jedoch, Redundanzen zu entdecken und zu eliminieren, die von älteren linearen Methoden nicht eliminierbar waren.
In vielen realistischen Fällen würde man sich mit Approximationen nicht-redundanter Codes begnügen. Das Experiment mit den unterschiedlich wahscheinlichen Buchstabenbildern zeigt, daß Vorhersagbarkeitsminimierung zu bedeutender Redundanzminimierung führen kann. Es bleibt zu untersuchen, ob das Verfahren auch dazu taugt, weitgehend redundanzfreie Repräsentationen von Eingaben aus der `realen' Welt zu entdecken. Weiterführende Arbeiten sollen die in diesem Kapitel vorgestellten Methoden auf das Problem unüberwachter Bildsegmentation anwenden.
Zwischen Vorhersagbarkeitsminimierung und den konventionelleren kompetitiven Lernschemata besteht eine Verwandtschaft: In einem gewissen Sinne treten Repräsentationsknoten miteinander in Wettbewerb, um bestimmte `abstrakte' Transformationen der Umgebungseingaben repräsentieren zu dürfen. Der Wettbewerb beruht dabei nicht auf physikalischen Nachbarschaftskriterien (siehe z.B. [42]), sondern auf wechselseitiger Vorhersagbarkeit. Im Gegensatz zu den von sogenannten `winner-take-all'-Netzwerken erlaubten Repräsentationen gestatten durch Vorhersagbarkeitsminimierung geformte distribuierte Repräsentationen im allgemeinen mehr als einen `Gewinner', solange alle `Sieger' für statistisch voneinander unabhängige aus der Umgebung extrahierte abstrakte `Objekte' stehen.
Man könnte darüber spekulieren, ob das Gehirn ein ähnliches Prinzip benützt, um `Konzepte' aus den Umgebungseingaben herauszufiltern. Möglicherweise wäre es eine lohnende Aufgabe, in biologischen Organismen nach `Vorhersage-Neuronen' und den Vorhersagen ausweichenden `Repräsentationsneuronen' zu forschen6.2.
Das vorliegende Kapitel nimmt einen allgemeinen Standpunkt ein, indem es sich auf den generellen Fall nicht-linearer Vorhersagbarkeitsminimierung konzentriert. Gelegentlich mag es jedoch von Vorteil sein, die theoretischen Möglichkeiten der Prediktoren und Repräsentationsmodule einzuschränken, indem man sie linear oder semilinear macht. So mag sich zum Beispiel ein hierarchisches System mit von der Berechnungskapazität her limitierten, sich in aufeinanderfolgenden Stufen der Hierarchie befindlichen Modulen als geeignet erweisen, um hierarchische Strukturen spezieller Umgebungseingaben zu reflektieren.