Nachdem die Kapitel 2 und 3 ein sehr allgemeines Performanzmaß für überwachtes Lernen mit zwei unterschiedlichen Architekturklassen minimierten, und nachdem das dritte Kapitel zeigte, wie mittels zusätzlicher differenzierbarer Modelle der Effekte von Netzausgaben auch zielgerichtete Lernalgorithmen für Situationen ohne Lehrer ableitbar sind, erhebt sich die Frage, ob nun die Möglichkeiten des in dieser Arbeit verfolgten Ansatzes ausgeschöpft sind. Was wollte man denn noch mehr erreichen?
Die Antwort lautet: Auch wenn sich die bisher behandelten Performanzmaße und die entsprechenden Algorithmen durch Allgemeinheit auszeichnen, so lassen sich dennoch in gewissen typischen Umgebungen durch Einführung zusätzlicher Zielfunktionen und Architekturen für unüberwachtes Lernen Effizienzgewinne erzielen.
Einige der ersten (von biologisch orientierten Forschern vorgeschlagenen) Algorithmen für unüberwachtes Lernen kamen durch ad-hoc Überlegungen zustande. Prominentestes Beispiel hierfür ist die Hebb'sche Regel aus dem Jahre 1949 [33]: Sind zwei Neuronen gleichzeitig aktiv, so stärke die zwischen ihnen existierende Verbindung. Wir werden derartige ad-hoc Lernregeln hier nicht berücksichtigen. Statt dessen konzentrieren wir uns wieder ausschließlich auf Algorithmen, die aus sinnvollen vorgegebenen Performanzmaßen ableitbar sind. Interessanterweise wird sich dabei herausstellen, daß dieser formale Ansatz Varianten gewisser ehemals nur intuitiv motivierter Lernregeln (wie der Hebbschen Regel) im nachhinein rechtfertigt.
Das Kapitel erhebt keinen Anspruch auf Vollständigkeit - das Material in der Literatur ist bereits zu umfangreich, um auf wenigen Seiten dargestellt zu werden. Wir werden jedoch wesentliche Motivationen und Aspekte bisher in der Literatur aufgetauchter `moderner' unüberwachter Lernalgorithmen für stationäre Umgebungen in repräsentativer Manier zusammenfassen. Das Wort `modern' soll hier den Gegensatz zu älteren, nicht durch mathematisch saubere Herleitung aus sinnvollen Zielfunktionen gewonnenen Algorithmen betonen. An geeigneter Stelle werden originäre Beiträge eingeflochten, unter anderem ein neues, durch Gradientenabstieg gewonnenes Verfahren zur unüberwachten Bildung lokaler Musterrepräsentationen sowie eine neuartige Methode zur Extraktion nicht-trivialer wechselseitiger Information aus Eingabemustern. Letztere erweist sich in Experimenten zur Extraktion von Stereoinformation aus einfachen Stereobildern als geeigneter als eine ältere, von Becker und Hinton vorgeschlagene Methode [11].
