Varianten der Dekodierprobleme

Ein weiterer Aufgabentyp, an dem Lernverfahren für versteckte Knoten (BP, Boltzmann Maschine) häufig getestet werden, ist durch die Dekodierprobleme gegeben. In unserem Fall bestand das Problem darin, die acht achtdimensionalen binären Muster mit Einheitslänge jeweils mit sich selbst zu assoziieren. Ein `Informationsflaschenhals' (bottleneck) sorgte dafür, daß das Problem nicht trivial wurde: Acht Eingabeknoten waren mit drei jeweils zwei Knoten umfassenden WTA-Einheiten `vorwärtsverbunden'. Von den drei versteckten WTA-Einheiten gingen Verbindungen zu einer acht Ausgabeknoten umfassenden WTA-Einheit aus. Zusätzlich war ein `wahrer' Knoten mit allen Nicht-Eingabeknoten verbunden. Da jede versteckte WTA-Einheit nur zwei verschiedene Aktivationszustände annehmen konnte, war der Lernalgorithmus gezwungen, eine extreme Lösung zu finden: Die gesamte Repräsentationskapazität ($2^3 = 8$ mögliche Zustände) des `Flaschenhalses' mußte ausgeschöpft werden. Man beachte, daß bei BP-Netzen mit analoger Struktur (mit 3 versteckten Knoten) dank der reellwertigen Aktivierungsfunktionen wesentlich mehr Repräsentationskapazität im Flaschenhals steckt.

Das Vorgehen in diesem Fall illustriert, wie der Eimerkettenmechanismus in überwachter Manier angewendet werden kann. Im Gegensatz zu dem bei den XOR-Experimenten verwendeten Verfahren wurden nämlich auch Verbindungen zu denjenigen Ausgabeknoten gestärkt, die in Reaktion auf ein angebotenes Eingabemuster aktiv hätten sein sollen, obwohl sie vielleicht irrtümlicherweise ausgeschaltet blieben. Abgesehen von dieser Änderung wurde die oben beschriebene Lern- und Prüfprozedur vollständig übernommen.

Bei zehn Testläufen erwiesen sich durchschnittlich 1364 Musterpräsentationen pro Muster als notwendig, um eine Lösung zu finden. Es schien jedoch nicht möglich, die Lösungen für drei versteckte WTA-Einheiten vollständig zu stabilisieren. Erweiterte man den Flaschenhals auf vier versteckte WTA-Einheiten, so waren 2460 Präsentationen pro Muster notwendig, um dem Stabilitätskriterium Genüge zu tun.

Mit dem analogen $2^4$-$4$-$2^4$-Dekodierproblem schienen die Grenzen des Lernverfahrens erreicht: Hier wurden bei verschiedenen Testläufen keine vollständigen Lösungen erzielt. Erneut sei darauf hingewiesen, daß nicht behauptet werden soll, daß die neuronale Eimerkette perfekt sei. Es geht vielmehr darum, nachzuweisen, daß zumindest in einigen Fällen vollständig lokales Lernen und nicht-lineare Lernprobleme kompatibel sind.

Related links in English: Recurrent neural networks - Subgoal learning - Reinforcement learning and POMDPs - Reinforcement learning economies - Selective attention
Deutsche Heimseite