Bislang haben wir gesehen, daß die meisten Lernalgorithmen für neuronale Netze in nichtstationären Umgebungen nicht einmal eingeschränkt lokal in Zeit und Raum sind. Weiterhin ist keine der bisher bekannten Prozeduren für zielgerichtetes Lernen mit `versteckten Knoten' vollständig lokal. Am deutlichsten wird die Nichtlokalität bei überwachten Algorithmen für rekurrente Netzwerke. Aber auch schon die normale Back-Propagation-Prozedur für statische azyklische Netzwerke erfordert eine globale Instanz, um die aufeinanderfolgenden Berechnungen von Knotenaktivationen sukzessiver Netzlagen und die sich abwechselnden Aktivationsausbreitungs-, Fehlerpropagierungs- und Gewichtsänderungsphasen zu kontrollieren.
Soweit wir das heute beurteilen können, sind die Lernregeln in biologischen Systemen mit vielen `versteckten Knoten' jedoch vollständig lokal in Raum und Zeit. Trotzdem (oder gerade deshalb?) sind biologische Systeme imstande, komplexe Lernprobleme raumzeitlicher Art zu lösen.
In diesem Kapitel wird im ersten wirklich originären Beitrag dieser Arbeit gezeigt, daß stark lokales zielgerichtetes Lernen mit `versteckten Knoten' kein Widerspruch in sich ist: Wir treten nämlich einen konstruktiven Gegenbeweis an.
Wir konstruieren eine Klasse von Lernalgorithmen, die folgende Eigenschaften besitzen: Alle Knoten und alle Verbindungen führen zu jedem Zeitpunkt im wesentlichen dieselbe Operation aus. Kein Knoten und keine Verbindung kümmert sich zu irgendeinem Zeitpunkt darum, ob er/sie Teil eines zyklischen oder eines azyklischen Netzwerkes ist, wie etwa die globale Netzlagenstruktur aussieht, wie lange Sequenzen von Netzeingaben dauern, etc... Zum Lernen ist lediglich reinforcement-artige Information notwendig. Aber auch Information überwachender Natur kann ohne zusätzlichen Aufwand in sinnvoller Weise mitverwendet werden. Gewichtsänderungen finden ständig statt und sind von der Aktivationsausbreitung nicht zeitlich getrennt.
Das den Algorithmen zugrundeliegende Schema ist inspiriert durch Hollands `bucket brigade algorithm' für regelbasierte Systeme, wie er im letzten Kapitel beschrieben wurde. Allerdings gibt es schon vom Grundkonzept her eine Reihe signifikanter Unterschiede zu Hollands Ansatz. Das Schema macht aus dem Netzwerk ein dissipatives System, durch welches ständig eine von einem externen Kritiker im Erfolgsfall spendierte `Gewichtssubstanz' fließt. Es wird permanent versucht, diesen Gewichtsstrom zu erhalten oder zu verstärken.
Es wird nicht behauptet, daß biologische Neuronen tatsächlich nach dem vorgestellten Schema funktionieren. Es wird auch nicht behauptet, daß Vertreter der vorgestellten Algorithmenklasse bestimmte Probleme etwa schneller als die konkurrenzfähigsten nicht-lokalen Algorithmen zu lösen imstande sind (in der Tat wurden einige Experimente durchgeführt, die eher auf das Gegenteil hinweisen und deutlich die Grenzen des Vefahrens aufzeigen). Es wird aber gezeigt: Die Grundidee des `bucket brigade algorithmus' ist in sinnvoller Weise auf neuronale Netze transformierbar, und räumlich und zeitlich lokales Lernen in Netzwerken mit versteckten Knoten ist möglich.
Das Kapitel ist wie folgt gegliedert: Nach einer intuitiven Erklärung des Verfahrens werden die exakten Gleichungen für eine Version mit diskreter Zeit angegeben. Im Anschluß wird eine mögliche Erweiterung für kontinuierliche Zeit besprochen. Daraufhin beschreiben wir eine Reihe erfolgreicher Anwendungen auf nicht-lineare Probleme, sowie zwei Probleme, bei denen das Verfahren scheitert. Letztere motivieren die beiden nachfolgenden Kapitel. Schließlich werden einige Brücken zu weitläufig verwandten Konzepten aus dem Bereich massiv paralleler Lernsysteme geschlagen.