GRUNDBAUSTEINE DES NETZWERKARCHITEKTEN

Welche Netzwerkarchitekturen sind sinnvoll? Eine `vernünftige' Netzarchitektur spiegelt gewöhnlich die beim Lösungsansatz für eine gegebene Problemklasse auftretenden Unterprobleme wider. Oft erhält man die geeignete Gesamtarchitektur durch Zusammenschaltung verschiedener Untermodule mit jeweils eigener Zielfunktion (Kapitel 3, 4, 6, 7). Ausgaben des einen adaptiven Moduls werden häufig zu Eingaben eines anderen adaptiven Moduls - im Rahmen dieser Arbeit muß allerdings dafür Sorge getragen werden, daß durch die Hintereinanderschaltung verschiedener KNN das Differenzierbarkeitskriterium nicht verletzt wird.

Gewisse Grundbausteine erweisen sich in höchst unterschiedlichen Kontexten als sinnvoll und werden daher in unseren Netzarchitekturen immer wieder auftreten. Alle in den folgenden Kapiteln untersuchten neuronalen Netze bestehen aus einem Paar $(K,V)$: $K$ ist eine Menge von zu biologischen Neuronen korrespondierenden Knoten , $V \subseteq K \times K$ ist eine Menge von zu biologischen Nervenfasern korrespondierenden gerichteten Kanten oder Verbindungen zwischen den Knoten. Zu jedem Knoten gehört zu jedem Zeitpunkt eine der Feuerrate eines Neurons entsprechende reelle Aktivation. Zu jeder Kante gehört ein zu einer Synapsenstärke korrespondierendes reelles Gewicht. Eine Teilmenge von $K$ wird als die Menge der Eingabeknoten ausgezeichnet. Eingabeknoten werden zu jedem Zeitpunkt durch sensorische Wahrnehmung von Eingabevektoren aus der Umgebung aktiviert. Alle anderen Knoten (die sogenannten Nichteingabeknoten) berechnen ihre Aktivationen durch differenzierbare Funktionen der Aktivationen von Knoten, von denen sie Verbindungen erhalten. Häufig wird eine Teilmenge der Nichteingabeknoten als die Menge der Ausgabeknoten ausgezeichnet. Ausgabeknoten dienen in der Regel zur Übermittlung der vom Netzwerk berechneten Ergebnisse an die Umgebung - sie stellen die Schnittstelle zur Außenwelt dar. Zielfunktionen sind häufig Funktionen der Aktivationen der Ausgabeknoten.

Azyklische Netze. Häufig lassen sich Netzwerke ohne rückkoppelnde Verbindungen in sinnvoller Weise als Untermodule in umfangreichere adaptive Systeme einbetten (siehe Kapitel 3, 4, 6, 7). Wir definieren, was bei einem azyklischen Netz oder Netzmodul unter einer Lage zu verstehen ist. Die erste Lage ist die Menge aller Eingabeknoten. Die $n$-te Lage ist die Menge aller Knoten, zu denen ausgehend von der ersten Lage mindestens ein Kantenpfad der Länge $n-1$ führt, aber kein Kantenpfad der Länge $m \geq n$. Ein Kantenpfad der Länge $n-1$ ist hierbei eine Liste

$$((k_1, k_2), (k_2, k_3), \ldots, (k_{n-1}, k_n))~~mit~~ k_... ... 1, \ldots, n~~und~~ (k_i, k_{i+1}) \in V, i = 1, \ldots, n-1.$$

Der Sinn dieser Definition besteht darin, auch direkte Verbindungen (`Abkürzungen') zwischen nicht aufeinanderfolgenden Lagen in angemessener Weise zu berücksichtigen. Die Lage mit der höchsten Nummer wird häufig als Ausgabelage benutzt. Es läßt sich zeigen, daß jede beliebige stetige Funktion durch ein geeignetes hinreichend umfangreiches Netzwerk mit 4 Lagen beliebig genau approximiert werden kann (e.g. [45]).

Rekurrente Netze. Ist es möglich, in einem gegebenen Netzwerk wenigstens einen Knoten $k$ zu finden, von dem aus ein Kantenpfad auf $k$ selbst führt, so sprechen wir von einem zyklischen oder rekurrenten Netzwerk oder einem Netzwerk mit zyklischen oder rekurrenten Verbindungen. Viele der zu besprechenden Netze werden zyklische Verbindungen aufweisen. Der Grund dafür ist: In rekurrenten Netzwerken vermögen zu einem gegebenen Zeitpunkt stattfindende Eingabeereignisse einen Einfluß darauf auszuüben, wie spätere Eingaben verarbeitet werden. Somit eröffnet sich ein Potential für ein Kurzzeitgedächtnis in Form wandernder Aktivationen. Im allgemeinen können beliebige zeitliche Verzögerungen zwischen irgendwelchen Eingaben und ihren späteren Konsequenzen auftreten. Rückkoppelnde Verbindungen erlauben sequenzverarbeitende Algorithmen, die über simple Eingabe/Ausgabe-Assoziation hinausgehen.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite