`KONVENTIONELLE' ASPEKTE DER ARCHITEKTUR

$o(t)$ wird aus $x(\tau), \tau < t$ durch ein rekurrentes Netz mit $n_I > n_x$ Eingabeknoten und $n_y$ Nichteingabeknoten berechnet. Eine Teilmenge der Nichteingabeknoten wird als die Menge der `normalen' Ausgabeknoten (mit Kardinalität $n_o < n_y$) bezeichnet.

Der notationellen Bequemlichkeit halber werde ich im folgenden verschiedene Bezeichner für die reellwertige Aktivation ein und desselben Knotens vergeben.

$z_k$ steht für den $k$-ten Knoten im Netz. $y_k$ repräsentiert den $k$-ten Nichteingabeknoten. $x_k$ stellt den $k$-ten `normalen' Eingabeknoten dar. $o_k$ bezeichnet den $k$-ten `normalen' Ausgabeknoten. Steht $u$ für einen Knoten, so denotiert $u(t)$ seine Aktivation zum Zeitpunkt $t$. Stellt $v(t)$ einen Vektor dar, so bezeichnet $v_k(t)$ seine $k$-te Komponente (dies steht nicht im Widerspruch zum vorangegangenen Satz). Einer der `normalen' Eingabeknoten heißt $bias$. Es gilt $bias(t) = 1$ für alle $t$. Der Zweck der verbleibenden Eingabeknoten wird sich im Abschnitt 8.1.2 klären, welcher die `selbstreferentiellen' Aspekte der Architektur beschreibt.

Jeder Eingabeknoten ist Quelle gerichteter Verbindungen zu allen Nichteingabeknoten. Jeder Nichteingabeknoten weist ebenfalls gerichtete Verbindungen zu allen Nichteingabeknoten auf. Offensichtlich gibt es $(n_I + n_y) n_y = n_{conn}$ Verbindungen im Netz. Die Verbindung vom Knoten $j$ zum Knoten $i$ trägt den Namen $w_{ij}$. Einer der Namen der Verbindung vom $j$-ten `normalen' Eingabeknoten zum $k$-ten `normalen' Ausgabknoten ist demzufolge $w_{o_kx_j}$. $w_{ij}(t)$s rellwertiges Gewicht zum Zeitpunkt $t$ wird mit $w_{ij}(t)$ bezeichnet. Vor Beginn der Trainingsphase werden alle Anfangsgewichte $w_{ij}(1)$ zufällig initialisiert.

Die folgenden Definitionen werden den Leser an Kapitel 2 erinnern: Für `normale' Eingabeknoten $x_k$ ist $x_k(t)$ als die $k$-te Komponente des Eingabevektors $x(t)$ definiert. Die Spezifizierung der Aktivationen der verbleibenden Eingabeknoten bleibt Abschnitt 8.1.2 vorbehalten. Für Nichteingabeknoten $y_k$ definieren wir

$$net_{y_k}(1)=0, ~~\forall t \geq 1: y_k(t) = f_{y_k}(net_{y_... ...), ~~\forall t>1:~~ net_{y_k}(t) = \sum_l w_{y_kl}(t-1)l(t-1),$$ (8.1)

Der gegenwärtige Algorithmus des Netzes ist durch seine augenblickliche Gewichtsmatrix (sowie die gegenwärtigen Aktivationen) gegeben. Man beachte jedoch, daß die Berechnung der $w_{ij}(t)$ noch nicht spezifiziert wurde. In früher besprochenen Systemen wurden Gewichtsänderungen mindestens eines beteiligten Netzes ausschließlich durch einen festgeschriebenen Lernalgorithmus verursacht. Nicht so jedoch im vorliegenden Fall, wie der nächste Abschnitt zeigen wird.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite