MÄCHTIGKEIT DER KLASSE DER VOM NETZ BERECHENBAREN FUNKTIONEN

Mit geeigneten konstanten (zeit-invarianten) $w_{ij}(t)$, einfachen konventionellen Aktivationsfunktionen $f_k$, genügend $n_h$ `versteckten' Knoten und ausreichender Blockgröße $n_r$ kann das `selbstreferentielle' Netz durch wiederholte Anwendung von (8.1) jede beliebige Funktion

$$f: \{0,1\}^{n_x + 1 + n_{eval} + n_o + n_{ana} + n_{mod} +1} \rightarrow \{0,1\}^{ n_o + n_{ana} + n_{mod} + 1}$$ (8.7)

berechnen, die sich bei konstanter Maschinenzyklenanzahl $n_{cyc}$ durch einen konventionellen digitalen (sequentiellen oder parallelen) Rechner mit begrenzten Zeit- und Speicherressourcen^8.6berechnen läßt. Dies liegt daran, daß Informationsverarbeitung in konventionellen Rechnern durch wiederholte Anwendung einfacher Boolescher Funktionen ausdrückbar ist, welche sich ohne weiteres in rekurrenten Netzen implementieren lassen.

Wenigstens der $\bigtriangleup$ Ausgabeknoten und der $val$ Eingabeknoten sollten nicht nur binäre, sondern reelle Werte annehmen können. Es bereitet jedoch keine größeren Schwierigkeiten, zu zeigen, daß die Bereiche $\{0,1\}$ in (8.7) für beliebige Knoten durch R ersetzt werden dürfen.

Dies erlaubt uns, ohne Rücksicht auf zusätzliche `hardware'-spezifische Beschränkungen der Mächtigkeit des Netzes die Speicherbegrenzung $n_h$ und die Zeitbegrenzung $n_r$ durch zwei natürliche Parameter zu identifizieren^8.7.

Damit erhalten wir ein allgemeines `selbstreferentielles' Netz mit im wesentlichen unbeschränkter Mächtigkeit (modulo unvermeidlicher Zeit- und Speicherbegrenzungen), welches im Prinzip seine eigene Gewichtsmatrix analysieren und ändern kann, einschließlich jener Teile der Gewichtsmatrix, die für die Analyse und Änderung der Gewichtsmatrix zuständig sind. Der Analyse- und Änderungsprozeß selbst kann beliebig komplex sein - es gibt keine wesentlichen theoretischen Begrenzungen für die Raffinesse der im Netz implementierbaren Gewichtsänderungsalgorithmen. Das gleiche gilt für die Gewichtsänderungsalgorithmen, die die Gewichtsänderungsalgorithmen ändern, und die Gewichtsänderungsalgorithmen, die die Gewichtsänderungsalgorithmen, die die Gewichtsänderungsalgorithmen ändern, ändern, etc.... Dies liegt im wesentlichen daran, daß jeder `Meta-Level' in dasselbe Netz eingebettet ist^8.8.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite