REELLWERTIGE CODES

Möchte man bei einer spezifischen Anwendung die überlegene repräsentationelle Kapazität reellwertiger (statt binärer) Knoten ausschöpfen, und ist man mit dekorrelierten (statt tatsächlich statistisch unabhängigen) Knoten zufrieden, dann kann man den $V$-Term aus (6.6) entfernen, indem man $\alpha = 0$ setzt. Es bleibt die Minimierung von

$$\beta I + \gamma H .$$ (6.7)

Man beachte, daß bei reellwertigen Aktivationen das Reversibilitätskriterium dank der unbeschränkten Informationskapazität des Intervalls zwischen 0 und 1 theoretisch stets mit einem einzigen Repräsentationsknoten erfüllt werden kann. Das Unabhängigkeitskriterium ermutigt in diesem Fall alle übrigen Repräsentationsknoten dazu, konstante (stets mit Wahrscheinlichkeit 1 vorhersagbare) Werte in Antwort auf alle Eingabemuster auszugeben. In verrauschten Umgebungen mag es sich jedoch als vorteilhaft erweisen, die Eingabe in mehr als einem Repräsentationsknoten darzustellen, wie bereits von Linsker im Kontext seines Infomax-Prinzips bemerkt wurde [49].

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite