PROBLEMFORMULIERUNG

Wir setzen $n$ verschiedene adaptive eingabeverarbeitende sogenannte Repräsentationsmodule voraus. Jedes Modul sieht zu einem gegebenen Zeitpunkt denselben Eingabevektor. Die Ausgabe jedes Moduls wird durch eine Menge neuronenartiger Knoten geliefert. Wir konzentrieren uns auf den einfachsten Fall: Ein Ausgabeknoten (auch Repräsentationsknoten oder Codeknoten genannt) pro Modul. Das $i$-te Modul produziert als Antwort auf den $p$-ten anliegenden externen Eingabevektor $x^p$ einen skalaren Ausgabewert $y^p_i \in [0, 1]$.

Die im vorliegenden Kapitel beschriebenen Methoden sind zumeist daraufhin angelegt, binäre oder zumindest quasi-binäre Codes finden (die einzige Ausnahme findet sich in Abschnitt 6.3.5). Jede an einem quasi-binären Code teilhaftige Codevariable liefert entweder einen konstanten Wert für alle Eingabemuster, oder sie nimmt für jedes gegebene Eingabemuster entweder den Wert 0 oder den Wert 1 an. Binäre Codes sind also ein Spezialfall quasi-binärer Codes. Da wir wie immer mit differenzierbaren Aktivationen hantieren wollen, werden wir unsere quasi-binären Codes ausgehend von reellwertigen Codes schaffen.

Ein binärer faktorieller Code muß drei Kriterien erfüllen:

1. Das Binärkriterium: Keine Codevariable darf Werte außer 1 oder 0 annehmen.

2. Das Reversibilitätskriterium: Es muß möglich sein, die Eingabe aus ihrer Codierung zu rekonstruieren. Ist die Umgebung zu komplex (oder zu `verrauscht'), um ohne Informationsverlust in der von der Kapazität her beschränkten internen Repräsentation codiert zu werden (i.e., im Falle binärer Codes bei mehr als $2^{dim(y)}$ Eingabemustern), wollen wir das Reversibilitätskriterium abschwächen. In diesem Falle sollten die internen Repräsentationen immer noch soviel Information wie möglich über die Eingaben übermitteln. Der Schwerpunkt dieses Kapitels liegt jedoch auf Situationen wie die von Barlow studierten [5]: Rauschfreie Umgebungen bei hinreichender Kapazität in $y$, um alle Eingaben eindeutig und informationsverlustfrei zu repräsentieren. Unter diesen Voraussetzungen impliziert das Reversibilitätskriterium Linskers Infomax-Prinzip (Abschnitt 5.2).

3. Das Unabhängigkeitskriterium: Die Wahrscheinlichkeit, daß ein beliebiges Codesymbol einen bestimmten Wert annimmt, soll unabhängig von den Werten aller anderen Codesymbole sein. Ist das Binärkriterium erfüllt, so können wir das Unabhängigkeitskriterium wie folgt formulieren: Wir fordern, daß

$$E(y_i \mid \{y_k, k \neq i \}) =P(y_i = 1 \mid \{y_k, k \neq i \}) = P(y_i = 1) = E(y_i).$$ (6.1)

Der Ausdruck (6.1) impliziert, daß $y_i$ nicht von $\{y_k, k \neq i \}$ abhängt. Mit anderen Worten: $E(y_i \mid \{y_k, k \neq i \})$ läßt sich aus einer Konstante mit Informationsgehalt Null berechnen. Man beachte, daß bei reellwertigen Codes die Bedingung $E(y_i \mid \{y_k, k \neq i \}) = E(y_i)$ nicht notwendigerweise die statistische Unabhängigkeit der $y_i$ gewährleistet.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite