EINE NICHT PREDIKTORBASIERTE ZIELFUNKTION ZUR AUFFINDUNG FAKTORIELLER CODES

Untenstehendes Performanzmaß beruht auf dem in Kapitel 5 ausgeführten Konzept minimaler Bitentropiesummen. Ist Code $B$ binär, so ist seine Bitentropiesumme $e(B)$ durch

$$e(B)= - \sum_i E(y_i) log E(y_i) - \sum_i (1-E(y_i)) log (1 - E(y_i))$$

definiert. Existiert ein faktorieller Code, so ist die Minimierung von $e(C)$ über alle möglichen Binärcodes $C$ (wie in [5] ausgeführt) äquivalent zur Auffindung eines der faktoriellen Codes. Dies können wir ausnützen, um folgende zu maximierende Zielfunktion für unsere Repräsentationsknoten zu definieren:

$$\alpha \sum_i \sum_p P(x^p) (y^p_i - E(y_i))^2 - \beta \s... ...z^p - x^p)^T(z^p - x^p) + \sum_i (E(y_i) - \frac{1}{2})^2 .$$

Dabei sei $z^p$ wie in Abschnitt 6.3.3 definiert, und $\alpha$ und $\beta$ stellen wieder positive Konstanten dar. Der erste Term zwingt jeden Knoten dazu, in Antwort auf ein bestimmtes Eingabemuster entweder an oder aus zu sein. Der zweite Term erzwingt Reversibilität. Der dritte Term zwingt den Mittelwert der Aktivationen jedes Knotens, sich nahe bei entweder 0 oder 1 zu befinden. Damit wird minimale Bitentropie ermutigt.

Die Methode weist Verwandschaft zu einem älteren Ansatz zur Auffindung nichtredundanter Codes auf [64]. Sie muß sich jedoch ebenfalls der in Abschnitt 6.3.7 erwähnten Kritik (betreffs des Parameterwahlproblems) beugen.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite