ZUR VERMUTUNG 6.4.1

Die Maximierung von $V_C$ aus Abschnitt 6.4 ist äquivalent zur Maximierung von

$$Q_C = \sum_i \sum_p P(x^p) (P^p_i - y^p_i)^2 = E [ E(y_i \mid \{y_k, k \neq i \}) - y_i ]^2,$$ (6.15)

wobei $p$ über alle unterschiedlichen Muster (statt über alle Muster) rangiert, und wobei wieder angenommen wird, daß $P^p_i = E(y_i \mid \{y^p_k, k \neq i \})$ gilt.

Definieren wir nun $\alpha^i_j$ als das $j$-te unterschiedliche Ereignis der Form $\{y_k, k \neq i \}$. Es ist

$$E [ E(y_i \mid \{y_k, k \neq i \}) - y_i ]^2 \leq E \left[ E(y_i) - y_i \right]^2,$$ (6.16)

wobei das Gleichheitszeichen nur dann gilt, wenn der folgende Ausdruck wahr ist:

$$\forall i, j: ~~ E(y_i \mid \alpha^i_j) = E(y_i).$$

Im Falle eines quasi-binären Codes läßt sich $Q_C$ wie folgt umformen:

$$Q_C = \sum_{i} \sum_p P(x^p) (P^p_i - y^p_i)^2 =$$

$$= \sum_{i: \forall p:~ y^p_i = E(y_i) = const.} \sum_j P(\alpha^i_j) (E(y_i \mid \alpha^i_j) - E(y_i))^2 ~~+$$

$$+ \sum_{i~bin\uml {a}r} \sum_j P(\alpha^i_j) \left[ \sum_{p... ...{p: y^p_i =0} P(x^p) (E(y_i \mid \alpha^i_j) - 0)^2 \right] =$$

$$= 0~~ + \sum_{i~bin\uml {a}r} \sum_j P(\alpha^i_j) \left[ (... ...(y_i \mid \alpha^i_j))^2 \sum_{p: y^p_i =0} P(x^p) \right] =$$

$$= \sum_{i~bin\uml {a}r} \sum_j P(\alpha^i_j) \left[ (E(y_i ... ...y_i \mid \alpha^i_j))^2 (1- E(y_i \mid \alpha^i_j)) \right] =$$

$$= \sum_{i~bin\uml {a}r,~j} P(\alpha^i_j) E(y_i \mid \alpha^i_j) (1 - E(y_i \mid \alpha^i_j)).$$ (6.17)

Ist der quasi-binäre Code faktoriell, so wird (6.13) zu^6.3

$$\sum_i E(y_i)(1 - E(y_i)).$$ (6.18)

Die Maximierung von $Q_C$ ermutigt quasi-binäre Codes. Betrachten wir einen quasi-binären faktoriellen Code $F$. Es ist

$$Q^F_C= \sum_{i~bin\uml {a}r} E^F(y_i)(1 - E^F(y_i)),$$

wobei zusätzliche hochgestellte Indices die Zugehörigkeit zu einem bestimmten Code bezeichnen. Jeder Code $B$ mit

$$\sum_{i~bin\uml {a}r} E^B(y_i)(1 - E^B(y_i)) \leq Q^F_C$$

kann aufgrund von (6.12) und (6.14) keinen größeren Gesamtprediktionsfehler als $F$ verursachen.

Was aber, wenn

$$\sum_{i~bin\uml {a}r} E^B(y_i)(1 - E^B(y_i)) > Q^F_C ~~?$$

Intuitiv scheint dies nahezulegen, daß die Codekapazität die im Eingabeensemble enthaltene Entropie übersteigt, was intra-repräsentationelle Redundanz nach sich zieht, was wiederum kleineres $Q^B_C$ zur Folge hat. Es wurde zwar versucht, auch letzteren Fall unter Ausnützung von

$$E(y_i \mid \alpha^i_j) = \frac{P(\alpha^i_j \mid y_i =1)} {P(\alpha^i_j)} E(y_i),$$

formal zu fassen, die Vermutung 6.4.1 bleibt allerdings für den allgemeinen Fall unbewiesen.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite