next up previous contents
Nächste Seite: EINE ZIELFUNKTION FÜR DAS Aufwärts: PERFORMANZMASSE FÜR DIE DREI Vorherige Seite: EINE ZIELFUNKTION FÜR DAS   Inhalt

EINE ZIELFUNKTION FÜR DAS BINÄRKRITERIUM

Eine wohlbekannte Zielfunktion $V$ zur Erzwingung binärer Ausgaben ist durch
\begin{displaymath}
V = \frac{1}{2} \sum_i \sum_p (\bar{y_i} - y^p_i)^2
\end{displaymath} (6.4)

gegeben. $V$ ist maximal, wenn jeder Repräsentationsknoten ausschließlich binäre Werte annimmt. Der Beitrag, den ein Knoten $i$ für $V$ liefert, ist dann maximal, wenn $E(y_i)$ so nahe an $\frac{1}{2}$ liegt wie möglich. Dies zieht unter der Binärbedingung maximale Entropie des Knotens $i$ nach sich; das Repräsentationsmodul $i$ übermittelt dabei maximale (Shannon-)Information über seine Eingaben.



Juergen Schmidhuber 2003-02-20


Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite