EINE ZIELFUNKTION FÜR DAS BINÄRKRITERIUM

Eine wohlbekannte Zielfunktion $V$ zur Erzwingung binärer Ausgaben ist durch

$$V = \frac{1}{2} \sum_i \sum_p (\bar{y_i} - y^p_i)^2$$ (6.4)

gegeben. $V$ ist maximal, wenn jeder Repräsentationsknoten ausschließlich binäre Werte annimmt. Der Beitrag, den ein Knoten $i$ für $V$ liefert, ist dann maximal, wenn $E(y_i)$ so nahe an $\frac{1}{2}$ liegt wie möglich. Dies zieht unter der Binärbedingung maximale Entropie des Knotens $i$ nach sich; das Repräsentationsmodul $i$ übermittelt dabei maximale (Shannon-)Information über seine Eingaben.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite