MINIMIERUNG VON BITENTROPIESUMMEN

Barlow et. al [5] untersuchen das schwierige Problem, faktorielle Binärcodes zu finden. Jede Komponente von $y$ darf dabei nur die Werte 0 oder 1 annehmen. Barlow et. al zeigen, daß die Minimierung der Bitentropiesumme

$$- \sum_i P(y_i = 1) log P(y_i = 1) - \sum_i P(y_i = 0) log P(y_i = 0))$$ (5.11)

äquivalent zum Finden eines der faktoriellen Codes ist, falls mindestens ein derartiger Code existiert.

Barlow et. al. geben einige `nicht-neuronale' heuristische sequentielle Methoden an, um Codes mit niedriger Bitentropiesumme zu finden. Die einzige sichere bekannte sequentielle Methode besteht jedoch in der erschöpfenden Suche, einem Verfahren, das sich aufgrund des mit der Größe des Codes exponentiell wachsenden Aufwands von selbst verbietet (es ist durchaus möglich, daß das allgemeine Problem des Finden faktorieller Codes NP-vollständig ist).

Bis vor kurzem war auch kein `neuronaler' unüberwachter Lernalgorithmus zur Entdeckung faktorieller Repräsentationen bekannt. Wegen der potentiellen Bedeutung derartiger Repräsentationen wird das nächste Kapitel jedoch zeigen, wie durch Umformulierung des Problems und Definition geeigneter Performanzmaße gradientenbasierte Algorithmen zur Auffindung faktorieller Codes hergeleitet werden können.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite