BESCHRÄNKUNGEN UND ERWEITERUNGEN

Sind sowohl $F$ als auch $S$ azyklisch, erlauben obige Architekturen nur eine eingeschränkte Klasse von Algorithmen. Ist nämlich $\sigma$ eine sogenannte `sum-and-squash'-Funktion, dann lassen sich interessante zeitlich veränderliche Ausgaben nur in Antwort auf Eingabevariationen hervorrufen. Insbesondere kann kein autonomes dynamisches Verhalten (wie z.B. Oszillationen) auftreten, solange die Eingabe festgehalten wird.

Es stellt jedoch kein Problem dar, unsere dynamischen Verbindungen in ein System einzubetten, bei dem sowohl $F$ als auch $S$ rekurrent sind. Für die im nächsten Abschnitt beschriebenen Experimente sind beide beteiligten Netze nichtrekurrent, um zu demonstrieren, daß sogar azyklische Netze gewisse Aufgaben lösen können, deren Lösung bis vor kurzem rekurrenten Netzen vorbehalten schien.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite