PERFORMANZMASS

Wie bei den rekurrenten Netzen des zweiten Kapitels wollen wir auch mit der neuen Architektur Fehlertrajektorien minimieren. Der Gradient des Fehlers über alle Trainingssequenzen ist gleich der Summe der Fehlergradienten. Daher interessiert uns wieder nur der während einer Sequenz betrachtete Fehler

$$\bar{E}= \sum_t E(t) ,$$

wobei

$$E(t) = \frac{1}{2} \sum_i e_i^2(t),$$

$$e_i(t) = d_i(t)-y_i(t).$$

$d(t)$ ist dabei erneut der von einem externen Lehrer vorgegebene Ausgabevektor.

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite