EXPERIMENTE ZUM ERLERNEN REGULÄRER GRAMMATIKEN

Ein weiteres Beispiel für die Anwendung gradientenbasierter rekurrenter Netze ist das Erlernen regulärer Grammatiken aus einem kontinuierlichen Eingabestrom, der nach den Regeln der zu lernenden Grammatiken generiert wird (e.g. [129], [141]). Man betrachte hierzu Abbildung 2.4, die einen Automaten zur Bildung von Sätzen aus dem Sprachschatz einer sogenannten `Reber-Grammatik' darstellt. Abbildung 2.4 ist wie folgt zu lesen: Alle legalen Zeichenreihen beginnen mit dem Symbol $a$, welches in den Zustand 1 führt. Aus Zustand 1 kommt man mit dem Eingabesymbol $a$ in den Zustand 2, dabei wird $a$ zur bisher beobachteten Zeichenreihe hinzugefügt, etc.. Alle alternativen Pfade im Automaten werden mit gleicher Wahrscheinlichkeit eingeschlagen. Das Netz sieht als Eingabe zu jedem Zeitpunkt ein neues, mit Hilfe der durch den Automaten definierten Regeln produziertes, lokal durch einen 7-dimensionalen Binärvektor der Länge 1 repräsentiertes Zeichen: Das Symbol $a$ wird durch $(1, 0, 0, 0, 0, 0, 0)^T$ repräsentiert, $b$ durch $(0, 1, 0, 0, 0, 0, 0)^T$, $c$ durch $(0, 0, 1, 0, 0, 0, 0)^T$, $d$ durch $(0, 0, 0, 1, 0, 0, 0)^T$, $e$ durch $(0, 0, 0, 0, 1, 0, 0)^T$, $f$ durch $(0, 0, 0, 0, 0, 1, 0)^T$, und $g$ durch $(0, 0, 0, 0, 0, 0, 1)^T$. Das Ziel des Netzes besteht zu jedem Zeitpunkt in der korrekten Vorhersage möglicher nächster Eingabesymbole. Eine Vorhersage gilt dabei als korrekt, wenn die Aktivationen der Ausgabeknoten, die den legalen Nachfolgern der bisher beobachteten Zeichenreihe entsprechen, größer als der Schwellwert 0.3 sind, und gleichzeitig die Aktivationen aller anderen Ausgabeknoten unterhalb dieses Schwellwerts liegen.

Den getesteten rekurrenten Netzwerke wurden wieder jeweils zwei Zeitschritte zur Verarbeitung einer neuen Eingabe zugestanden. Zwischen dem Ende eines Durchlaufs durch den Automaten und dem Beginn eines neuen Durchlaufs wurden die Netze (analog zum Experiment mit der Turingmaschine) nicht von neuem initialisiert.

Bei 10 Testläufen mit RTRL lernte ein rekurrentes Netz mit 9 Nichteingabeknoten, mit zwischen -0.5 und 0.5 initialisierten Gewichten und mit einer Lernrate von 0.5 innerhalb von 100000 Zeichenreihenpräsentationen stets, ausschließlich korrekte Vorhersagen zu produzieren. Dies verträgt sich mit den in [129] berichteten Ergebnissen^2.4.

Bei 10 Testläufen mit dem neuartigen $O(n^3)$-Verfahren aus Abschnitt 2.5 lernte dasselbe rekurrente Netz bei gleicher Parametereinstellung ebenfalls in allen Fällen, die Aufgabe zu lösen. Allerdings benötigte das neuartige Verfahren aber dank seiner geschickteren Gradientenkalkulation nur etwa ein Fünftel der Rechenzeit des RTRL-Verfahrens.

Abbildung: Ein Automat zur Generierung von Sätzen einer Reber-Grammatik. Alle legalen Zeichenreihen beginnen mit dem Symbol $a$, welches in den Zustand 1 führt. Aus Zustand 1 kommt man mit dem Eingabesymbol $b$ in den Zustand 2, dabei wird $a$ zur bisher beobachteten Zeichenreihe hinzugefügt, etc.. Alle alternativen Pfade im Automaten werden mit gleicher Wahrscheinlichkeit eingeschlagen.

In weiteren Experimenten wurden unter anderem auch Simulationen des Verhaltens tatsächlich beobachteter biologischer Neuronennetzwerke mittels RTRL durchgeführt (z.B. [157]).

Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite