Die allen in dieser Arbeit vorgestellten Methoden zugrundeliegende Philosophie ist folgende: Lernverfahren sollten nicht einfach `erfunden' werden und sich nicht nur durch intuitive Überlegungen rechtfertigen lassen. Statt dessen sollten sie mathematisch sauber aus einer gegebenen Spezifikation ableitbar sein.
Zum Entwurf von Lernalgorithmen werden wir uns stets der folgenden drei Schritte umfassenden schematischen Vorgehensweise bedienen.
(1) Verschaffe Klarheit darüber, welche
Menge erlaubter Rechenvorschriften dem
Lernalgorithmus als Basis für die
Auswahl günstiger Programme dienen soll.
Definiere eine geeignete Netzwerkarchitektur mit bezüglich
gewisser Gewichtsparameter differenzierbaren Netzausgaben, so daß
jedes Element der Menge erlaubter Rechenvorschriften
in der Netzarchitektur implementiert werden kann.
(2) Formuliere das Problem durch Spezifikation geeigneter differenzierbarer Zielfunktionen, die maximiert oder minimiert werden sollen.
(3) Leite mittels Kettenregel aus Zielfunktionen und Architektur einen gradientenbasierten Lernalgorithmus her, von dem sich beweisen läßt, daß seine Anwendung im asymptotischen Fall (bei gegen Null gehender Lernrate) zur Auffindung einer suboptimalen, im Netz implementierten Rechenvorschrift führt.
Vor allem die Punkte (1) und (2) bieten genügend Spielraum zur Entfaltung menschlichen Einfallsreichtums. Trotz der Tatsache, daß obiges Grundschema zum Entwurf von Lernregeln viel Platz für Kreativität läßt, birgt es doch eine erstrebenswerte Systematik, die sich in weiten Bereichen der KNN-Forschung mittlerweile durchgesetzt hat.