Der Begriff Regelmäßigkeit ist mit gewissen Schwierigkeiten belastet. Was ist eine Regelmäßigkeit? Bei näherer Betrachtung dieser Frage wird ein Problem offenbar, das mit den unterschiedlichen Auffassungen des Begriffs `Information' selbst zusammenhängt. Unterschiedliche Definitionen von Information (syntaktische Information oder Entropie, algorithmische Information, pragmatische Information) ziehen unterschiedliches Verständnis des Begriffes `Regelmäßigkeit' nach sich. Eine nähere Beleuchtung dieser Problematik würde allerdings den Rahmen dieser Arbeit sprengen.
Weiterhin ist festzustellen, daß zu vielen möglichen Gewichtsmodifikationsregeln eine (intuitiv häufig unsinnige) Zielfunktion gefunden werden kann, welche durch die jeweilige Regel minimiert wird. Dadurch werden diese Regeln im nachhinein zu `Lernregeln' (in Bezug auf die jeweilige Zielfunktion), und der Unterschied zwischen zielgerichtetem Lernen und unüberwachtem Lernen verschwimmt.
Spricht man im Rahmen von NN von Regelmäßigkeiten, so meint man meist Regelmäßigkeiten statistischer Natur, und faßt unter dem Begriff `unüberwachte Lernalgorithmen' die sogenannten `Clustering'-Algorithmen zusammen: `Ähnliche' Muster sollen zum Beispiel in `ähnliche' Kategorien klassifiziert werden, wobei das Maß für Ähnlichkeit meist recht einfach und nicht selbst adaptiv ist (z.B. euklidische Distanz o.ä.).
In den ersten 7 Kapiteln dieser Arbeit werden wir ohne unüberwacht lernende Komponenten auskommen, im wesentlichen deswegen, weil die von dieser Arbeit angesprochenen Probleme isoliert betrachtet werden sollen. Erst im Ausblick des letzten Kapitels werden Kombinationen aus zielgerichteten und unüberwachten dynamischen Lernsystemen vorgeschlagen werden.