Seit er rund 15 Jahre alt war, bestand Prof. Schmidhubers grösstes wissenschaftliches Ziel darin, einen künstlichen optimalen Wissenschaftler zu bauen, um sich anschliessend aus der Wissenschaft zurückzuziehen. Erst will er einen bauen, der besser ist als er selbst (seine Kollegen frotzeln, das müsste ganz einfach sein). Dieser soll dann die verbleibende Arbeit tun. Schmidhuber sieht keinen kostensparenderen Weg, sein geringes Mass an Kreativität nutzbringend einzusetzen und zu verfielfältigen. Bevor man ihn 2028 ohnehin in Rente schicken wird, wird er sich bereits Hardware zulegen können, deren rohe Rechenkraft die seines Hirns bei weitem übersteigt. Wird es bis dahin auch geeignete selbstverbessernde Software geben? Falls nicht, wäre er verblüfft. Dieser Optimismus beflügelt seine Forschungen im Bereich mathematisch sauberer, universeller Lernmaschinen und Künstlicher Intelligenz, besonders der Neuen KI, welche nicht nur für die Robotik, sondern auch für die Physik und die Musik bedeutsam ist.

JUNGE ARBEITEN Gödelmaschine oder Gödel-Maschine (2003): Es ist ein alter Traum der Informatiker, einen optimal effizienten universellen Problemlöser zu bauen. Die neuartige Gödelmaschine (inspiriert durch Kurt Gödels berühmte selbstreferentielle Formeln, 1931) lässt sich auf einem herkömmlichen Rechner implementieren und löst beliebige Probleme in theoretisch optimaler Weise. Sie beginnt mit einer axiomatischen Beschreibung ihrer selbst, was u.a. auch eine beliebige formalisierbare Problemstellung oder Gütefunktion mit einschliesst. Mit Hilfe eines asymptotisch optimalen Theorembeweisers überschreibt die Gödelmaschine beliebige Teile ihrer Software (samt dem Theorembeweiser), sobald sie einen Beweis gefunden hat, dass dies ihre zukünftige Leistung verbessern wird. Ausgeführte Selbständerungen sind global optimal (keine lokalen Minima!), da nachweislich keine der alternativen Selbständerungen und Beweise (die man durch Fortsetzung der Beweissuche finden könnte) das Warten wert sind. Zusammenfassung. Optimaler Löser geordneter Probleme. OOPS (Kurzfrom des englischen Namens) löst ein Problem nach dem anderen durch Suche nach Programmen, die Lösungen berechnen. Die inkrementelle Methode nützt in optimaler Weise Lösungen älterer Probleme aus, wann immer dies möglich ist - vergleiche Levins optimale universelle Suche. OOPS kann temporär seine eigene Suchprozedur umschreiben und eine schnellere Suchmethode suchen (Metasuche oder Metalernen). Anwendbar auf Probleme der Optimierung und Vorhersage. Vortrag. Super Omegas; Generalisierte Kolmogorov- Komplexität / Algorithmische Wahrscheinlichkeit. Kolmogorovs Komplexität K(x) eines Bitstrings x ist die Länge des kürzesten Programms, das x berechnet und hält. Solomonoffs algorithmische Wahrscheinlichkeit von x ist die Chance, ein Programm für x zu raten. Chaitins Omega ist die Halte- Wahrscheinlichkeit einer Turing- Maschine mit zufälliger Eingabe (Omega kennt man als die "Zahl der Weisheit", da sie kompakt alle mathematische Wahrheit kodiert). Schmidhuber generalisierte all dies zu nicht- haltenden, doch konvergierenden Programmen. Dies führte zu den kürzesten möglichen formalen Beschreibungen, und zu nicht- enumerablen, doch limit- berechenbaren W-Massen und Super Omegas. Hat sogar Konsequenzen für berechenbare Universen und optimale induktive Inferenz. Vortrag. Universelle Lernalgorithmen. Es gibt einen theoretisch optimalen Weg, die Zukunft vorherzusagen, vorausgesetzt, die unbekannten probabilistischen Gesetze der Umgebung sind im Prinzip berechenbar. Daraus ergibt sich ein optimaler (jedoch leider nicht mehr berechenbarer) rationaler Agent, der in fast beliebigen Umgebungen seinen zu erwartenden Erfolg maximiert. Diese Arbeit repräsentiert die erste mathematisch saubere Theorie universeller künstlicher Intelligenz (frühere KI-Ansätze waren entweder heuristisch oder sehr beschränkt). Schnelle Prior. Occams Rasiermesser: ziehe einfache Lösungen den komplexen vor. Aber was heisst einfach? Aus traditioneller Sichtweise haben einfache Dinge eine kurze Beschreibung oder ein kurzes Programm und damit niedrige Kolmogorov- Komplexität. Dies führt zu Solomonoffs & Levins wundervollem a priori W-Mass, welches zwar optimale, jedoch nicht- berechenbare Vorhersagen aus vergangenen Beobachtungen erlaubt. Die Schnelle Prior ist nun ein neues Einfachheitsmass basierend auf den schnellsten Beschreibungen, nicht den kürzesten. Führt zu nahezu optimalen berechenbaren Vorhersagen, und zu ungewöhnlichen Prophezeihungen über die Zukunft des Universums. Vortrag. Am Anfang war der Code. 1997 schrieb Schmidhuber den ersten Artikel über die möglichen berechenbaren Universen. Sein Grosser Programmierer verträgt sich mit Zuses Hypothese (1967) der berechenbaren Physik, gegen die keine physikalische Evidenz vorliegt. Wenn alles berechenbar ist, was ist dann das Programm unserer Welt? Es stellt sich heraus, dass das einfachste Programm alle Universen berechnet, nicht nur unseres. Spätere Arbeiten (2000) zum Thema Algorithmische Theorien des Alls analysierten alle Universen mit limit- berechenbaren Wahrscheinlichkeiten und die Grenzen formaler Beschreibbarkeit. Dies führte zu obigen Generalisierungen algorithmischer Information und Super Omega und auch zur Schnellen Prior. Das durchsuchbare "everything" Archiv enthält zahlreiche Diskussionen dieser Arbeiten. Vgl. Artikel im Spiegel und Kommentare zu Wolframs Buch (2002) sowie Brief zum Zufall in der Physik (Nature 439, 2006). Vortrag. Künstliche rekurrente neuronale Netze. Die meisten Arbeiten im Bereich des maschinellen Lernens konzentrieren sich auf Maschinen mit einfachem reaktiven Verhalten. RNNs sind allgemeinere, dem menschlichen Gehirn nachempfundene Sequenzverarbeiter. Durch adaptive Rückkopplung sind sie im Prinzip so mächtig wie irgendein Rechner. Bis vor kurzem konnten RNNs jedoch nicht lernen, weit in die Vergangenheit zu blicken. Aber ein neues RNN namens "Long Short-Term Memory" (LSTM) überwindet fundamentale Probleme traditioneller RNNs, und lernt effizient so manche einst unlernbare Aufgabe: Erkennung gewisser kontextsensitiver Sprachen, Reinforcement- Lernen (R-Lernen) in partiell sichtbaren Umgebungen; Metalearnen schneller online Lernverfahren; Musikkomposition, Aspekte der Sprachverarbeitung, Zeitreihenvorhersage. Unsere RNN lernen durch Gradienten oder Evolution oder beides (EVOLINO). Lernende Roboter. Manche Roboter tun erstaunliche Dinge. Aber sie sind fest verdrahtet und können nicht lernen wie Babys. Traditionelle R- Lernverfahren beschränken sich nämlich leider auf simples reaktives Vehalten. Daher funktionieren sie bei realistischen Robotern kaum. Roboter brauchen also neue Lernmethoden, um wichtige vergangene Ereignisse zu identifizieren und zu speichern, bis die Erinnerungen gebraucht werden. Schmidhubers Gruppe konzentriert sich auf RNNs RNN-Evolution, und OOPS. Sie kollaborieren mit CSEM auf dem Gebiet der attentiven Sensorik und hierarchischen Steuerung.

Beschleunigung der Rechner- Geschichte. Schmidhubers Gesetz: jeder neue Durchbruch kommt doppelt so schnell - Omegapunkt um 2040. Erster Motorflug (Nature 421 p 689, Newsweek Nov 2003) Colossus (Nature 441 p 25) Schöne neue Welt des wissenschaftlichen Publizierens Geschichte der Roboter-Autos Leute: Einstein (allgemeine Relativität, 1915), Zuse (erster Computer, 1935-41), Gödel (Grenzen der Mathematik und der Rechner, 1931), Turing (Turing- Maschine, 1936: Nature 429, 501, 2004), Gauss (Mathematiker des Jahrtausends), Leibniz (Infinitesimalrechnung und Binärsystem), Schickard (Vater des Computerzeitalters), Haber & Bosch (1913: einflussreichste Erfindung des 20. Jahrhunderts), Archimedes (grösster Wissenschaftler aller Zeiten). .