Rekursive Selbstverbesserung: Sakana AI schwimmt gegen den Strom
Rekursive Selbstverbesserung beschreibt KI-Systeme, die ihren eigenen Code umschreiben und Forschung autonom vorantreiben. Im Interview mit Everlast AI erklärt Dr. Robert Lange, Gründungsmitglied von Sakana AI, wie evolutionäre Algorithmen den Weg zur Superintelligenz ebnen.
Sakana AI gilt als wertvollstes KI-Forschungslabor Japans. Das Team sammelte 412 Millionen US-Dollar bei einer Bewertung von 2,65 Milliarden US-Dollar. Diese Summe reicht bei groĂźen Laboren kaum fĂĽr einen einzigen Trainingslauf.
Trotzdem verfolgt das Labor einen eigenen Weg. Geschäftsführer David Ha nennt große Sprachmodelle das am schnellsten an Wert verlierende Gut der Geschichte. Deshalb setzt Sakana AI nicht auf reine Skalierung.
Was Sakana AI anders macht
Der Name Sakana bedeutet auf Japanisch Fisch. Im Logo schwimmt ein roter Fisch gegen den Strom. Dieses Bild steht fĂĽr die Forschungsphilosophie des Unternehmens.
Statt teure Modelle zu trainieren, setzt das Team auf Wetten mit hohem Hebel. Ein Kernmotiv ist kollektive Intelligenz. Vor dem AI Scientist stellte Sakana AI die Methode Evolutionary Model Merging vor.
Diese Technik verbindet die Stärken vieler quelloffener Modelle zu einem System. Evolutionäre Optimierung setzt die Bausteine der einzelnen Modelle neu zusammen. So entsteht diverse Intelligenz aus bestehenden Komponenten.
Der AI Scientist: Forschung ohne Menschen
Der AI Scientist erschien im August 2024 und wurde im März in Nature publiziert. Das System entwickelt eigene Forschungsideen im Bereich maschinelles Lernen. Danach schreibt es Code und führt Experimente autonom aus.
AnschlieĂźend wertet es die Ergebnisse aus und erstellt wissenschaftliche Grafiken. Am Ende verfasst es ein komplettes Papier. Die ersten Versionen waren noch nicht publikationsreif.
Dennoch zeigten sie erste Funken einer autonomen Wissenschaft. Große Labore wie Anthropic und OpenAI arbeiten heute an ähnlichen Systemen. Das Ziel ist ein selbstbeschleunigender Kreislauf aus Rechenleistung und neuer Forschung.
Darwin-Gödel-Maschine: KI verbessert ihren eigenen Code
Die Darwin-Gödel-Maschine entstand mit Forschern der University of British Columbia. Als Inspiration diente die Arbeit von Jürgen Schmidhuber. Hier verbessert ein Sprachmodell sein eigenes Gerüst, das sogenannte Scaffold.
Werkzeuge wie Claude Code verbinden ein Sprachmodell mit einem Programm drumherum. Dieses Programm heißt Scaffold oder Harness. Es lässt das Modell Code ausführen und Ergebnisse lesen.
Das System löste Aufgaben aus dem Benchmark SWE-bench. Bei einem Fehlschlag analysierte es die Logs und schlug eine Verbesserung vor. Wichtig dabei: Es änderte nur das Scaffold, nicht die Gewichte des Modells.
Shinka Evolve und die Kraft der Evolution
Shinka Evolve ist eine Variante des AI Scientist und folgt dem Prinzip der Evolution. Das Projekt orientiert sich an Alpha Evolve von Google DeepMind. Sprachmodelle optimieren dabei Programme ĂĽber viele Generationen.
Drei Prinzipien treiben den Prozess an. Selektion behält nur die besten Programme. Mutation erzeugt Abweichungen zum Ausgangsprogramm. Crossover tauscht Teile zweier Programme aus.
Das Team packte damit Kreise in ein Quadrat und maximierte deren Fläche. Auch bessere Kostenfunktionen für Mixture-of-Experts-Modelle entstanden so. Voraussetzung bleibt: Die Programme müssen schnell überprüfbar sein.
Sakana Fugu: Unabhängigkeit vom Modell-Anbieter
Sakana Fugu ist kein klassisches Sprachmodell, sondern ein Routing-System. Eine Anfrage läuft zuerst durch den Fugu-Router. Dieser leitet sie an Gemini, Claude oder ein GPT-Modell weiter.
Fällt ein Anbieter aus, wählt Fugu einfach ein anderes Modell. Das gibt Unternehmen eine gewisse Souveränität. Niemand macht sich von einem einzigen Anbieter abhängig.
Im Gegensatz zu Open Router Fusion arbeitet Fugu sequenziell. Es fragt die Modelle nacheinander statt parallel. Das Routermodell orchestriert sogar einen Dialog zwischen mehreren Modellen.
Warum KI-Forschung noch an Grenzen stößt
Autonome Forschung ist noch nicht kosteneffizient genug. Die Ideen der Sprachmodelle rechtfertigen oft nicht die hohen Rechenkosten. Ihnen fehlt ein wissenschaftliches Gesamtverständnis.
Ein Grund ist ein Survivor Bias in den Trainingsdaten. Forscher veröffentlichen nur die erfolgreiche Idee, nicht die zehn gescheiterten Versuche davor. Sprachmodelle sehen deshalb selten den ganzen Prozess.
Lange sieht in Weltmodellen einen möglichen Hebel. Solche Modelle sagen voraus, wie sich ein Zustand verändert. Die Bedeutung dieses Ansatzes haben wir in unserem Beitrag zu Weltmodellen genauer beleuchtet.
Fazit: Rekursive Selbstverbesserung als nächster Schritt
Rekursive Selbstverbesserung verschiebt die Rolle des Forschers. Der Mensch steuert kĂĽnftig ganze Flotten von Coding-Agenten. Fakten auswendig zu lernen verliert an Bedeutung, Neugier gewinnt.
Lange vergleicht KI-Forschung mit dem Teleskop oder dem Mikroskop. Sie erlaubt mehr Hypothesen und schnelleren Fortschritt bei wichtigen Problemen. FĂĽr Unternehmen lohnt der Blick auf den Weg Richtung Superintelligenz.
Sakana AI bĂĽndelt diese Ideen im neuen RSI Lab. Rekursive Selbstverbesserung bleibt damit einer der spannendsten Wege der KI-Forschung.
Häufige Fragen
Was ist rekursive Selbstverbesserung bei KI?
Rekursive Selbstverbesserung beschreibt KI-Systeme, die ihren eigenen Code oder ihr Gerüst eigenständig verbessern. Ein Sprachmodell analysiert seine Fehler und schlägt Optimierungen an sich selbst vor. Sakana AI erforscht diesen Ansatz im eigenen RSI Lab. Das Ziel ist ein Kreislauf, in dem jede Verbesserung die nächste beschleunigt. Noch bleibt der Mensch als steuernde Instanz im Prozess.
Was macht Sakana AI?
Sakana AI ist ein KI-Forschungslabor aus Japan mit einer Bewertung von 2,65 Milliarden US-Dollar. Das Team setzt auf evolutionäre Algorithmen und kollektive Intelligenz statt reiner Skalierung. Ein großes Applied-Team bringt KI in japanische Konzerne wie die Bank MUFG. Der Forschungszweig arbeitet an autonomer KI-Forschung und rekursiver Selbstverbesserung. Geschäftsführer David Ha lehnt teure Trainingsläufe bewusst ab.
Was ist der AI Scientist von Sakana AI?
Der AI Scientist ist ein System für autonome Forschung im Bereich maschinelles Lernen. Es entwickelt Ideen, schreibt Code, führt Experimente aus und verfasst ein komplettes Papier. Sakana AI stellte es im August 2024 vor und publizierte die Arbeit im März in Nature. Die frühen Papiere waren noch nicht publikationsreif. Sie zeigten aber erstmals eine durchgängig autonome Forschung von der Idee bis zum Text.
Wie funktioniert die Darwin-Gödel-Maschine?
Die Darwin-Gödel-Maschine verbessert das Gerüst eines Sprachmodells, nicht dessen Gewichte. Bei einem gescheiterten Programmierproblem analysiert das System die Logs. Danach schlägt es eine konkrete Verbesserung an sich selbst vor. Als Benchmark diente SWE-bench mit echten Aufgaben von GitHub. Die Änderungen betrafen etwa das Lesen von Code und das Gedächtnis des Agenten.
Was ist Sakana Fugu?
Sakana Fugu ist ein modellagnostisches Routing-System für Sprachmodelle. Eine Anfrage läuft durch den Fugu-Router und geht an Gemini, Claude oder ein GPT-Modell. Fällt ein Anbieter aus, wählt Fugu automatisch ein anderes Modell. Das schützt Unternehmen vor der Abhängigkeit von einem einzigen Anbieter. Fugu arbeitet sequenziell und kann mehrere Modelle nacheinander befragen.
