Karpathys These zu kleinen Modellen wird auf die Probe gestellt: Ein 8,8-Milliarden-Parameter-Modell erreicht 93 % der Frontier-Coding-Leistung.

Andrej Karpathy argumentiert, dass ein 1B-Modell die meisten aktuellen LLMs übertreffen kann, weil Intelligenz nie das Wissen war. webAIs Open-Weight-Modell TwIL-8B mit 8,8 Milliarden Parametern erreicht 93 % der Coding-Werte von Frontier-Modellen und 92 % bei Instruction Following, liegt bei Wissens-Benchmarks aber weiterhin deutlich zurück.

Andrej Karpathys Argument zu kleinen Modellen ist nicht, dass kleiner besser ist. Es ist, dass das meiste, wofür aktuelle Modelle Kapazität aufwenden, keine Intelligenz ist.

„Ein 1B-Modell kann viel effektiver sein als die meisten aktuellen LLMs“, schrieb er. „90 % der aktuellen Modelle verschwenden enorm viel Kapazität und Geld damit, sich Dinge zu merken, die keine Rolle spielen.“

Schlicht gesagt lautet die Behauptung, dass ein großer Teil dessen, was ein modernes Modell lernt, auswendig gelernter Text ist und dass der Teil, der tatsächlich schlussfolgert, viel kleiner ist als das Modell, das ihn trägt. Karpathy hat das Argument im Laufe des Jahres in verschiedenen Formen wiederholt, und diese Woche lieferte ein offenes Modell mit 8,8 Milliarden Parametern von webAI dafür einen messbaren Test.

Die fünf Behauptungen

Karpathys Position lässt sich in fünf Teile gliedern.

Intelligenz war nie das Wissen. Entfernt man das auswendig gelernte Internet und behält das Schlussfolgern, bleibt ein kognitiver Kern übrig, und der ist klein.

Der Kern könnte in rund 1 Milliarde Parameter passen, vielleicht auch weniger. Seine Formulierung entlehnt sich an Feynmans Titel: „Ganz unten ist noch viel Platz“. In seiner Darstellung hat die Branche für eine Bibliothek bezahlt, wo sie ein Gehirn brauchte.

Die Größe ist nicht mehr der Engpass. Was einen Agenten funktionieren lässt, sind die Werkzeuge, die er aufrufen kann, und wie eng die Rückkopplungsschleife ist – nicht die Parameterzahl.

Intelligenz lebt im System, nicht in den Gewichten. Ein rohes Modell ist eine CPU ohne Betriebssystem; ein kleiner Kern in einem guten Harness schlägt ein riesiges Modell im Alleingang.

Sie können es besitzen. Ein Modell auf Ihrer eigenen Hardware ist eines, das niemand drosseln, verteuern oder abkündigen kann.

Was der Test zeigt

webAI hat TwIL-8B veröffentlicht, ein Reasoning-Modell mit 8,79 Milliarden Parametern, das aus IBMs Granite 4.2 8B durch vollparametrisches überwachtes Feintuning und GRPO-Verstärkungslernen nachtrainiert und anschließend in einer weiteren längenbewussten RL-Stufe weiter trainiert wurde, die kürzere Reasoning-Traces belohnt.

In seinen veröffentlichten Vergleichen erreicht TwIL-8B 93 % der besten Frontier-Punktzahl im Coding-Benchmark LiveCodeBench, 92 % bei Instruction-Following in IFBench, 90 % bei HMMT November 2025 und 88 % bei AIME 2026. Es erzielt 98,2 auf MATH-500 und 81,6 auf LiveCodeBench, innerhalb von 2,9 bis 6,2 Punkten von GPT-5.5, Claude Opus 4.8 und Grok 4.3, und übertrifft Claude Opus 4.8 auf IFBench um 12,2 Punkte.

Es läuft außerdem lokal: 8,79 Milliarden Parameter in bfloat16 oder ein Q4_K_M-Build mit 4,98 GiB für eine CPU oder eine kleinere GPU.

Der Haken ist genau der, den Karpathys Framing vorhersagt. TwIL-8B ist kein Wissensmodell. GPQA Diamond liegt bei 70,2, etwa 20 bis 23 Punkte hinter der Frontier; HLE liegt bei 12,6, also etwa 26 % des besten Frontier-Werts; MMLU-Pro liegt bei 76,5. Beim härtesten Wettbewerbs-Set, HMMT Februar 2026, fällt es auf 69 % der Frontier-Leistung.

Diese Aufteilung ist das Argument im Kleinen. Wo ein Benchmark gespeichertes Wissen belohnt, verliert das kleine Modell. Wo er Reasoning und Instruction Following belohnt, schließt es bis auf wenige Punkte auf – bei einem Bruchteil der Größe.

Die Einschränkungen sind real

Die Modellkarte ist ungewöhnlich offen darüber, was die Zahlen nicht zeigen.

Die Ergebnisse der Wettbewerber wurden nicht erneut gemessen; sie stammen aus Herstellerkarten und Drittanbieter-Bewertungen mit eigenen Prompts, Sampling- und Token-Budgets. Die AIME- und HMMT-Sets umfassen 30 bis 33 Aufgaben, sodass eine einzelne Aufgabe etwa drei Punkte wert ist und Lücken dieser Größe im Rauschen liegen. Mehrere Zeilen von TwIL-8B selbst wurden mit seiner ausführlichen Variante gemessen und nicht mit der ausgeglichenen ausgeführt. SWE-bench, Tool-Nutzung und agentische Aufgaben wurden überhaupt nicht bewertet. Die Lizenz ist webAIs nichtkommerzielle Lizenz, keine Open-Source-Lizenz.

Und es ist wortreich: etwa 19.500 Ausgabe-Tokens pro AIME-2026-Problem, rund viermal so viel, wie GPT-5.5 verbraucht.

Was sich dadurch ändert

Karpathys vierte und fünfte Behauptung sind diejenigen, die dieses Release tatsächlich prüft. Ein Modell, das in fünf Gigabyte läuft, ist ein Modell, das ein Team auf eigener Hardware betreiben, ohne tokenbasierte Abrechnung aufrufen und behalten kann, nachdem ein Anbieter seine Produktpalette ändert. Das ist das Eigentumsargument, und es hängt nicht davon ab, die Spitzenmodelle in jeder Zeile zu schlagen.

Seine Vorhersage ist, dass in zwölf Monaten der Unterschied zwischen Teams, die On-Device ausliefern, und Teams, die pro Token Frontier-Rechnungen zahlen, nicht in der Leistungsfähigkeit liegen wird. Wenn TwIL-8B die Form dessen ist, was als Nächstes kommt, wird sich die Trennung dort zeigen, wo die Modellkarte sie bereits zeigt: Reasoning lässt sich gut auf kleine Größe übertragen, Gedächtnis nicht.

Quelle: Andrej Karpathy; webAI TwIL-8B Modellkarte auf Hugging Face.

Kontakt: [email protected]

Bitte beachten Sie, dass die deutsche Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können.

AUTOR

Über ABN Asia: Ai-Banking-NetworkSecurity (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.