Tesis model kecil Karpathy menghadapi ujiannya: model 8,8B pada 93% level coding terdepan

Andrej Karpathy berpendapat bahwa model 1B dapat mengungguli sebagian besar LLM saat ini karena kecerdasan bukanlah pengetahuan. TwIL-8B open-weight milik webAI, dengan 8,8 miliar parameter, mencapai 93% dari skor coding terdepan dan 92% dalam mengikuti instruksi, tetapi masih tertinggal jauh pada tolok ukur pengetahuan.

Argumen Andrej Karpathy tentang model kecil bukanlah bahwa yang lebih kecil lebih baik. Melainkan bahwa sebagian besar hal yang digunakan model saat ini untuk kapasitas bukanlah kecerdasan.

"Model 1B bisa jauh lebih efektif daripada sebagian besar LLM saat ini," tulisnya. "90% model saat ini membuang banyak sekali kapasitas dan uang untuk mengingat hal-hal yang tidak penting."

Dinyatakan secara gamblang, klaimnya adalah bahwa sebagian besar dari apa yang dipelajari model modern adalah teks yang dihafal, dan bagian yang benar-benar bernalar jauh lebih kecil daripada model yang membawanya. Karpathy telah mengulangi argumen itu dalam berbagai bentuk sepanjang tahun, dan pekan ini sebuah model open-weight 8,8B dari webAI memberinya uji yang terukur.

Lima klaim

Posisi Karpathy terbagi menjadi lima bagian.

Kecerdasan tidak pernah identik dengan pengetahuan. Singkirkan internet yang dihafal dan pertahankan penalaran; yang tersisa adalah inti kognitif, dan itu kecil.

Inti itu mungkin muat dalam sekitar 1B parameter, bahkan mungkin lebih sedikit. Frasa yang ia gunakan meminjam judul Feynman: masih banyak ruang di bawah. Dalam kerangkanya, industri telah membayar untuk sebuah perpustakaan padahal yang dibutuhkannya adalah otak.

Ukuran bukan lagi hambatan. Yang membuat agen berfungsi adalah alat yang dapat dipanggilnya dan seberapa ketat lingkar umpan baliknya, bukan jumlah parameter.

Kecerdasan hidup dalam sistem, bukan pada bobot. Model mentah adalah CPU tanpa sistem operasi; inti kecil di dalam harness yang baik mengalahkan model raksasa yang berdiri sendiri.

Anda bisa memilikinya. Model di perangkat keras Anda sendiri adalah model yang tidak dapat dibatasi lajunya, dinaikkan harganya, atau dihentikan dukungannya oleh siapa pun.

Apa yang ditunjukkan pengujian

webAI merilis TwIL-8B, model penalaran 8,79 miliar parameter yang dilatih pascapelatihan dari Granite 4.2 8B milik IBM dengan fine-tuning terawasi seluruh parameter dan pembelajaran penguatan GRPO, lalu tahap RL lanjutan yang mempertimbangkan panjang dan memberi imbalan pada jejak penalaran yang lebih pendek.

Dalam perbandingan yang diterbitkannya, TwIL-8B mencapai 93% dari skor frontier terbaik pada pemrograman LiveCodeBench, 92% pada IFBench untuk mengikuti instruksi, 90% pada HMMT November 2025, dan 88% pada AIME 2026. Model ini mencetak 98,2 pada MATH-500 dan 81,6 pada LiveCodeBench, dalam rentang 2,9 hingga 6,2 poin dari GPT-5.5, Claude Opus 4.8, dan Grok 4.3, serta mengalahkan Claude Opus 4.8 pada IFBench sebesar 12,2 poin.

Model ini juga dapat dijalankan secara lokal: 8,79 miliar parameter dalam bfloat16, atau versi Q4_K_M 4,98 GiB untuk CPU atau GPU sederhana.

Tangkapannya persis seperti yang diprediksi kerangka Karpathy. TwIL-8B bukan model pengetahuan. GPQA Diamond mencapai 70,2, sekitar 20 hingga 23 poin di belakang model terdepan; HLE 12,6, atau sekitar 26% dari skor terdepan terbaik; MMLU-Pro 76,5. Pada set kontes tersulit, HMMT Februari 2026, skornya turun menjadi 69% dari model terdepan.

Pemisahan itu adalah argumen dalam bentuk mini. Ketika sebuah benchmark memberi imbalan pada pengetahuan yang tersimpan, model kecil kalah. Ketika benchmark itu memberi imbalan pada penalaran dan mengikuti instruksi, selisihnya menyempit hingga hanya beberapa poin meskipun ukurannya hanya sebagian kecil.

Kaveatnya nyata

Kartu model itu luar biasa blak-blakan tentang apa yang tidak ditunjukkan oleh angka-angka tersebut.

Skor pesaing tidak dijalankan ulang; skor itu berasal dari kartu vendor dan evaluasi pihak ketiga dengan prompt, sampling, dan anggaran token mereka sendiri. Set AIME dan HMMT berisi 30 hingga 33 soal, sehingga satu soal bernilai sekitar tiga poin dan selisih sebesar itu berada dalam noise. Beberapa baris milik TwIL-8B sendiri diukur pada varian verbose-nya dan belum dijalankan pada varian balanced-nya. SWE-bench, penggunaan alat, dan tugas agentik sama sekali tidak dievaluasi. Lisensinya adalah lisensi nonkomersial webAI, bukan lisensi sumber terbuka.

Dan ia bertele-tele: sekitar 19.500 token keluaran per soal AIME 2026, kira-kira empat kali lipat yang dihabiskan GPT-5.5.

Apa yang diubahnya

Klaim keempat dan kelima Karpathy adalah yang benar-benar diuji oleh rilis ini. Model yang berjalan dalam lima gigabyte adalah model yang dapat diletakkan tim di perangkat kerasnya sendiri, dipanggil tanpa meteran per token, dan dipertahankan setelah vendor mengubah lini produknya. Itulah argumen kepemilikan, dan itu tidak bergantung pada mengalahkan frontier di setiap baris.

Prediksinya adalah bahwa dalam dua belas bulan, kesenjangan antara tim yang merilis di perangkat dan tim yang membayar tagihan frontier per token tidak akan tentang kemampuan. Jika TwIL-8B adalah gambaran tentang apa yang akan datang, perpecahan itu akan muncul di tempat yang sudah ditunjukkan kartu model: penalaran berjalan baik pada ukuran kecil, sedangkan memori tidak.

Sumber: Andrej Karpathy; kartu model webAI TwIL-8B di Hugging Face.

Kontak: [email protected]

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai-Banking-NetworkSecurity (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.