Diterbitkan pada

Transformer sedang berubah menjadi sebuah komponen.

Penulis

Listen in English · Transformer sedang berubah menjadi sebuah komponen.

0:00 / 0:00

Watch in English · Transformer sedang berubah menjadi sebuah komponen.

Luangkan waktu bersama orang-orang yang membangun model terdepan dan muncul sebuah pola yang disembunyikan papan peringkat: jumlah mereka yang tidak biasa sedang mengerjakan sesuatu yang bukan Transformer.

Luangkan waktu bersama orang-orang yang membangun model-model terdepan dan sebuah pola akan terlihat yang disembunyikan oleh papan peringkat: jumlah mereka yang tidak biasa sedang mengerjakan sesuatu yang bukan Transformer.

Tidak menggantinya kuartal ini. Menggarapnya sebagai pertanyaan riset yang aktif, secara paralel, dengan uang sungguhan. Arsitektur prediktif bergaya JEPA yang tidak pernah menghasilkan token atau piksel. Model bahasa difusi yang menghilangkan derau seluruh paragraf sekaligus. Mamba dan keluarga ruang keadaan, yang menggantikan pemindaian kuadratik attention dengan keadaan rekuren berukuran tetap. Masing-masing adalah jawaban berbeda untuk pertanyaan yang sama: apa yang seharusnya benar-benar dihitung oleh mesin?

3T
parameter di Kimi K3, dirilis Juli 2026 — 104B aktif, konteks 1M, dan stack linear-ke-attention 3:1
4–7×
KV cache lebih sedikit untuk hibrida pada rasio 3:1, sekaligus menyamai atau mengalahkan attention penuh pada recall RULER
96–432×
estimasi komputasi pelatihan lebih sedikit yang diklaim oleh HRM-Text untuk model 1B yang mencetak 60,7 pada MMLU

Apa yang sebenarnya dirilis

Tidak ada yang merilis model rekuren murni di atas ukuran menengah. Yang dirilis adalah rasio. Sebuah studi yang disepadankan atas atensi linear hibrida menempatkan rentang berguna pada 3:1 hingga 6:1 linear terhadap penuh, di mana hibrida mendekati atau melampaui baseline atensi penuh pada tolok ukur recall dengan KV cache empat hingga tujuh kali lebih sedikit. Laporan Kimi K3 menempatkan ablasi mereka sendiri pada 3:1 — perplexity validasi 5,65 berbanding 5,66 pada 1:1 — di seluruh 93 lapisan teks, 24 di antaranya atensi penuh. Nemotron-H dari NVIDIA melaporkan inferensi hingga sekitar tiga kali lebih cepat pada akurasi setara; Granite 4.0-H dari IBM melaporkan memori lebih dari 70 persen lebih rendah.

Argumen state-space telah berlangsung sejak Mamba pada 2023. Scorecard yang jujur: pencampuran linear-time unggul dalam throughput dan memori, tetapi kehilangan recall saat berdiri sendiri, dan industri meresponsnya dengan mempertahankan sebagian kecil lapisan attention.

Keduanya adalah angka vendor pada stack vendor, dan keduanya secara struktural tidak mengejutkan: Anda menghapus hal yang tumbuh.

  1. Ruang keadaan · Mamba, RWKV, KDA

    Keadaan rekuren berukuran tetap, komputasi linear terhadap panjang urutan. Hadir sebagai hibrida dengan rasio kira-kira 3:1.

  2. Difusi · Mercury, LLaDA

    Menghilangkan derau pada banyak token sekaligus alih-alih satu per satu. Diklaim inferensi 5–10× lebih cepat.

  3. Penyematan gabungan · JEPA

    Memprediksi dalam ruang laten alih-alih menghasilkan piksel atau token. LeCun meninggalkan Meta dan mendirikan AMI Labs pada 2026.

  4. Default yang tidak berubah

    Transformer, masih menjadi dasar setiap model di atas — hanya saja bukan lagi keseluruhannya.

Empat keluarga, empat taruhan berbeda tentang apa yang seharusnya dihitung oleh mesin.

Kasus tandingan itu penting. MiniMax menjalankan strategi hibrida-linear pada 456B dan berbalik arah secara publik, merilis full attention dengan postmortem: paritas pada skala pengembangan, defisit multi-hop pada skala yang lebih besar. Sebuah makalah Juni 2026 menemukan bahwa fine-tuning chain-of-thought menurunkan recall jangka panjang pada model hibrida. Recall bukanlah properti yang dimiliki sebuah arsitektur sekali saja; itu adalah properti yang dimiliki sebuah checkpoint, setelah semua yang Anda lakukan padanya.

Difusi tidak lagi sekadar keingintahuan

Model bahasa difusi membalik kontrak yang biasa. Alih-alih mengeluarkan token demi token, model ini mulai dari noise dan melakukan denoising pada seluruh blok secara paralel, beriterasi hingga teks terbentuk. Mercury dari Inception adalah versi skala komersial pertama, diiklankan dengan kecepatan inferensi lima hingga sepuluh kali lipat model autoregresif yang sebanding; pada 2026, generasi yang dihosting melampaui seribu token per detik, dengan LLaDA 2 pada 70B dan Gemini Diffusion dari Google dalam keluarga yang sama.

Klaim efisiensi itu tentang inferensi, bukan pelatihan, dan perbedaan itu sering hilang. Dekode yang lebih cepat mengubah ekonomi layanan dan siklus agen. Hal itu tidak dengan sendirinya membuat model lebih pintar per unit komputasi pelatihan.

Dekode paralel versus generasi token demi token

Empat keluarga arsitektur yang bersaing untuk dekade berikutnya

Pertanyaan tentang komputasi, yang merupakan pertanyaan sesungguhnya

Di sinilah argumen menjadi cukup konkret untuk diuji. HRM-Text, model 1B dari sebuah kelompok yang mencakup Yasin Abbasi Yadkori, menggantikan Transformer standar dengan model rekuren hierarkis yang membagi komputasi menjadi lapisan strategis yang lambat dan lapisan eksekusi yang cepat. Dilatih dari awal pada 40 miliar token dengan anggaran $1.500, model ini melaporkan 60,7 pada MMLU, 84,5 pada GSM8K, dan 56,2 pada MATH — kompetitif dengan model terbuka yang dua hingga tujuh kali lebih besar, dengan sekitar 96 hingga 432 kali lebih sedikit komputasi terestimasi daripada baseline standar.

Baca itu dengan cermat. Ini model 1B, bukan model frontier, dan "estimated" memegang peranan penting dalam kalimat itu. Tetapi ini adalah bukti keberadaan untuk hal spesifik yang penting: arsitektur yang berbeda ditambah tujuan pelatihan yang berbeda menghasilkan rasio kemampuan terhadap komputasi yang jauh lebih baik.

HRM-Text, perkiraan konservatif96×

kali lebih sedikit komputasi pelatihan daripada baseline standar

HRM-Text, perkiraan optimistis432×

kali lebih sedikit, menurut batas atas dalam makalah

Model 1B yang dilatih dengan biaya $1.500. Rentang itu berasal dari penulis sendiri, berdasarkan baseline mereka sendiri.

Versi skala terdepan dari arah yang sama lebih tenang. Laporan Kimi K3 memuat scaling fit yang varian attention-nya mencapai loss yang sama dengan komputasi sekitar 1,16 kali lebih sedikit — penghematan 14 persen, bukan revolusi, dan diekstrapolasi dari testbed riset alih-alih diukur pada 2,8 triliun parameter. Itulah rupa kemajuan biasanya sebelum tampak seperti terobosan.

Mengapa terobosan adalah taruhan yang masuk akal

Argumennya bukanlah bahwa satu arsitektur tunggal akan segera menang. Melainkan bahwa ruang pencarian telah melebar sementara pengukurannya menjadi lebih tajam.

Selama satu dekade ada satu arsitektur dan satu resep, sehingga kemampuan datang dari lebih banyak komputasi dan lebih banyak data. Kini ada empat keluarga dalam produksi atau riset serius, masing-masing dengan mode kegagalan yang berbeda: model hibrida kehilangan recall eksak, difusi kehilangan kontrak kiri-ke-kanan, JEPA kehilangan antarmuka teks yang dihasilkan, Transformer kehilangan argumen memori. Mode kegagalan yang berbeda berarti niche yang berbeda, dan niche berarti pendanaan paralel.

Tidak ada apa pun di sini yang menunjukkan total komputasi pelatihan menurun — rencana industri itu sendiri mengarah sebaliknya. Klaim yang layak diajukan lebih sempit dan lebih berguna: jumlah kecerdasan yang dihasilkan per unit komputasi tidak lagi meningkat hanya karena modelnya lebih besar. Itu meningkat karena bentuk komputasinya berubah — dan vektor itu baru sangat sedikit dieksplorasi dibandingkan dengan sudah berapa lama tak ada yang mempertanyakan arsitektur itu sendiri.

Tidak satu pun dari ini memiliki tanggal. Yang dapat diperiksa hari ini: model hibrida dikirim pada skala terdepan, difusi mendekode seribu token per detik, riset prediksi laten didukung laboratorium bernilai miliaran dolar, dan model 1B memangkas komputasi pelatihan standar sebesar dua orde besaran. Jika poros ini terus bergerak dengan laju delapan belas bulan terakhir, pertanyaannya bukan lagi apakah sebuah terobosan akan datang, melainkan keluarga mana yang mewujudkannya.

Sumber: arXiv 2605.20613 (HRM-Text); laporan teknis Kimi K3 (Juli 2026); "State Space Models in 2026: The Recall Gap" (Agustus 2026), mengutip arXiv 2507.06457, 2603.15569, dan 2606.11052; materi Mercury dari Inception Labs; literatur ruang keadaan dan JEPA hingga November 2026.

Kontak: [email protected]

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai-Banking-NetworkSecurity (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.

ABNAsia.org

© ABN ASIA