DeepSeek dan Kimi: Mengapa Mereka Berkinerja Sangat Baik

Apa yang membuat mereka berkinerja sangat baik dan sangat cepat

Bahwa sebuah kedua makalah yang jatuh dengan ton rahasia flywheel RL dan multimodal gaya o1 penalaran tidak ada di kartu bingo saya hari ini. Kimi (startup lain) dan makalah DeepSeek secara luar biasa konvergen pada temuan yang serupa:

Tidak perlu pencarian pohon yang kompleks seperti MCTS. Cukup linearisasi jejak pemikiran dan lakukan prediksi autoregresif yang baik; Tidak perlu fungsi nilai yang memerlukan salinan model lain yang mahal; Tidak perlu pemodelan hadiah yang padat. Andalkan sebanyak mungkin pada hasil akhir yang sebenarnya.

Perbedaan:

DeepSeek melakukan pendekatan AlphaZero - murni bootstrapping melalui RL tanpa input manusia, yaitu "awal dingin". Kimi melakukan pendekatan AlphaGo-Master: SFT ringan untuk memanaskan melalui jejak CoT yang direkayasa. Berat DeepSeek memiliki lisensi MIT (kepemimpinan pemikiran!); Kimi belum memiliki rilis model. Kimi menunjukkan kinerja multimodal yang kuat (!) pada benchmark seperti MathVista, yang memerlukan pemahaman visual tentang geometri, tes IQ, dll. Makalah Kimi memiliki BANYAK lebih banyak detail tentang desain sistem: infrastruktur RL, cluster hibrida, sandbox kode, strategi paralelisme; dan detail pembelajaran: konteks panjang, kompresi CoT, kurikulum, strategi sampling, generasi kasus tes, dll.

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.