DeepSeek et Kimi : Pourquoi ils performe si bien

Qu'est-ce qui les fait performer si bien et si rapidement ?

Qu'un deuxième document déposé avec des tonnes de secrets de volant d'inertie RL et de raisonnement multimodal de style o1 n'est pas sur ma carte de bingo aujourd'hui. Les documents de Kimi (une autre startup) et de DeepSeek ont remarquablement convergé vers des résultats similaires :

Pas besoin de recherche d'arbre complexe comme MCTS. Il suffit de linéariser la trace de pensée et de faire une prédiction autoregressive classique ; Pas besoin de fonctions de valeur qui nécessitent une autre copie coûteuse du modèle ; Pas besoin de modélisation de récompense dense. Faire confiance le plus possible à la vérité de terrain, au résultat final.

Différences :

DeepSeek adopte l'approche AlphaZero - bootstrapping pur à travers le RL sans entrée humaine, c'est-à-dire "démarrage à froid". Kimi adopte l'approche AlphaGo-Master : SFT légère pour réchauffer à travers des traces CoT conçues par ingénierie de prompt. Les poids de DeepSeek sont sous licence MIT (leadership dans la pensée !) ; Kimi n'a pas encore de sortie de modèle. Kimi montre des performances multimodales solides (!) sur des benchmarks comme MathVista, qui nécessite une compréhension visuelle de la géométrie, des tests de QI, etc. Le document de Kimi contient beaucoup plus de détails sur la conception du système : infrastructure RL, cluster hybride, bac à sable de code, stratégies de parallélisme ; et détails d'apprentissage : contexte long, compression CoT, curriculum, stratégie d'échantillonnage, génération de cas de test, etc.

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA