DeepSeek und Kimi: Warum sie so gut abschneiden

Was macht sie so leistungsfähig und so schnell?

Dass ein zweites Papier mit Tonnen von RL-Schwungrad-Geheimnissen und multimodalem o1-ähnlichem Denken nicht auf meiner Bingo-Karte für heute ist. Kimi's (ein weiteres Startup) und DeepSeek's Papiere konvergieren bemerkenswerterweise auf ähnliche Erkenntnisse:

Kein Bedarf an komplexer Baum-Suche wie MCTS. Einfach die Denkspur linearisieren und gute alte autoregressive Vorhersage durchführen; Kein Bedarf an Wertfunktionen, die eine weitere teure Kopie des Modells erfordern; Kein Bedarf an dichter Belohnungsmodellierung. So viel wie möglich auf Groundtruth, Endresultat verlassen.

Unterschiede:

DeepSeek verwendet den AlphaZero-Ansatz - rein durch RL ohne menschliche Eingabe, d. h. "Kaltstart". Kimi verwendet den AlphaGo-Master-Ansatz: leichte SFT, um durch prompt-engineered CoT-Spuren aufzuwärmen. DeepSeek-Gewichte sind unter der MIT-Lizenz (Thought Leadership!); Kimi hat noch keine Modellfreigabe. Kimi zeigt starke multimodale Leistung (!) auf Benchmarks wie MathVista, die ein visuelles Verständnis von Geometrie, IQ-Tests usw. erfordert. Kimi-Papier enthält VIEL mehr Details zum Systemdesign: RL-Infrastruktur, Hybrid-Cluster, Code-Sandbox, Parallelismusstrategien; und Lerndetails: langer Kontext, CoT-Kompression, Curriculum, Stichprobenstrategie, Testfallgenerierung usw.

Bitte beachten Sie, dass die deutsche Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können.

AUTOR

Über ABN Asia: Ai Base Network (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.