Chatbot-Ranking: Verschiedene Aufgaben, verschiedene Gewinner

Es ist nicht allgemein bekannt, dass Chatbot Arena kategoriespezifische Bewertungen für Anfragen wie Mathematik, Programmierung oder kreatives Schreiben sowie Anpassungen für den Stil veröffentlicht.

Damit können wir sehen, was die "Kern"-Leistung des Modells für bestimmte Aufgaben ist.

Ich war interessiert daran zu untersuchen, ob bestimmte Labors tendenziell in der "Gesamtbewertung" für verschiedene Aufgaben unterschätzt oder überschätzt werden. Die Ergebnisse sind ehrlich gesagt nicht ganz das, was ich erwartet hatte:

OpenAI-Modelle werden größtenteils unterschätzt (d. h. sie sind stärker, wenn man sich die Einzelbewertungen ansieht)
xAI, Google, Meta, 01 (Labor, nicht Modell), Cohere, Nvidia werden alle überschätzt
DeepSeek, Mistral, Alibaba (Qwen-Modelle) werden unterschätzt
Anthropic ist eher gemischt - die Überschätzung bei kreativem Schreiben ist irgendwie interessant

Ein Tipp: Wenn Sie sich die besten Modelle ansehen möchten, würde ich empfehlen, sich die "Schwierig mit Stilkontrolle" anzusehen - dort sind Sonnet 3.6, o1-preview und Google-Exp-1121 gleichauf Erster - das entspricht meiner Intuition über die besten Modelle viel besser.

Bitte beachten Sie, dass die deutsche Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können.

AUTOR

Über ABN Asia: Ai Base Network (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.