LLMs: Unternehmen wechseln zu kleineren Modellen

77 % des Unternehmens-Einsatzes von KI nutzen Modelle, die kleine Modelle sind, mit weniger als 13 Milliarden Parametern.

Databricks veröffentlichte in seinem jährlichen Bericht "State of Data + AI" diese Umfrage, die unter anderem interessante Ergebnisse zeigte, darunter, dass große Modelle mit 100 Milliarden Parametern oder mehr nun etwa 15 % der Implementierungen ausmachen.

Im August fragten wir Unternehmenskäufer: "Was hat Ihre GPU heute für Sie getan?" Sie äußerten Bedenken hinsichtlich des ROI bei der Verwendung einiger der größeren Modelle, insbesondere in Produktionsanwendungen.

Die Preise eines beliebten Inferenzanbieters zeigen den geometrischen Anstieg der Preise als Funktion der Parameter für ein Modell.

Es gibt jedoch noch andere Gründe, warum kleinere Modelle verwendet werden sollten.

Erstens hat sich ihre Leistung deutlich verbessert, und einige der kleineren Modelle nähern sich dem Erfolg ihrer großen Brüder. Der Kostenvorteil bedeutet, dass kleinere Modelle mehrmals zur Verifizierung ausgeführt werden können, ähnlich wie ein AI-Mechanical-Turk.

Zweitens sind die Latenzen der kleineren Modelle halb so groß wie die der mittelgroßen Modelle und 70 % geringer als die der Mega-Modelle.

Eine höhere Latenz ist ein schlechtes Benutzererlebnis. Benutzer mögen es nicht, zu warten.

Kleinere Modelle stellen eine bedeutende Innovation für Unternehmen dar, die von einer ähnlichen Leistung bei zwei Größenordnungen weniger Kosten und halber Latenz profitieren können.

Kein Wunder, dass Entwickler sie als klein, aber mächtig betrachten.

Hinweis: Ich habe die zusätzliche Dimension der Mixture-of-Experts-Modelle abstrahiert, um den Punkt klarer zu machen.

Es gibt verschiedene Möglichkeiten, die Latenz zu messen, sei es die Zeit bis zum ersten Token oder die Inter-Token-Latenz.

Bitte beachten Sie, dass die deutsche Version von Ai unterstützt wird und daher geringfügige Fehler auftreten können.

AUTOR

Über ABN Asia: Ai Base Network (ABN), ABN Asia wurde im Jahr 2012 gegründet und ist ein Unternehmen mit akademischem Hintergrund, das von Lehrkräften und ehemaligen Studierenden aus Ungarn, den Niederlanden, Russland, Deutschland und Japan gegründet wurde. Wir teilen eine gemeinsame Leidenschaft und eine klare Vision für Technologie, die Innovation und erstklassige Qualität für unsere Kunden bringt. Unser Motto lautet: Besser. Schneller. Sicherer. In vielen Fällen: Günstiger.

Zögern Sie nicht, uns zu kontaktieren, wenn Sie IT-Dienstleistungen, digitale Beratung, Standardsoftwarelösungen benötigen oder uns Angebotsanfragen (RFPs) senden möchten. Sie können uns unter [email protected] kontaktieren. Wir sind bereit, Ihnen bei all Ihren Technologiebedürfnissen zu helfen.