LLMs : les entreprises passent à des modèles plus petits

77 % de l'utilisation de l'IA dans les entreprises utilisent des modèles qui sont de petits modèles, moins de 13 milliards de paramètres.

Databricks, dans son rapport annuel sur l'état des données et de l'IA, a publié cette enquête qui, parmi d'autres constatations intéressantes, a indiqué que les grands modèles, ceux dotés de 100 milliards de paramètres ou plus, représentent désormais environ 15 % des mises en œuvre.

En août, nous avons demandé aux acheteurs d'entreprise : Qu'a fait votre GPU pour vous aujourd'hui ? Ils ont exprimé leurs inquiétudes quant au ROI de l'utilisation de certains des plus grands modèles, en particulier dans les applications de production.

Les tarifs d'un fournisseur d'inférence populaire montrent l'augmentation géométrique des prix en fonction des paramètres d'un modèle.

Mais il y a d'autres raisons, en dehors du coût, pour utiliser des modèles plus petits.

Premièrement, leurs performances se sont nettement améliorées, certains des plus petits modèles approchant le succès de leurs grands frères. L'écart de coût signifie que les modèles plus petits peuvent être exécutés plusieurs fois pour vérifier, comme un Mechanical Turk IA.

Deuxièmement, les latences des modèles plus petits sont la moitié de celles des modèles de taille moyenne et 70 % inférieures à celles des mégamodèles.

Une latence élevée est une expérience utilisateur inférieure. Les utilisateurs n'aiment pas attendre.

Les modèles plus petits représentent une innovation significative pour les entreprises, qui peuvent profiter de performances similaires à deux ordres de grandeur, avec moins d'expense et la moitié de la latence.

Pas étonnant que les concepteurs les considèrent comme petits mais puissants.

Remarque : J'ai abstrait la dimension supplémentaire des modèles de mélange d'experts pour rendre le point plus clair.

Il existe différentes manières de mesurer la latence, que ce soit le temps jusqu'au premier jeton ou la latence inter-jeton.

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA