Comment les LLM génèrent-ils des textes ?

Ce n'est en aucun cas une tâche banale.

La génération de texte n'est pas une tâche triviale ! Les LLM sont optimisés pour prédire la probabilité du prochain jeton, mais comment générer du texte avec cela ?

L'approche naive consiste à utiliser le vecteur de probabilité généré par le modèle, à choisir le mot avec la probabilité la plus élevée et à procéder de manière autoregressive. Il s'agit de l'approche gloutonne, mais cela tend à générer des phrases répétitives qui se dégradent lorsqu'elles sont trop longues. Une autre approche consiste à utiliser les probabilités générées par le modèle et à effectuer un échantillonnage des mots en fonction de ces probabilités. Typiquement, on utilise un paramètre de température pour ajuster le niveau d'aléatoire de ce processus. Cela permet de générer des phrases moins répétitives et plus créatives.

Mais ces deux techniques ont un problème. Lorsque nous générons une phrase, nous voulons maximiser la probabilité de la séquence de sortie entière et non juste le prochain jeton :

P(Séquence de sortie | Invite)

Heureusement, nous pouvons exprimer cette probabilité comme un produit des probabilités de prédire le prochain jeton :

P(jeton 1, .., jeton N | Invite) = P(jeton 1| Invite) x ... P(jeton N | Invite, jeton 1, ..., jeton N - 1)

Mais résoudre ce problème exactement est un problème NP-dur. Nous pouvons donc approximer le problème en choisissant k jetons candidats à chaque itération, en les testant et en conservant les k séquences qui maximisent la probabilité de la séquence entière. À la fin, nous choisissons simplement la séquence avec la probabilité la plus élevée. Il s'agit de la génération par recherche en faisceau et peut être combinée avec l'approche gloutonne et l'approche multinomiale.

Une autre approche est la recherche contrastive, où nous prenons en compte des métriques supplémentaires comme la fluidité ou la diversité. À chaque itération, nous choisissons des jetons candidats, pénalisons les probabilités avec une métrique de similarité des jetons qui ont été générés précédemment et choisissons les jetons qui maximisent le nouveau score.

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

AiUTOMATING PEOPLE, ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

© ABN ASIA