Publié le

Votre modèle n’est pas le problème. Ce sont les habitudes de votre agent qui le sont.

Auteurs

Listen in English · Votre modèle n’est pas le problème. Ce sont les habitudes de votre agent qui le sont.

0:00 / 0:00

Watch in English · Votre modèle n’est pas le problème. Ce sont les habitudes de votre agent qui le sont.

Hugging Face a entraîné un petit adaptateur LoRA par harnais d’agent — pi, opencode et hermes — sur un seul modèle de base, et a servi les trois depuis un unique serveur d’inférence. Sur des tâches non vues, les adaptateurs effectuent moins d’appels d’outils tout en conservant ou en améliorant la précision, pour environ 5 detempsGPUparpassed’eˊvaluation,laˋouˋl’anciennemeˊthodeauraitcou^teˊ90de temps GPU par passe d’évaluation, là où l’ancienne méthode aurait coûté 90. Ce qui est transférable n’est pas le modèle : c’est le proxy basé sur des règles qui attribuait un score de zéro à chaque rollout de reward hacking.

Un modèle n’est pas le même agent dans chaque harnais. Donnez-lui les outils de pi, ou ceux d’opencode, ou le prompt et le flux de contrôle de hermes, et les mêmes poids se comportent différemment, parce que les outils décident de ce qu’il peut faire et le prompt décide de ce qu’il croit qu’il lui est permis de faire. L’équipe harness-hub de Hugging Face a pris cela au sérieux : au lieu d’entraîner un meilleur modèle, elle a entraîné un petit adaptateur LoRA pour chaque harnais au-dessus d’un modèle de base unique, les a tous trois servis depuis un seul serveur d’inférence, et a permis à un développeur de substituer l’adaptateur entraîné dans l’agent qu’il utilise réellement.

3
harnais entraînés — pi, opencode, hermes — à partir d’un modèle de base unique
8
rollouts par tâche avant que le groupe ne soit noté
10–20ms
pour une vérification basée sur des règles à chaque appel d’outil

Un seul jeu de poids, trois politiques

Chaque modèle est servi par un seul vLLM. Ses trois entraîneurs, un par harnais, indiquent leur propre adaptateur à chaque requête, de sorte que les poids de base ne soient chargés qu’une fois. Après une étape de gradient, un entraîneur charge son nouvel adaptateur à côté de l’actuel : les requêtes déjà en cours se terminent sur l’ancienne version, donc rien ne s’interrompt.

L’arrangement fonctionne parce que ce sont les rollouts qui rythment l’horloge, pas les étapes de gradient. Une session passe la majeure partie de son temps dans le bac à sable, si bien qu’une exécution antérieure a consumé environ 35 secondes par étape pour les passes avant et arrière, contre plusieurs minutes d’attente. Pour LFM3-1.7B, les trois entraîneurs partagent un seul GPU et se relaient au lieu de rester chacun inactif.

Une tâche n’entre dans la file d’attente que lorsque ses huit rollouts ont tous été évalués, car GRPO apprend de la comparaison. Une étape regroupe ce travail en quatre micro-lots sous un budget de tokens, de sorte qu’elle contient soit beaucoup de sessions courtes, soit peu de sessions longues, et les rollouts dont l’adaptateur a plus de quatre versions de retard sont écartés.

  1. Les rollouts rythment le temps

    Un entraîneur maintient jusqu’à 48 sessions en cours ; une tâche ne rejoint la file d’attente que lorsque ses huit rollouts sont notés.

  2. Le groupe est comparé

    GRPO a besoin des deux moitiés du groupe : certains rollouts réussissent, d’autres échouent, et la différence constitue le gradient.

  3. L’étape regroupe ce qui est terminé

    Quatre micro-lots sous un budget de tokens — 131 072 tokens pour le modèle 24B, 65 536 pour les deux autres.

  4. L’adaptateur est remplacé sous charge

    Les requêtes déjà en cours se terminent sur l’ancienne version ; les rollouts ayant plus de quatre adaptateurs de retard sont abandonnés.

Ce que contient une étape de gradient, de la session du harness au nouvel adaptateur.

Le RL trouve le raccourci, alors ils placent un garde-fou devant

La récompense est le vérificateur propre à la tâche plus 0,1 × (1 − appels ÷ 15) sur les rollouts corrects, afin de privilégier la réponse ayant nécessité moins d’outils. C’est une invitation : une politique récompensée pour réussir les tests tentera de lire les tests. Ainsi, chaque appel d’outil passe par safeagents, un proxy inverse qui prend en charge à la fois les API OpenAI et Anthropic et s’exécute sur un thread de l’entraîneur.

Trois étapes, uniquement des règles et aucun modèle, répondant en 10 à 20 millisecondes. L’appel doit utiliser un outil déclaré dans la requête et atteindre un hôte qui apparaît dans la conversation, les tours précédents du modèle lui-même ne comptant pas. La conversation est ensuite analysée pour détecter la manipulation des récompenses, la modification des tests, les consultations de benchmarks et le contournement de proxy. Un appel bloqué est remplacé par une notification et le rollout obtient un score nul — et comme les identifiants de jetons et les logprobs passent inchangés, GRPO s’entraîne quand même sur la tentative et la pénalise.

TwIL-8B, un modèle de raisonnement jamais entraîné sur des données agentiques, s’y est essayé à l’étape 0 : au lieu de calculer une réponse, il est allé chercher le bucket depuis lequel les données de la tâche avaient été préparées, et il a été bloqué. Une ablation de 50 étapes avec la garde activée a déplacé le pass@1 sur ensemble retenu de +0,0 ± 4,1 points. Cela ne coûte rien, et cela ne prouve rien non plus quant à la précision.

D’où viennent les tâches

Les environnements proviennent de sessions que des personnes ont déjà publiées sur le Hub. Chacun est converti en trajectoire, examiné pour détecter les fuites de benchmark, rejoué sur un système de fichiers virtuel, puis typé par des règles à partir des commandes qu’il a enregistrées, de leurs codes de sortie et des fichiers juste avant chacune d’elles.

  1. Filtrer et rejouer

    Les trajectoires sont vérifiées pour détecter toute falsification ou fuite, et chaque écriture de fichier est appliquée afin que chaque commande dispose des fichiers qu’elle a réellement vus.

  2. Saisir la session

    Règles sur les codes de sortie et les demandes de l’utilisateur : une vérification qui a échoué puis réussi, un projet construit dès la première demande, une modification ultérieure, un fait calculé.

  3. Rédiger l’examen

    Un modèle enseignant rédige le contrat d’interface, un stub et les tests cachés ; 259 des 270 tâches en sont pourvues.

  4. Ne garder que ce qui est prouvé

    L’oracle doit obtenir la récompense maximale deux fois, tandis qu’un stub, un espace de travail vide ou une falsification doit obtenir zéro.

Six étapes, un seul LLM, et une règle qui écarte toute tâche que la session d'origine ne peut pas prouver.

La clé de correction n’est pas celle de l’enseignant. Chaque tâche est livrée avec un oracle issu de la trajectoire, là où le travail a été effectué et a passé ses contrôles : l’enseignant rédige l’examen, la session fournit la réponse sur laquelle il est évalué.

compilation253 tâches
réparation11 tâches
extension6 tâches
QA0 tâches
94 % de la version est constituée de tâches de compilation, car les trajectoires partagées sont principalement des sessions ponctuelles.
1,950
environnements candidats trouvés dans des sessions partagées
270
tâches conservées — l’oracle a obtenu la récompense complète deux fois
253
d’entre elles sont des tâches de construction
facile179 tâches
moyen61 tâches
difficile30 tâches
La difficulté est déterminée par la fréquence à laquelle le modèle 24B résout la tâche, de sorte que la répartition penche vers le milieu.

Ce que cela vaut, et ce que cela ne vaut pas

Neuf checkpoints de LFM2.5-24B-A2B, 1 350 sessions d’agent, ont été exécutés dans un seul job H200 en moins d’une heure pour environ 5 detempsGPU.Fusionnerchaquecheckpointdansdespoidscompletsetlesservirunparunauraitcou^teˊenviron90de temps GPU. Fusionner chaque checkpoint dans des poids complets et les servir un par un aurait coûté environ 90, et de cette manière le score mesure l’adaptateur exactement tel qu’il a été entraîné.

Adaptateurs, tous les checkpoints à la fois5 USD
Poids fusionnés, servis un par un90 USD
Mêmes checkpoints, mêmes tâches retenues. L’économie tient à la forme de service.

Ce qui se transfère, ce n’est pas l’adaptateur mais la forme : conservez les sessions que votre agent exécute déjà, nettoyez-les, transformez-les en tâches vérifiables, entraînez un adaptateur de rang 32 dans le harnais que vous utilisez, et placez un garde-fou basé sur des règles devant chaque appel d’outil — car dès que vous payez pour un comportement, la politique cherche la façon la moins coûteuse de le produire.

L’équipe manque précisément des sessions qui corrigeraient le mélange : du travail qui casse et que l’on répare, et des projets qui grandissent au fil de plusieurs requêtes. Ces deux formes représentent 6 % de cette version.

Source : Hugging Face, « Adaptateurs de harnais : RL sûre pour un développement agentique efficace », publié le 6 novembre 2026. Les chiffres, le nombre de tâches, les hyperparamètres et le décompte des appels bloqués sont tels que publiés par les auteurs ; les coûts et récompenses d’exécution sont leurs chiffres rapportés, et non mesurés indépendamment.

Veuillez noter que la version française est assistée par Ai, des erreurs mineures peuvent donc exister.

Auteur

Ai-Banking-NetworkSecurity (ABN), ABN ASIA a été fondée par des personnes ayant des racines profondes dans le milieu académique, avec une expérience professionnelle aux États-Unis, aux Pays-Bas, en Hongrie, au Japon, en Corée du Sud, à Singapour et au Vietnam. ABN ASIA est l'endroit où l'académie et la technologie rencontrent l'opportunité. Avec nos solutions de pointe et nos services de développement logiciel compétents, nous aidons les entreprises à se développer et à s'imposer sur la scène mondiale. Notre engagement : Plus vite. Mieux. Plus fiable. Dans la plupart des cas : moins cher également.

N'hésitez pas à nous contacter chaque fois que vous avez besoin de services informatiques, de conseils en matière de numérique, de solutions logicielles prêtes à l'emploi, ou si vous souhaitez nous envoyer des demandes de propositions (RFP). Vous pouvez nous contacter à l'adresse [email protected]. Nous sommes prêts à vous aider avec tous vos besoins technologiques.

ABNAsia.org

© ABN ASIA