Debit de generation en jetons par seconde

Définition

Le debit de generation en jetons par seconde mesure la vitesse a laquelle un modele de langage produit sa reponse une fois la generation demarree, exprime en nombre de jetons emis chaque seconde. Cet indicateur complete la latence de premier jeton : il caracterise la fluidite de la reponse plutot que sa reactivite initiale. Le debit depend de la taille du modele, de l'architecture materielle utilisee, du nombre de requetes traitees simultanement par lots, ainsi que des techniques d'optimisation appliquees comme la quantification des poids ou le decodage speculatif, qui permet de generer plusieurs jetons candidats en parallele avant validation. Un debit trop faible degrade l'experience pour les cas d'usage necessitant une lecture fluide en temps reel, tandis qu'un debit eleve permet de servir davantage d'utilisateurs simultanement a cout egal. Les fournisseurs d'API publient generalement ce chiffre en jetons par seconde par utilisateur ou en debit agrege du systeme, deux mesures qu'il convient de ne pas confondre lors d'une comparaison de fournisseurs. Pour un DSI qui negocie un contrat d'inference, le debit garanti conditionne directement le nombre d'utilisateurs simultanes qu'une application peut servir sans degradation, et constitue donc un parametre central de dimensionnement de capacite et de cout d'exploitation.