Cout par million de jetons

Définition

Le cout par million de jetons est l'unite tarifaire standard utilisee par les fournisseurs d'API de modeles de langage pour facturer l'usage de leurs services, distinguant generalement le prix des jetons d'entree, correspondant au texte envoye au modele, et celui des jetons de sortie, correspondant au texte genere, ce dernier etant systematiquement plus cher car plus couteux a produire. Cette unite permet de comparer objectivement des fournisseurs et des modeles dont les tarifs varient de quelques centimes a plusieurs dizaines d'euros par million de jetons selon la taille et la sophistication du modele. Le cout par million de jetons ne reflete cependant pas a lui seul le cout total d'une application : le nombre de jetons consommes depend fortement de la longueur du contexte, de l'usage de techniques comme le RAG qui injectent des documents dans le prompt, et du nombre d'appels necessaires pour accomplir une tache. Une baisse du prix unitaire peut ainsi etre compensee par une hausse du volume consomme si l'architecture applicative n'est pas maitrisee. Pour les DSI, le suivi du cout par million de jetons, combine a une gouvernance de la consommation par cas d'usage, est devenu un exercice budgetaire a part entiere, souvent appele FinOps IA, essentiel pour maitriser la facture croissante des projets d'intelligence artificielle generative en production.