Inférence LLM

Définition

L'inférence LLM désigne le processus opérationnel par lequel un modèle de langage préalablement entraîné génère une prédiction ou une réponse à partir d'une entrée fournie, le prompt, par opposition à la phase d'entraînement au cours de laquelle les poids du modèle sont eux-mêmes ajustés et modifiés, l'inférence n'impliquant aucune modification des paramètres du modèle, uniquement l'exploitation de ceux déjà fixés. Lors de l'inférence, le modèle génère sa réponse de manière autorégressive : chaque token de sortie est prédit successivement en fonction de l'ensemble des tokens précédents déjà générés ou fournis en entrée, puis ce nouveau token est immédiatement ajouté au contexte disponible pour conditionner la prédiction du token suivant, ce processus se répétant jusqu'à l'atteinte d'un token de fin de séquence ou d'une limite de longueur définie. Plusieurs paramètres clés influencent directement le comportement et la qualité de la génération produite : la température, qui contrôle le degré d'aléatoire introduit dans le choix du token suivant parmi les candidats les plus probables, le top-p, restreignant l'échantillonnage à un sous-ensemble cumulatif de probabilité donné, et le nombre maximal de tokens de sortie autorisé. Le coût computationnel de l'inférence, distinct de celui de l'entraînement, constitue un enjeu économique et écologique croissant pour les fournisseurs exploitant ces modèles à très grande échelle en production.