Speculative Decoding

Définition

Le Speculative Decoding est une technique d'optimisation de l'inférence des grands modèles de langage, conçue pour accélérer la génération intrinsèquement séquentielle et autorégressive de tokens, en exploitant un modèle draft de taille nettement plus réduite et donc significativement plus rapide, chargé de proposer par anticipation plusieurs tokens candidats consécutifs, que le modèle cible de référence, plus grand et plus précis, vérifie ensuite d'un seul coup en un unique passage direct (forward pass) plutôt que token par token successivement. Si les tokens ainsi proposés par le modèle draft s'avèrent acceptés selon un critère probabiliste rigoureux comparant leurs distributions respectives, garantissant mathématiquement que le résultat final produit reste statistiquement identique à celui qu'aurait généré le modèle cible seul sans aucune approximation de qualité, ils sont alors validés et intégrés directement à la sortie finale sans coût de calcul supplémentaire significatif par rapport à une génération classique. En cas de rejet d'un token proposé, généralement à partir du premier point de divergence détecté entre les deux modèles, le modèle cible reprend simplement la génération normale token par token depuis ce point précis de désaccord identifié. Cette technique permet des gains de vitesse d'inférence significatifs en pratique, sans dégradation mesurable de la qualité finale du texte généré, un compromis particulièrement recherché pour les déploiements de production à fort volume de requêtes.