Modele generatif auto-regressif

Définition

Un modele generatif auto-regressif est un modele statistique qui produit une sequence (texte, audio, image en pixels) en generant chaque element successivement, chaque prediction etant conditionnee par tous les elements deja generes, selon la regle de factorisation en chaine des probabilites conditionnelles. Cette approche, appliquee au traitement du langage par les modeles de la famille GPT, se retrouve aussi dans la generation audio (WaveNet) ou, historiquement, dans PixelRNN pour les images pixel par pixel. Chaque etape de generation applique une fonction de score sur le vocabulaire disponible, puis un mecanisme d'echantillonnage (greedy decoding, top-k, top-p ou nucleus sampling, temperature) selectionne le prochain element. L'avantage principal est la coherence sequentielle et la simplicite d'entrainement par maximum de vraisemblance sur des donnees existantes sans annotation supplementaire. La limite majeure est le cout d'inference, proportionnel a la longueur de la sequence generee, chaque token necessitant un passage complet dans le reseau, ce qui motive des techniques d'acceleration comme le speculative decoding. Pour un DSI, cette caracteristique explique directement la latence et le cout observes lors de l'usage d'API de generation de texte, et justifie l'interet des architectures alternatives (diffusion, modeles non-autoregressifs) pour certains cas d'usage sensibles au temps de reponse.