Perplexite (LLM Metric)

Définition

La Perplexite (Perplexity, PPL) est la metrique d'evaluation fondamentale des modeles de langage, mesurant a quel point le modele est 'surpris' ou 'incertain' en lisant un texte. Mathematiquement, la perplexite est l'exponentielle de l'entropie croisee moyenne par token : PPL = exp(-1/N * sum(log P(t_i | t_1,...,t_{i-1}))). Un modele parfait aurait une perplexite de 1 (certitude totale), un modele aleatoire aurait une perplexite de |V| (taille du vocabulaire). L'interpretation : une perplexite de 20 signifie qu'en moyenne, le modele est aussi incertain que s'il devait choisir uniformement parmi 20 tokens a chaque position. Une perplexite de 5 indique un modele tres confiant. Sur WikiText-103 (texte anglais de reference), GPT-2 Small obtient une perplexite de ~29, GPT-2 Large ~19, et les modeles modernes (LLaMA 3.1) obtiennent ~5-8. La perplexite comme outil de comparison : elle est utilisee pour comparer des tokenizers (un tokenizer plus efficace donnera une perplexite plus basse pour le meme modele), des architectures (perplexite sur le validation set pendant l'entrainement comme signal de progression), et des tailles de modele (la 'Scaling Law' de Kaplan et al. montre que la perplexite decroit predictiblement avec le nombre de parametres et les FLOPs d'entrainement). Les limitations de la perplexite : (1) Sensible au tokenizer — comparer la perplexite entre deux modeles avec des tokenizers differents est trompeur, (2) Pas correle aux capacites des taches — un modele peut avoir une faible perplexite sur WikiText mais echouer sur des taches de raisonnement, (3) Sensible au domaine — la perplexite d'un modele medical sera elevee sur du texte de cuisine. La perplexite reste utile pour : le suivi de la progression de l'entrainement (learning curves), la detection d'overfitting (perplexite training << validation), l'evaluation de la qualite des datasets de fine-tuning, et la detection de textes OOD (out-of-distribution — les attaques par injection de prompt ont souvent une perplexite elevee).