LLM (Large Language Model)

Définition

Un LLM, Large Language Model, est un modèle d'intelligence artificielle fondé sur l'architecture Transformer, pré-entraîné sur des corpus textuels massifs pouvant atteindre plusieurs centaines de milliards, voire plusieurs milliers de milliards de tokens, afin d'apprendre à comprendre et à générer du langage naturel avec une cohérence et une fluidité remarquables, sans avoir été explicitement programmé pour chaque tâche particulière qu'il finit par accomplir. Au-delà d'un certain seuil d'échelle en nombre de paramètres et en volume de données d'entraînement, ces modèles développent des capacités émergentes non explicitement recherchées lors de leur conception initiale : un raisonnement logique et arithmétique de base, une capacité de traduction entre de nombreuses langues sans supervision dédiée spécifique à cette tâche, la synthèse et le résumé de contenus complexes, ou encore la génération de code informatique fonctionnel dans de multiples langages de programmation. Ces capacités résultent principalement de régularités statistiques profondes apprises à partir du volume considérable de texte humain ingéré durant le pré-entraînement, plutôt que d'une compréhension symbolique explicite du monde comparable à un raisonnement humain structuré. Les LLM modernes subissent généralement des phases complémentaires d'alignement après le pré-entraînement initial, instruction tuning et RLHF notamment, destinées à orienter leur comportement vers l'utilité, l'honnêteté et l'innocuité recherchées en usage réel.