Paramètre de modèle

Définition

Un paramètre de modèle, dans le contexte des réseaux de neurones et des grands modèles de langage, est une valeur numérique interne au modèle, ajustée itérativement au cours de la phase d'entraînement par un algorithme d'optimisation comme la descente de gradient, dans le but de minimiser l'écart entre les prédictions du modèle et les résultats attendus sur le jeu de données d'entraînement. Ces paramètres correspondent principalement aux poids des connexions entre neurones dans les couches successives du réseau, notamment dans les couches d'attention et les couches denses de l'architecture Transformer qui sous-tend la quasi-totalité des LLM actuels, ainsi qu'à des biais associés à chaque neurone. Le nombre total de paramètres d'un modèle constitue un indicateur approximatif, bien qu'imparfait, de sa capacité représentationnelle et de la complexité des relations qu'il peut apprendre : les modèles de très grande taille, GPT-4 étant estimé par la communauté à environ 1800 milliards de paramètres bien que la valeur exacte n'ait pas été confirmée officiellement par OpenAI, disposent d'une capacité d'apprentissage supérieure aux modèles plus modestes, au prix d'un coût d'entraînement et d'inférence considérablement plus élevé en calcul et mémoire. Ce nombre détermine directement les besoins matériels pour l'entraînement comme pour le déploiement, et motive les techniques de compression comme la quantification ou le fine-tuning efficient (PEFT) pour un usage en environnement contraint.