Paramètre de modèle
iaDéfinition
Valeur numérique apprise lors de l'entraînement d'un réseau de neurones. GPT-4 dispose d'environ 1 800 milliards de paramètres. Détermine les capacités et la taille du modèle.
Description
Le paramètre de modèle est une valeur numérique (poids ou biais) apprise lors de l'entraînement d'un réseau de neurones. La taille d'un modèle est mesurée en milliards de paramètres (B). Les performances tendent à augmenter avec le nombre de paramètres selon les lois de scaling.
Fonctionnement
Chaque neurone applique une transformation linéaire (W·x + b) suivie d'une non-linéarité. Les poids W et biais b sont initialisés aléatoirement et optimisés par rétropropagation. La Loi de Chinchilla (2022) établit la relation optimale entre nombre de paramètres et tokens d'entraînement.
Points clés
- Un modèle de 70B paramètres en BF16 nécessite environ 140 Go de VRAM, soit 2 GPU H100 minimum
- La quantization (INT4) permet de réduire à ~35 Go, rendant le déploiement local possible sur des workstations
- Les petits modèles distillés (Phi-4, Mistral 7B) offrent un excellent ratio performance/coût pour les cas d'usage spécialisés
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis