Temperature (LLM)
iaDéfinition
Paramètre contrôlant l'aléatoire des sorties d'un LLM (0=déterministe, 2=très créatif). Une valeur basse favorise la précision factuelle, haute favorise la créativité.
Description
La Temperature LLM est un hyperparamètre contrôlant l'aléatoire des sorties lors du sampling. Une valeur proche de 0 rend le modèle déterministe (greedy decoding), une valeur haute (1.0-2.0) aplatie la distribution de probabilité pour des sorties plus créatives et diversifiées.
Fonctionnement
La température divise les logits avant le softmax : logits_scaled = logits / temperature. Des valeurs basses concentrent la probabilité sur les tokens les plus probables. Le nucleus sampling (top-p) et top-k complètent la température pour contrôler la diversité de génération.
Points clés
- Température 0 à 0.3 recommandée pour les tâches de cybersécurité nécessitant précision et reproductibilité
- Température 0.7 à 1.0 pour la génération créative de scénarios d'attaque ou de rapports variés
- Le paramètre seed garantit la reproductibilité à température fixe pour les tests et audits des systèmes IA
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis