Modèle de récompense de processus (Process Reward Model)
iaDéfinition
Un modèle de récompense de processus, ou Process Reward Model (PRM), est un modèle entraîné à évaluer chaque étape intermédiaire d'un raisonnement produit par un LLM, plutôt que de noter uniquement la réponse finale comme le fait un modèle de récompense classique, dit orienté résultat. Il attribue un score à chaque étape d'une chaîne de raisonnement, permettant de détecter précisément où un raisonnement dévie, même lorsque la conclusion finale s'avère correcte par coïncidence. Cette granularité rend les PRM particulièrement utiles pour les tâches de mathématiques et de programmation, où un raisonnement correct étape par étape est un meilleur signal d'entraînement qu'une simple vérification du résultat. OpenAI a documenté cette approche dans des travaux sur la vérification de raisonnement pas à pas, montrant qu'elle surpasse les modèles de récompense orientés résultat sur des benchmarks comme MATH. L'entraînement d'un PRM nécessite des annotations humaines coûteuses au niveau de chaque étape, ce qui a motivé le développement de méthodes semi-automatiques pour générer ces labels à grande échelle. Les PRM sont utilisés à la fois pour guider l'apprentissage par renforcement lors de l'entraînement d'un modèle et pour re-classer plusieurs chaînes de raisonnement candidates au moment de l'inférence, une technique appelée best-of-N couramment employée.
Articles liés
Expert en cybersécurité offensive et intelligence artificielle. Pentest, audit et développement IA sur-mesure.
Services
- Audit Infrastructure
- Audit Kubernetes
- Audit Microsoft 365
- Audit Sécurité Réseau
- Analyse de Risques
- Audit Active Directory
- Audit Application Web
- Audit Cloud (AWS/Azure/GCP)
- Audit Messagerie
- Audit API (OWASP Top 10)
- Audit DevSecOps & CI/CD
- Audit Code Source (SAST)
- Audit Postes de Travail
- Audit Sauvegarde & Résilience
- Audit OT/SCADA (IEC 62443)
- Développement IA
- Formations
Ressources
Projets & Outils
© 2026 Ayi NEDJIMI Consultants. Tous droits réservés.
Un projet cybersécurité ?
Expert dispo · Réponse 24h