Test de sensibilité au prompt

Définition

Un test de sensibilite au prompt est une methode d'evaluation qui mesure la variation des reponses d'un grand modele de langage lorsque la formulation d'une requete change sans en alterer le sens. Deux prompts semantiquement equivalents mais reformules differemment - ordre des mots, synonymes, ponctuation, presence d'exemples - peuvent produire des reponses tres divergentes en qualite, en ton ou en exactitude factuelle. Ce phenomene, documente depuis les premiers travaux sur le prompt engineering, revele l'instabilite intrinseque des LLM face aux variations lexicales et syntaxiques. Le test consiste generalement a generer un ensemble de paraphrases automatiques ou manuelles d'un meme prompt, puis a comparer les sorties selon des metriques de coherence, de similarite semantique ou de taux d'erreur. Il est utilise en phase d'evaluation de modele pour choisir un fournisseur, calibrer un systeme de prompts standardises en production, ou identifier les formulations les plus fiables pour un cas d'usage metier. Pour un RSSI ou un DPO, ce test est aussi un indicateur de risque : une forte sensibilite au prompt augmente la probabilite de contournement des garde-fous ou de reponses incoherentes exposant l'organisation a un risque reputationnel ou juridique.