Benchmark de securite des modeles

Définition

Un benchmark de securite des modeles est un protocole d'evaluation qui mesure la resistance d'un modele de langage aux usages malveillants et aux comportements non desires : generation de contenu dangereux, contournement des instructions de securite (jailbreak), fuite d'informations sensibles memorisees pendant l'entrainement, ou production de conseils exploitables pour nuire. Ces evaluations combinent generalement des jeux de prompts adversariaux connus, des techniques automatisees de recherche de jailbreak comme les attaques par optimisation de prompt, et une notation par modele juge ou par revue humaine du taux de refus approprie versus le taux de reponse dangereuse. Des cadres de reference structurent ces evaluations, notamment le OWASP LLM Top 10, qui catalogue les vulnerabilites les plus critiques des applications LLM comme l'injection de prompt ou la fuite de donnees sensibles, et les evaluations de securite publiees par les grands laboratoires (cartes de modele, rapports de red teaming) avant le deploiement de modeles frontieres. L'AI Act europeen impose des obligations d'evaluation de securite renforcees pour les modeles a usage general presentant un risque systemique. Pour un RSSI, ces benchmarks constituent un critere de selection de fournisseur, mais ne remplacent pas un test de penetration specifique a l'application deployee : un modele robuste en isolation peut rester vulnerable une fois integre dans un systeme avec acces a des outils et des donnees sensibles.