Equipe rouge de systeme d'IA

Définition

Une equipe rouge de systeme d'IA, ou AI red team, est un groupe d'experts charge de simuler des attaques reelles contre un modele ou une application d'IA generative afin d'identifier ses vulnerabilites avant qu'un acteur malveillant ne les exploite. Contrairement a un test de securite applicatif classique, l'equipe rouge de systeme d'IA cible des vecteurs specifiques comme l'injection de prompt directe ou indirecte, le jailbreak, l'extraction de donnees d'entrainement, la manipulation d'agent autonome, le contournement de garde-fous ou la generation de contenu biaise ou dangereux. Les campagnes combinent souvent des techniques manuelles, portees par des specialistes en securite offensive et en linguistique adversariale, et des outils automatises capables de generer des milliers de variantes d'attaque. Cette pratique est explicitement recommandee par le NIST AI RMF, par les engagements volontaires pris aupres de la Maison Blanche par les grands fournisseurs de modeles, et implicitement requise par l'AI Act europeen pour les systemes a haut risque et les modeles a usage general presentant un risque systemique. Les resultats alimentent la fiche de risque du systeme et orientent les ajustements des classifieurs de garde-four et des politiques d'usage. Une equipe rouge efficace opere de maniere continue, a chaque mise a jour significative du modele ou de ses outils connectes.