Déclencheur de trojan neuronal

Définition

Un declencheur de trojan neuronal, ou neural trojan trigger, est le motif specifique - visuel, textuel ou sonore - qui active le comportement malveillant cache dans un reseau de neurones compromis par une attaque de type backdoor. Il peut prendre la forme d'un patch de pixels dans le coin d'une image, d'un filigrane invisible a l'oeil nu, d'une sequence de mots rare inseree dans un prompt, ou d'un motif de frequence particulier dans un signal audio. Le declencheur est concu pour etre statistiquement rare dans les donnees d'usage normal, afin de ne jamais s'activer accidentellement et de rester indetectable lors des tests de validation standards. Une fois presente dans l'entree, il force le modele a produire une sortie predefinie par l'attaquant, independamment du contexte reel : classification erronee volontaire, contournement d'un filtre de securite, ou generation de contenu malveillant par un grand modele de langage. La recherche de declencheurs fait appel a des techniques de reverse engineering du modele, comme l'optimisation inverse (trigger inversion) utilisee par l'outil Neural Cleanse, qui tente de reconstruire le trigger le plus probable pour chaque classe de sortie. Cette analyse constitue une etape cle des audits de securite IA portant sur des modeles issus de sources tierces non verifiees.