Injection de prompt via image

Définition

L'injection de prompt via image est une variante multimodale de l'attaque par injection de prompt, ou des instructions malveillantes sont dissimulees a l'interieur d'une image soumise a un modele de langage capable de vision (LLM multimodal), afin de detourner son comportement lors de l'analyse visuelle. Le texte malveillant peut etre incorpore de facon visible mais discrete dans l'image, comme un petit texte en coin ou en filigrane, ou de facon totalement imperceptible via des perturbations adversariales au niveau pixel qui exploitent le module d'encodage visuel du modele (souvent un encodeur de type CLIP ou similaire) pour injecter une representation semantique cachee sans texte lisible du tout. Cette attaque est particulierement preoccupante pour les agents IA capables d'analyser des captures d'ecran, des documents scannes ou des photos partagees par des utilisateurs tiers, un scenario frequent dans les assistants de navigation web ou les outils d'automatisation de bureau pilotes par IA. Elle etend directement les risques d'injection de prompt indirecte documentes par l'OWASP LLM Top 10 au domaine multimodal, en contournant les filtres textuels classiques qui n'analysent pas le contenu visuel. Les contre-mesures incluent l'OCR systematique des images avant analyse par le modele pour detecter du texte cache, et l'application de garde-fous specifiques sur le pipeline de vision, distincts de ceux appliques au texte.