LLM Multimodal
iaDéfinition
Un LLM multimodal est un modèle de langage étendu capable de traiter et de raisonner sur plusieurs modalités de données simultanément : texte, images, audio, vidéo, code et données structurées. L'architecture de base combine des encodeurs spécialisés par modalité (vision encoder comme ViT pour les images, speech encoder pour l'audio) avec le LLM via des couches de projection qui alignent les espaces de représentation. Les modèles phares incluent GPT-4o (texte, image, audio), Claude 3.5 (texte, image), Gemini 1.5 (texte, image, audio, vidéo, code) et LLaMA 3.2 Vision (open source). En cybersécurité, les LLM multimodaux ouvrent de nouveaux cas d'usage : analyse de captures d'écran d'interfaces malveillantes, reconnaissance de logos dans des phishing visuels, analyse de diagrammes d'architecture réseau et traitement de captures de paquets. Les risques incluent les attaques adversariales visuelles (images encodant des prompt injections invisibles à l'œil humain) et les fuites de données via des images contenant des informations sensibles.
Description
Un LLM multimodal est un modèle capable de traiter et raisonner sur plusieurs modalités simultanément : texte, images, audio, vidéo et code. L'architecture combine des encodeurs spécialisés par modalité avec le LLM via des couches de projection alignant les espaces de représentation.
Fonctionnement
Un encodeur visuel (ViT, SigLIP) encode l'image en tokens visuels projetés dans l'espace du LLM. Le LLM peut alors effectuer du cross-attention entre tokens textuels et visuels. Des modèles comme GPT-4o, Gemini 1.5 et Claude 3.5 Sonnet gèrent nativement plusieurs modalités dans un seul forward pass.
Points clés
- En cybersécurité, les LLM multimodaux analysent des captures d'écran d'interfaces malveillantes ou des diagrammes réseau
- Les attaques adversariales visuelles encodent des prompt injections invisibles dans les images soumises au modèle
- Les deepfakes audio/vidéo deviennent détectables via des modèles multimodaux analysant les incohérences entre modalités
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis