Vision-Language Model (VLM)

Définition

Un Vision-Language Model (VLM) est un systeme d'IA capable de traiter et raisonner conjointement sur des images et du texte. Les VLMs combinent un encodeur visuel (generalement un Vision Transformer ViT ou CLIP) avec un LLM decoder, permettant des taches comme la description d'images, la reponse a des questions visuelles (VQA), la comprehension de documents numerises ou l'analyse de graphiques. L'architecture typique d'un VLM comprend trois composants : (1) un encodeur visuel qui transforme l'image en sequence d'embeddings (tokens visuels), (2) un projection layer (lineaire ou MLP) qui aligne l'espace visuel avec l'espace d'embedding du LLM, et (3) un LLM decoder qui recoits la concatenation des tokens visuels et textuels. LLaVA (Large Language and Vision Assistant, 2023) a democratise les VLMs open-source : en fine-tunant uniquement le projection layer et le LLM sur des donnees d'instruction visuelles generees par GPT-4, on obtient des capacites multimodales impressionnantes. Cette approche a inspire LLaVA-1.5, InternVL, MiniCPM-V, Qwen-VL. GPT-4V, Claude 3 Vision et Gemini 1.5 Pro sont les VLMs proprietaires les plus puissants, capables d'analyser des images complexes, lire des tableaux, interpreter des graphiques scientifiques, comprendre des schemas d'architecture reseau. Pour les equipes de cybersecurite, les VLMs ouvrent des cas d'usage concrets : analyse automatique de captures d'ecran d'incidents, extraction d'informations depuis des rapports PDF numerises, interpretation de dashboards SIEM, detection d'anomalies visuelles dans des interfaces (phishing, deepfake).