Multimodal Alignment

Définition

Le Multimodal Alignment est l'ensemble des techniques permettant d'aligner les representations apprises independamment pour differentes modalites (texte, images, audio, video) dans un espace commun ou coherent, permettant au modele de raisonner conjointement sur ces differentes modalites. C'est la brique fondamentale des Vision-Language Models (VLMs) et plus largement des modeles multimodaux. CLIP (OpenAI, 2021) est le fondement du multimodal alignment moderne : en entrainant un encodeur texte et un encodeur image a produire des embeddings proches pour des paires image-caption valides (contrastive learning sur 400M paires web), CLIP a appris un espace latent partage ou les concepts visuels et linguistiques correspondants sont colocalisees. Les VLMs modernes (LLaVA, InstructBLIP, Qwen-VL, Llama 3.2 Vision) utilisent une architecture en trois parties : un encodeur visuel (ViT pretrained, souvent avec CLIP), un connecteur de projection (MLP ou Perceiver Resampler) qui transforme les tokens visuels en tokens compatibles avec le LLM, et le LLM lui-meme. L'entrainement se fait en deux phases : aligner le connecteur visuel, puis fine-tuner le tout sur des donnees instruction. La qualite du multimodal alignment se mesure par la capacite du modele a : repondre a des questions sur des images (VQA), suivre des instructions multimodales ('encercle le chien dans cette image'), comprendre des graphiques et diagrammes, lire du texte dans des images (OCR). Des benchmarks specifiques comme MMBench, MMStar et MMMU evaluent ces capacites. Les defis du multimodal alignment : le probleme de l'hallucination visuelle (le modele decrit des elements qui ne sont pas dans l'image), la difficulte a aligner les representations de video (sequences temporelles) avec du texte, et l'alignement des representations audio avec du texte (pour les modeles speech-language integres comme Gemini Audio).