Patch Embedding

Définition

Le Patch Embedding est la technique de tokenisation d'images pour les Vision Transformers (ViT) et les LLMs multimodaux, qui divise une image en une grille de patches (petites regions carrees) de taille fixe (generalement 14x14 ou 16x16 pixels), puis projette lineairement chaque patch dans un espace d'embedding de dimension equivalente aux tokens textuels. Le mecanisme : une image de 224x224 pixels avec des patches de 16x16 produit (224/16)^2 = 196 patches. Chaque patch de 16x16x3 (RGB) = 768 valeurs est aplati et projete avec une matrice lineaire vers un espace d'd-model dimensions (768 pour ViT-Base, 1024 pour ViT-Large). Un token de classification [CLS] est prepend a ces 196 patch tokens. L'importance du positional embedding pour les patches : contrairement au texte ou les positions sont sequentielles, les patches ont des positions en 2D. Les positional embeddings 2D sinusoidaux ou appris sont essentiels pour que le modele comprenne la structure spatiale. Des variantes (RoPE 2D, positional embeddings relatifs) ameliorent la generalisation a des resolutions differentes de celles vues a l'entrainement. Integration dans les LLMs multimodaux (LLaVA, GPT-4V, Gemini) : les embeddings de patches sont produits par un encodeur visuel (ViT pre-entraine), puis projetes dans l'espace des tokens textuels du LLM via une couche de projection (MLP ou Q-Former). Ces 'visual tokens' sont concatenes aux tokens textuels et traites ensemble par le LLM. Les innovations recentes : (1) Dynamic resolution patching — ajuster la taille des patches selon la resolution de l'image (InternVL, LLaVA-HR), (2) Anyres patching — diviser les images haute resolution en sous-images de taille standard (LLaVA-1.6), (3) Token compression — reduire le nombre de visual tokens avant le LLM via le pooling ou l'attention (MobileVLM). Ces innovations permettent de traiter des images haute resolution sans exploser le contexte.