ViT (Vision Transformer)

Définition

Le Vision Transformer (ViT) est une architecture de deep learning pour la vision par ordinateur qui applique l'architecture Transformer directement aux images, en les decoupant en patches (carreaux) de taille fixe. Introduit par Dosovitskiy et al. (Google Brain, 2020), ViT a montre qu'un Transformer pur surpasse les CNNs sur les benchmarks majeurs lorsque pre-entraine a grande echelle. Le principe : une image de 224x224 pixels est decoupee en patches de 16x16 pixels, donnant 196 patches. Chaque patch est aplati et projete en un vecteur d'embedding. La sequence de 196 'tokens visuels' est traitee par un Transformer standard (Self-Attention, FFN, RMSNorm), permettant a chaque patch de 'voir' tous les autres directement. ViT beneficie de tous les avantages du Transformer : parallelisation efficace sur GPU, scaling favorable avec les donnees, capacite d'attention globale. ViT depasse les ResNets sur ImageNet lorsque pre-entraine sur JFT-300M. ViT est l'encodeur visuel de CLIP (ViT-L/14, ViT-G/14), de DINOv2 (Meta), de SigLIP (Google), et est integre dans la plupart des VLMs comme LLaVA, InternVL et GPT-4V. Les variantes modernes incluent EVA-CLIP (18B params) et les ViT hierarchiques comme Swin Transformer. DINOv2 (Meta, 2023) est un ViT pre-entraine auto-supervise (sans labels) sur 142M images. Il produit des features visuelles universellement transferables, superieures a CLIP pour les taches de segmentation et detection.