Embedding

Définition

Un Embedding est une représentation vectorielle dense d'un concept — mot, phrase, document, image, ou tout autre type de donnée — dans un espace mathématique continu de dimension fixe, généralement comprise entre quelques centaines et plusieurs milliers de dimensions, générée par un modèle d'apprentissage automatique entraîné à capturer les relations sémantiques et contextuelles entre les éléments représentés. Le principe fondamental repose sur l'organisation géométrique de cet espace : des concepts sémantiquement proches se retrouvent positionnés à proximité les uns des autres selon une mesure de distance ou de similarité (cosinus, euclidienne), tandis que des concepts sans rapport sémantique restent éloignés, propriété émergente de l'entraînement du modèle plutôt que définie explicitement par des règles manuelles. Cette représentation permet des opérations mathématiques révélant des relations sémantiques implicites, une opération vectorielle appliquée à des embeddings de mots pouvant faire émerger des relations analogiques cohérentes entre concepts liés. Les embeddings constituent la brique fondamentale de la recherche vectorielle moderne et des architectures RAG, où un texte de requête est converti en embedding puis comparé à une base de documents préalablement vectorisés pour identifier les passages les plus pertinents sémantiquement, au-delà d'une simple correspondance lexicale de mots-clés. Des modèles spécialisés comme ceux d'OpenAI, Cohere ou des modèles open-source comme BGE sont dédiés à la génération d'embeddings de haute qualité pour ces applications de recherche sémantique.