Embeddings

Définition

Les embeddings sont des représentations vectorielles numériques et continues de données, texte, images, code ou audio, projetées dans un espace latent multidimensionnel de dimension fixe, typiquement comprise entre 768 et 4096 dimensions selon le modèle d'encodage utilisé, produites par un réseau de neurones entraîné spécifiquement à capturer la sémantique du contenu source plutôt que sa seule forme brute. La propriété fondamentale exploitée par ces représentations est la préservation de la proximité sémantique : deux entités conceptuellement proches, deux phrases exprimant une idée similaire ou deux images représentant un contenu comparable, produisent des vecteurs numériquement proches dans cet espace, une proximité mesurée principalement via la similarité cosinus, qui compare l'orientation des vecteurs indépendamment de leur norme, ou le produit scalaire, plus sensible à leur magnitude respective. Cette propriété rend les embeddings directement exploitables pour des tâches de recherche par similarité, de classification par regroupement, ou de recommandation, en calculant simplement la distance entre le vecteur d'une requête et les vecteurs d'un corpus indexé préalablement. Des modèles spécialisés comme text-embedding-3 d'OpenAI ou les familles BGE et E5 open source produisent ces représentations, dont la qualité conditionne directement la pertinence des résultats obtenus dans un pipeline RAG ou de recherche sémantique en production.