Index de quantification produit

Définition

L'index de quantification produit, ou Product Quantization en anglais, est une technique de compression des vecteurs utilisee dans les bases de donnees vectorielles pour reduire drastiquement l'espace memoire necessaire au stockage de tres grandes collections d'embeddings, tout en conservant une capacite de recherche approximee acceptable. Son principe consiste a decouper chaque vecteur de grande dimension en plusieurs sous-vecteurs de dimension plus petite, puis a appliquer independamment a chaque sous-espace un algorithme de quantification qui remplace les valeurs continues par un nombre restreint de valeurs representatives, appelees centroides, apprises prealablement sur un echantillon de donnees. Chaque vecteur original est ainsi represente non plus par ses coordonnees completes en virgule flottante, mais par une combinaison d'identifiants de centroides, ce qui reduit son empreinte memoire d'un facteur pouvant atteindre plusieurs dizaines, au prix d'une perte de precision controlee lors du calcul de distance entre vecteurs. Cette technique est particulierement utile pour les deploiements de recherche vectorielle a tres grande echelle, ou le cout memoire de stocker des millions ou des milliards de vecteurs en pleine precision deviendrait prohibitif. Elle est frequemment associee a un index IVF pour former une structure combinee, ou la partition IVF reduit d'abord l'espace de recherche avant que la quantification produit n'accelere le calcul de distance a l'interieur de chaque partition selectionnee.