Segmentation semantique de documents

Définition

La segmentation semantique de documents, ou semantic chunking, est une methode de decoupage de texte destinee a alimenter une architecture RAG, qui divise un document en fragments en se fondant sur des ruptures de sens plutot que sur un nombre fixe de caracteres ou de jetons. Concretement, le texte est generalement decoupe en phrases, puis les embeddings de phrases consecutives sont compares entre eux a l'aide d'une mesure de similarite : une chute significative de la similarite entre deux phrases successives signale un changement de sujet et devient un point de coupure naturel entre deux fragments, appeles chunks. Cette approche vise a produire des fragments coherents sur le plan thematique, chacun portant une idee complete, ce qui ameliore la qualite des embeddings calcules sur ces fragments et, par consequent, la pertinence des documents retrouves lors d'une recherche vectorielle. Elle s'oppose a la segmentation par fenetre glissante, plus simple et rapide a calculer mais susceptible de couper un raisonnement ou une idee en plein milieu, degradant la comprehension du fragment isole de son contexte d'origine. La segmentation semantique presente un cout de calcul plus eleve, chaque document devant etre traite par un modele d'embedding avant meme d'etre decoupe definitivement, ce qui la rend plus adaptee aux corpus de documents critiques ou la qualite de recuperation prime sur la vitesse d'indexation.