Segmentation par fenetre glissante de texte

Définition

La segmentation par fenetre glissante de texte est une methode simple de decoupage de documents pour l'indexation vectorielle, qui divise un texte en fragments de taille fixe, generalement exprimee en nombre de jetons ou de caracteres, en faisant chevaucher legerement chaque fragment avec le suivant pour eviter de perdre le contexte a la frontiere entre deux segments. Ce chevauchement, souvent fixe entre dix et vingt pour cent de la taille du fragment, garantit qu'une information situee pres d'une limite de decoupage apparaisse dans au moins deux fragments consecutifs, reduisant le risque qu'elle soit mal representee dans l'embedding d'un seul chunk isole de son contexte. Cette methode se distingue par sa simplicite d'implementation et sa rapidite de calcul, ne necessitant aucun appel a un modele d'IA pour determiner les points de coupure, contrairement a la segmentation semantique qui analyse le sens du texte pour choisir des ruptures plus naturelles. Son principal inconvenient est de pouvoir couper une phrase, un raisonnement ou un tableau en plein milieu, generant des fragments partiellement incoherents qui degradent la qualite de la recherche vectorielle et, en aval, la pertinence des reponses generees par le modele de langage dans une architecture RAG. Malgre cette limite, elle reste largement utilisee en pratique comme point de depart standard avant d'envisager des methodes de segmentation plus sophistiquees si la qualite de recuperation s'avere insuffisante.