Segmentation hierarchique de documents

Définition

La segmentation hierarchique de documents est une methode de decoupage qui organise un texte en plusieurs niveaux de granularite imbriques, generalement du document entier vers la section, puis le paragraphe, jusqu'a la phrase, plutot que de le diviser en une liste plate de fragments independants comme le font les approches par fenetre glissante ou meme la segmentation semantique classique. Chaque niveau de la hierarchie conserve un lien explicite vers son parent et ses enfants, ce qui permet lors d'une recherche vectorielle de retrouver d'abord un fragment fin et precis correspondant a la requete, puis de remonter automatiquement vers le paragraphe ou la section englobante pour fournir au modele de langage un contexte plus large et coherent avant generation de la reponse. Cette approche, parfois appelee small-to-big retrieval ou recherche par fragments parents, resout un compromis frequent en RAG : les petits fragments offrent une meilleure precision de recherche car leur embedding represente une idee unique et ciblee, tandis que les fragments larges offrent un meilleur contexte pour la generation mais diluent la precision de la recherche vectorielle. La segmentation hierarchique permet ainsi d'indexer les petits fragments pour la recherche tout en injectant les fragments parents plus larges dans le prompt final. Cette technique est particulierement adaptee aux documents structures comme les rapports techniques, les contrats ou les normes reglementaires organisees en articles et sous-articles.