Compression de prompt

Définition

La compression de prompt est un ensemble de techniques visant a reduire la longueur du texte envoye en entree d'un modele de langage tout en preservant l'information essentielle necessaire a la generation d'une reponse correcte. Cette pratique repond a un enjeu economique direct : la facturation des modeles d'IA generative s'effectue par jeton consomme, et un contexte volumineux, notamment dans les architectures de type RAG qui injectent de nombreux documents dans le prompt, peut representer l'essentiel du cout et de la latence d'une requete. Les methodes de compression incluent le resume automatique des documents source par un modele plus leger avant transmission, l'elimination des passages juges redondants ou peu pertinents par un modele evaluateur, ou des approches plus techniques comme LLMLingua qui suppriment les jetons les moins informatifs d'un texte tout en preservant sa structure grammaticale et sa comprehension par le modele cible. La compression de prompt permet egalement de contourner les limites de fenetre de contexte des modeles lorsque le volume de documents pertinents depasse la capacite maximale acceptee. Elle comporte un risque de perte d'information si la compression est trop agressive, ce qui peut degrader la qualite des reponses generees, en particulier pour des taches necessitant une comprehension fine de details precis dans le texte source. Un compromis entre taux de compression et fidelite doit donc etre calibre selon le cas d'usage.