Mise en cache semantique de requetes

Définition

La mise en cache semantique de requetes est une technique d'optimisation qui consiste a reutiliser la reponse deja generee par un modele d'intelligence artificielle pour une requete similaire, meme si celle-ci n'est pas formulee de maniere identique a la question originale. Contrairement a un cache classique qui compare des chaines de caracteres exactes, le cache semantique transforme chaque requete en vecteur numerique via un modele d'embedding, puis compare ce vecteur a ceux des requetes deja traitees a l'aide d'une mesure de similarite, generalement la similarite cosinus. Si une requete anterieure suffisamment proche depasse un seuil de similarite defini, sa reponse est renvoyee directement sans nouvel appel au modele de langage, ce qui reduit fortement la latence et le cout d'exploitation pour les questions frequemment reformulees, un cas courant dans les assistants de support client ou les moteurs de recherche conversationnels. Cette technique presente cependant des risques a maitriser : un seuil de similarite trop permissif peut renvoyer une reponse inadaptee a une nuance importante de la nouvelle question, en particulier lorsque le contexte temporel ou factuel a change entre les deux requetes. Une bonne implementation combine donc le cache semantique avec des mecanismes de peremption des entrees et une verification de la fraicheur des donnees pour eviter de servir des reponses obsoletes ou incorrectes.