Classifieur de garde-fou d'entree

Définition

Un classifieur de garde-fou d'entree est un modele de detection place en amont d'un systeme d'IA generative pour analyser les requetes des utilisateurs avant qu'elles n'atteignent le modele principal. Son role est d'identifier et de bloquer les tentatives d'injection de prompt, les demandes de contenu prohibe, les jailbreaks connus, les fuites potentielles de donnees personnelles ou les entrees malveillantes visant a detourner le comportement du systeme. Techniquement, il s'agit generalement d'un modele de classification plus leger et plus rapide que le modele principal, entraine specifiquement sur des corpus d'attaques connues, ou d'un ensemble de regles heuristiques combinees a des embeddings semantiques pour capturer les reformulations. Ce garde-fou constitue la premiere ligne de defense dans une architecture de securite en profondeur pour les applications LLM, recommandee par l'OWASP LLM Top 10 sous la categorie relative a l'injection de prompt. Il fonctionne generalement en complement d'un classifieur de garde-fou de sortie, qui controle les reponses generees. Les limites principales tiennent a la capacite des attaquants a contourner ces filtres par obfuscation, encodage ou formulation indirecte, ainsi qu'au risque de faux positifs bloquant des usages legitimes. Un dispositif efficace combine plusieurs couches de detection, une mise a jour reguliere des motifs d'attaque et une supervision humaine des cas ambigus.