AI Safety

Définition

L'AI Safety, ou sûreté de l'IA, est un domaine de recherche interdisciplinaire visant à garantir que les systèmes d'intelligence artificielle, en particulier les modèles de grande taille comme les LLM, se comportent de manière sûre, prévisible et alignée avec les intentions et valeurs de leurs concepteurs et utilisateurs, en prévenant les comportements non souhaités ou dangereux. Il couvre plusieurs sous-domaines complémentaires : l'alignement, qui vise à faire correspondre les objectifs poursuivis par le modèle avec les intentions humaines réelles plutôt qu'une interprétation littérale ou déformée d'un objectif d'entraînement, la robustesse face aux entrées adversariales et aux tentatives de jailbreak destinées à contourner les garde-fous, l'interprétabilité mécanistique cherchant à comprendre le raisonnement interne d'un modèle plutôt que de le traiter comme une boîte noire, et la sécurité opérationnelle contre les usages malveillants comme la génération de contenu dangereux ou la manipulation à grande échelle. L'AI Safety se distingue de l'AI Security, plus proche des équipes cybersécurité, qui traite des risques d'attaque technique classiques contre les systèmes IA : empoisonnement de données, extraction de modèle, prompt injection. Des organismes comme Anthropic, OpenAI ou DeepMind consacrent des équipes dédiées à cette discipline, tandis que des cadres réglementaires comme l'AI Act européen imposent des obligations d'évaluation des risques pour les systèmes d'IA à usage général les plus capables.