Système de gestion des risques IA (AI Act)

Définition

Le système de gestion des risques IA est le processus continu, itératif et documenté que le règlement européen sur l'intelligence artificielle impose au fournisseur d'un système d'IA à haut risque de mettre en place et de tenir à jour tout au long du cycle de vie du système, de sa conception à son retrait du marché. Ce processus doit identifier et analyser les risques connus et raisonnablement prévisibles que le système peut faire peser sur la santé, la sécurité ou les droits fondamentaux des personnes lorsqu'il est utilisé conformément à sa destination, mais aussi dans des conditions de mauvais usage raisonnablement prévisible. Il doit ensuite estimer et évaluer ces risques, adopter des mesures de gestion appropriées pour les réduire à un niveau acceptable, et vérifier l'efficacité de ces mesures au regard des risques résiduels, en tenant compte de l'état de l'art technique du secteur concerné. Ce système doit être révisé de manière systématique tout au long du cycle de vie du système d'IA, notamment à la lumière des données collectées via le système de surveillance après commercialisation. Sa structure présente des similitudes fortes avec les démarches de gestion des risques déjà connues en sécurité de l'information, comme celle décrite par la norme ISO 27005, ce qui facilite en pratique son intégration dans une gouvernance des risques déjà existante.