Surveillance humaine (AI Act)

Définition

La surveillance humaine, exigence centrale du règlement européen sur l'intelligence artificielle applicable aux systèmes d'IA à haut risque, désigne l'ensemble des mesures techniques et organisationnelles que le fournisseur doit concevoir pour permettre à des personnes physiques de superviser efficacement le fonctionnement du système pendant son utilisation, et d'intervenir en cas de besoin pour prévenir ou limiter des risques pour la santé, la sécurité ou les droits fondamentaux. Ce principe se traduit concrètement par la capacité des personnes chargées de la surveillance à bien comprendre les capacités et les limites du système, à rester conscientes du risque potentiel de dépendance excessive envers ses résultats, dit biais d'automatisation, à interpréter correctement les sorties produites par le système, à décider de ne pas utiliser le système ou d'écarter, d'annuler ou d'inverser ses résultats dans une situation donnée, et à pouvoir interrompre son fonctionnement au moyen d'un dispositif d'arrêt d'urgence lorsque cela est pertinent. Le règlement laisse au fournisseur le choix des modalités concrètes de mise en œuvre de cette exigence, qui peuvent inclure des mesures intégrées directement dans le système avant sa mise sur le marché, ou des mesures que le déployeur est censé mettre en œuvre lors de l'utilisation. Cette exigence vise à éviter que la sophistication croissante des systèmes ne conduise à une délégation excessive et non maîtrisée de décisions à fort enjeu.