Scalable Oversight

Définition

Le Scalable Oversight est un probleme de recherche en securite IA qui adresse la question : comment les humains peuvent-ils superviser et verifier le comportement de systemes IA dont les capacites depassent les leurs dans certains domaines ? C'est un probleme central pour l'IA de niveau AGI : si un modele est plus competent que tout expert humain en medecine ou en droit, comment les superviseurs humains peuvent-ils detecter quand il se trompe ou produit du contenu nuisible ? Plusieurs approches de scalable oversight sont en cours de recherche : (1) Debate (Irving et al., 2018 — OpenAI/Anthropic) : deux agents IA debattent d'une question, un juge humain arbitre. La theorie est que si les agents sont honnetes, l'erreur ou la manipulation devrait etre detectee plus facilement dans un debat qu'en lisant directement une reponse longue. (2) Iterated Amplification (Christiano, 2018) : decomposer les problemes complexes en sous-problemes supervises par des humains, puis combiner les resultats. Process Reward Models (PRMs) et Critique Models sont des implementations pratiques du scalable oversight : au lieu de juger uniquement le resultat final (outcome reward), on evalue chaque etape du raisonnement (process reward), ce qui permet de detecter les erreurs avant qu'elles ne s'accumulent. Cette approche est utilisee dans o1 et les modeles de raisonnement etendu. Constitutional AI (Anthropic) peut etre vu comme une forme de scalable oversight : au lieu de superviser chaque reponse manuellement, une constitution de principes est utilisee pour generer un critique automatique. La Constitution peut etre verifiee et validee par les humains meme si le modele est trop rapide ou prolifique pour une supervision directe. Le scalable oversight est considere comme l'un des problemes les plus importants de la recherche en securite IA a long terme. Sans solutions a ce probleme, il est difficile de garantir la securite et l'alignement des systemes IA qui depassent les capacites humaines dans des domaines critiques comme la decouverte scientifique, la programmation de systemes complexes, ou la planification strategique.