SWE-Bench

Définition

SWE-Bench (Software Engineering Benchmark) est un benchmark pour evaluer la capacite des LLMs et agents IA a resoudre de vrais bugs dans des projets open-source Python populaires (Django, Flask, NumPy, Pandas, Scikit-learn). Developpe par Princeton NLP (Jimenez et al., 2023), il est considere comme le benchmark le plus realiste pour mesurer les capacites d'ingenierie logicielle. Chaque instance SWE-Bench correspond a un vrai issue GitHub resolu par un developpeur humain : le modele recoit la description du bug et l'etat du repository, et doit produire un patch (diff) qui fait passer les tests de verification. Contrairement a HumanEval, SWE-Bench requiert de comprendre une base de code reelle et d'ecrire un patch coherent avec l'architecture existante. SWE-Bench original (2294 instances) s'est avere tres difficile (GPT-4 atteignait ~1.7% sans agent). SWE-Bench Verified (2024, 500 instances verifiees manuellement) est le nouveau standard : les meilleurs agents atteignent 40-72%. Les architectures les plus performantes utilisent des agents multi-etapes : localisation du fichier fautif, comprehension du contexte, generation et application du patch, execution des tests. Des outils comme SWE-agent (Princeton), Moatless Tools et OpenHands fournissent ces pipelines optimises. Pour les equipes de developpement souhaitant automatiser la resolution de bugs, SWE-Bench Verified est la reference. Les scores actuels indiquent que les agents IA peuvent resoudre automatiquement 50-72% des bugs de complexite moyenne dans des projets Python bien testes.