**[HumanEval](/glossaire/humaneval-benchmark)** est le benchmark de génération de code publié par **OpenAI** en juillet 2021 avec le modèle **Codex** : 164 problèmes de programmation **Python** écrits à la main, chacun composé d'une signature de fonction, d'une docstring et de tests unitaires. Un modèle réussit un problème si le code qu'il génère passe tous les tests, et le score se lit avec la métrique **pass@k**. En 2021, Codex 12B en résolvait 28,8 % du premier coup ; cinq ans plus tard, les modèles de pointe dépassent couramment 90 %, et le benchmark est considéré comme saturé. Pourquoi en parler encore ? Parce que HumanEval reste cité dans presque toutes les fiches techniques de modèles, qu'il sert de test plancher pour les petits modèles locaux, et qu'il est souvent mal interprété. Ce guide explique ce que mesure vraiment HumanEval, comment calculer pass@k, ce que le score ne dit pas (sécurité comprise) et quels benchmarks regarder à la place.

**Points clés :**

- HumanEval compte 164 problèmes Python et mesure la justesse fonctionnelle par tests unitaires, pas la qualité ni la sécurité du code.

- pass@1 est le chiffre à comparer ; pass@10 ou pass@100 gonflent mécaniquement les résultats.

- Au-delà de 90 %, HumanEval ne départage plus les grands modèles : il reste utile pour évaluer les petits modèles et les modèles quantifiés.

- Pour comparer des assistants de code en 2026, regardez HumanEval+, LiveCodeBench et SWE-bench.

- Exécuter un benchmark de code revient à exécuter du code non fiable : toujours dans un bac à sable.

## Ce que mesure HumanEval

Chaque problème de HumanEval ressemble à ce qu'un développeur écrirait en tête d'une fonction : un nom, des paramètres et une docstring qui décrit le comportement attendu, souvent avec un ou deux exemples. Le modèle doit compléter le corps de la fonction. Les tâches couvrent des manipulations de chaînes, de listes, un peu d'arithmétique et d'algorithmique simple, avec en moyenne 7,7 tests unitaires par problème selon l'article d'origine.

L'apport majeur de HumanEval tient moins aux problèmes eux-mêmes qu'au changement de méthode. Avant 2021, on évaluait le code généré avec des métriques de similarité textuelle comme BLEU, héritées de la traduction automatique. Or deux programmes très différents peuvent être tous deux corrects, et deux programmes presque identiques peuvent diverger sur un cas limite. HumanEval a imposé l'idée de la justesse fonctionnelle : le code est bon s'il passe les tests, point.

L'article fondateur, « [Evaluating Large Language Models Trained on Code](https://arxiv.org/abs/2107.03374) » (Chen et al., 2021), donne les premiers repères : GPT-3 ne résolvait aucun problème, GPT-J 6B en résolvait 11,4 %, Codex 12B 28,8 % et Codex-S, affiné sur des fonctions autonomes, 37,7 % au premier essai.

## La métrique pass@k expliquée

La métrique pass@k estime la probabilité qu'au moins une solution correcte figure parmi k propositions générées pour un problème. Avec k = 1, c'est simplement le taux de réussite au premier essai. Avec k = 100, le modèle a cent tentatives par problème, et il suffit qu'une seule passe les tests.

Pour éviter un estimateur biaisé, l'article de 2021 recommande de générer n échantillons par problème (n ≥ k), de compter les c échantillons corrects, puis de calculer pass@k = 1 − C(n−c, k) / C(n, k), moyenné sur les 164 problèmes. Concrètement :

from math import comb

def pass_at_k(n: int, c: int, k: int) -> float:
 """Estimateur non biaisé de pass@k (Chen et al., 2021)."""
 if n - c 

Cet exemple montre pourquoi il faut se méfier des chiffres présentés sans précision : le même modèle passe de 23 % à plus de 90 % selon qu'on annonce pass@1 ou pass@10. Seul pass@1 correspond à l'usage réel d'un assistant qui propose une réponse. Un score HumanEval sans k explicite et sans température d'échantillonnage n'est pas comparable.

## De 28,8 % à la saturation

La progression a été rapide. En trois ans, les modèles généralistes ont franchi la barre des 80 %, puis celle des 90 %. Aujourd'hui, l'écart entre les meilleurs modèles tient en quelques points, souvent dans la marge d'erreur liée au protocole ([prompt](/glossaire/prompt), température, post-traitement du code). Un benchmark où tout le monde obtient 92 à 97 % ne classe plus rien.

Deux phénomènes expliquent cette saturation. D'abord, les modèles sont réellement meilleurs en programmation. Ensuite, la contamination : HumanEval est public depuis 2021, ses énoncés et leurs solutions circulent sur GitHub, dans des blogs et des jeux de données. Un modèle entraîné sur une large part du web a de bonnes chances d'avoir vu les réponses. Il devient difficile de distinguer ce qui relève du raisonnement et ce qui relève de la mémoire.

Pour suivre l'état de l'art avec des tests plus représentatifs, notre [comparatif des modèles d'IA](/benchmark-ia) et le [classement LLM de septembre 2026](/articles/benchmark-llm-septembre-2026-classement-complet) croisent plusieurs benchmarks.

## HumanEval+, HumanEval-X et les autres variantes

Plusieurs projets ont prolongé HumanEval pour corriger ses défauts les plus visibles :

Principales variantes et successeurs de HumanEval

BenchmarkAnnéeCe qui changeIntérêt en 2026

HumanEval2021164 problèmes Python, tests unitairesTest plancher, petits modèles
HumanEval+ (EvalPlus)2023Mêmes problèmes, des dizaines de fois plus de tests générésRévèle les solutions fragiles
HumanEval-X2023Problèmes traduits en C++, Java, JavaScript et GoComparaison multilangage
LiveCodeBench2024Problèmes publiés après la date de coupure des modèlesLimite la contamination
SWE-bench Verified2024500 tickets réels de dépôts GitHub, validés à la mainIngénierie logicielle réelle
SWE-bench Pro2025Dépôts professionnels et privés, plus difficilesRésiste mieux à la contamination

**HumanEval+**, du projet [EvalPlus](https://github.com/evalplus/evalplus), est la variante la plus instructive : en multipliant les tests sur les mêmes énoncés, il fait chuter le score de nombreux modèles, ce qui prouve que les tests d'origine laissaient passer des solutions incorrectes. Les écarts entre HumanEval et [SWE-bench](/glossaire/swe-bench) sont encore plus parlants : un modèle peut dépasser 80 % sur l'un et rester très bas sur l'autre, car corriger un bogue dans un dépôt réel demande de lire du code existant, de naviguer entre fichiers et de respecter des conventions.

## Ce que HumanEval ne mesure pas : la sécurité du code

Un point est rarement souligné dans les fiches de modèles : HumanEval vérifie qu'une fonction renvoie le bon résultat, jamais qu'elle est sûre. Une fonction qui construit une requête SQL par concaténation de chaînes, désérialise des données non fiables ou laisse une entrée non bornée passera les tests sans difficulté si le comportement attendu est respecté.

Les travaux académiques l'ont montré tôt. L'étude « [Asleep at the Keyboard?](https://arxiv.org/abs/2108.09293) » (Pearce et al., 2021) a soumis GitHub Copilot à 89 scénarios inspirés des faiblesses CWE les plus répandues : environ 40 % des 1 689 programmes générés contenaient une vulnérabilité. Les modèles ont progressé depuis, mais la leçon reste valable : un excellent score HumanEval ne dit rien du nombre de failles introduites.

Pour une équipe sécurité, cela se traduit par trois règles simples :

- **Revue de code et SAST obligatoires** sur le code généré, comme sur le code humain. Notre article sur la [génération de code avec Copilot et Cursor](/articles/ia-generation-code-copilot-cursor) détaille les garde-fous.

- **Évaluer ce qui compte pour vous** : si la sécurité est un critère d'achat d'un assistant de code, testez-le sur des scénarios de type CWE, pas sur HumanEval.

- **Exécuter les benchmarks dans un bac à sable** : le dépôt officiel [openai/human-eval](https://github.com/openai/human-eval) désactive par défaut l'exécution du code généré et prévient qu'il s'agit de code non fiable. Un conteneur sans réseau, avec des limites de CPU, de mémoire et de temps, est le minimum.

Lancer HumanEval, HumanEval+ ou tout benchmark de code revient à exécuter des milliers de programmes écrits par un modèle. Ne le faites jamais sur un poste de travail ou un serveur de production : utilisez une machine virtuelle ou un conteneur isolé, sans secrets ni accès réseau.

## Évaluer un modèle de code soi-même

Si vous comparez des modèles locaux (par exemple pour un déploiement sur site), un passage sur HumanEval puis HumanEval+ reste un bon premier filtre, rapide et peu coûteux. Le dépôt officiel fournit le jeu de données et un script d'évaluation qui lit un fichier JSONL d'échantillons :

# Dans un conteneur isolé, sans accès réseau pendant l'exécution
git clone https://github.com/openai/human-eval
pip install -e human-eval

# samples.jsonl : une ligne par échantillon {"task_id": ..., "completion": ...}
# (l'appel d'exécution doit être activé volontairement dans execution.py)
evaluate_functional_correctness samples.jsonl

Pour que vos chiffres aient un sens, fixez le protocole avant de commencer : même prompt, même température (0 ou très basse pour pass@1, plus élevée pour pass@k avec k grand), même nombre d'échantillons, même post-traitement du code. Comparez ensuite avec HumanEval+ : un modèle dont le score s'effondre sur la version renforcée produit des solutions fragiles. Pour une vue d'ensemble des méthodes d'évaluation, voir notre guide sur [l'évaluation des LLM et leurs benchmarks](/articles/ia-evaluation-llm-benchmarks).

## Limites : quand ne plus regarder HumanEval

Mon avis est tranché : en 2026, un score HumanEval mis en avant pour un modèle de pointe est surtout un argument marketing. Il ne permet pas de choisir entre deux assistants de code pour une équipe de développement. Ses limites sont structurelles :

- **Taille réduite** : 164 problèmes, soit environ 0,6 point par problème. Deux ou trois réponses suffisent à changer un classement.

- **Un seul langage** et des fonctions isolées, loin des bases de code réelles avec leurs dépendances.

- **Des tests parfois insuffisants**, comme l'a montré HumanEval+.

- **La contamination**, impossible à exclure pour un jeu de données public depuis 2021.

- **Aucune mesure** de la sécurité, de la lisibilité, de la performance ou de la maintenabilité.

Il garde pourtant deux usages légitimes : vérifier qu'un petit modèle ou un modèle quantifié n'a pas perdu ses capacités de base, et servir d'exercice pédagogique pour comprendre pass@k. Le benchmark [GPQA Diamond](/articles/gpqa-diamond-benchmark-academique-llm) illustre le même cycle côté raisonnement scientifique : utile tant qu'il discrimine, à relativiser dès qu'il sature.

## Questions fréquentes

### Qu'est-ce que le benchmark HumanEval ?

HumanEval est un benchmark publié par OpenAI en juillet 2021 pour mesurer la capacité des modèles de langage à écrire du code. Il contient 164 problèmes Python rédigés à la main, chacun avec une signature de fonction, une docstring et des tests unitaires. Un problème est résolu si le code généré passe tous les tests. Le résultat s'exprime avec la métrique pass@k, le plus souvent pass@1.

### Que signifie pass@1 dans HumanEval ?

pass@1 est la proportion de problèmes résolus dès la première proposition du modèle. C'est l'indicateur le plus proche d'un usage réel, où l'assistant propose une seule réponse. pass@10 ou pass@100 autorisent plusieurs tentatives par problème et donnent des scores bien plus élevés pour le même modèle. Il faut donc toujours vérifier la valeur de k et la température avant de comparer deux résultats.

### Pourquoi dit-on que HumanEval est saturé ?

Les modèles de pointe dépassent désormais 90 % en pass@1, et les écarts entre eux tiennent en quelques points, souvent dans la marge d'erreur du protocole. Le jeu de données étant public depuis 2021, une partie des solutions a probablement été vue à l'entraînement. Le benchmark ne permet donc plus de départager les meilleurs modèles, d'où le recours à HumanEval+, LiveCodeBench ou SWE-bench.

### Quelle est la différence entre HumanEval et SWE-bench ?

HumanEval demande d'écrire une fonction Python isolée à partir d'une description. SWE-bench demande de corriger un vrai ticket dans un dépôt GitHub existant, ce qui implique de lire du code, de naviguer entre fichiers et de produire un correctif qui passe la suite de tests du projet. SWE-bench Verified, avec 500 tickets validés à la main, est bien plus représentatif du travail d'un développeur.

### Un bon score HumanEval garantit-il un code sécurisé ?

Non. HumanEval vérifie uniquement que le résultat d'une fonction est correct, pas l'absence de vulnérabilités. L'étude « Asleep at the Keyboard? » publiée en 2021 a montré qu'environ 40 % des programmes générés par GitHub Copilot sur des scénarios à risque contenaient une faille. Le code produit par un assistant doit passer par une revue et des outils d'analyse statique, quel que soit son score aux benchmarks.

## Conclusion : un repère historique, pas un critère de choix

HumanEval a fait entrer l'évaluation du code généré dans l'ère de la justesse fonctionnelle et nous a laissé pass@k, devenu un standard. En 2026, il sert surtout de test plancher : utile pour vérifier un petit modèle local, inutile pour départager les modèles de pointe. Pour choisir un assistant de code, regardez SWE-bench Verified ou Pro et LiveCodeBench, et ajoutez vos propres scénarios de sécurité. Le code généré, enfin, reste du code : il se relit, il s'analyse et il s'exécute dans un environnement maîtrisé.

### Encadrer l'usage des assistants de code

Ayi NEDJIMI Consultants vous aide à évaluer les modèles de code, sécuriser leur intégration dans vos chaînes CI/CD et définir les règles d'usage pour vos équipes.
[Échanger avec un expert](/contact)