Benchmark LLM Septembre 2026 : le classement complet des 18 meilleurs modèles

Septembre 2026 marque une rupture dans ce suivi mensuel — pas seulement à cause des modèles publiés, mais à cause de ce que nous ne pouvons plus mesurer.

Claude Fable 5.1 et GPT-6 Astra terminent à égalité stricte, 53 points chacun à l'Artificial Analysis Intelligence Index. Mais Astra atteint ce résultat pour 57 % moins cher. Dans le même temps, Anthropic et OpenAI ont cessé de publier les benchmarks historiques sur lesquels reposait notre classement, jugeant ces épreuves saturées — ce qui nous a conduits à revoir entièrement notre méthodologie, et à l'expliquer.

Au programme de cette édition : le classement complet de dix-huit modèles, six familles de benchmarks croisés, le coût réel par tâche, la levée record de Mistral, le premier modèle classé « critique » en cybersécurité par son propre éditeur, et des recommandations par cas d'usage.

Faits marquants de septembre 2026

Septembre restera comme l'un des mois les plus denses depuis le début de notre suivi. Quatre événements structurent l'édition.

Le classement général — Artificial Analysis Intelligence Index v4.3

L'Intelligence Index est un composite calculé par Artificial Analysis, un organisme indépendant des éditeurs. Il agrège dix évaluations couvrant le raisonnement, les sciences, le code, les mathématiques et les tâches agentiques, dont 45 % issus d'un jeu de test privé jamais publié — ce qui limite fortement la possibilité pour un éditeur d'optimiser son modèle spécifiquement pour l'épreuve.

C'est cette indépendance qui nous a conduits à en faire la colonne vertébrale du classement, à la place de notre ancien score maison.

La préférence humaine — Arena Elo

L'Intelligence Index mesure la justesse sur des épreuves fermées. L'Arena Elo mesure autre chose : ce que les utilisateurs préfèrent. Deux réponses anonymisées sont présentées côte à côte, l'utilisateur vote, et un classement Elo emprunté aux échecs en est déduit. Plus de deux millions de votes alimentent le classement.

Les deux mesures ne disent pas la même chose, et c'est précisément pourquoi il faut les lire ensemble. Un modèle peut être excellent en raisonnement et déplaisant à l'usage — ou l'inverse.

Les benchmarks spécialisés

Les composites lissent les différences. Pour un choix d'outil, ce sont les épreuves ciblées qui tranchent — à condition d'accepter qu'elles ne couvrent qu'une partie du champ.

SWE-Bench Verified — l'ingénierie logicielle réelle

SWE-Bench Verified soumet au modèle de vrais tickets issus de dépôts GitHub publics : il doit produire un correctif qui fait passer la suite de tests. C'est l'épreuve la plus proche du travail réel d'un développeur.

Un benchmark en fin de vie. À 96 %, l'épreuve est saturée : les quatre points restants relèvent largement d'ambiguïtés dans les tickets eux-mêmes. SWE-Bench Verified ne distingue plus les meilleurs modèles entre eux. C'est la raison pour laquelle l'attention se déplace vers Terminal-Bench.

Terminal-Bench — les tâches agentiques

Terminal-Bench place le modèle devant un terminal et lui confie une tâche à mener de bout en bout : installer, compiler, déboguer, vérifier. Aucune aide humaine en cours de route. C'est l'épreuve qui se rapproche le plus de ce qu'on attend d'un agent autonome.

L'écart est ici considérable : Fable 5.1 fait presque le double d'Opus 5. C'est le contraste le plus net de toute cette édition, et il mérite d'être souligné — sur un composite comme l'Intelligence Index, ces deux modèles sont séparés de deux points seulement. Le choix d'épreuve change radicalement le verdict.

Réserve d'usage : Terminal-Bench-Science 0.1 est une variante récente, au périmètre scientifique, et les résultats publiés proviennent d'Anthropic. Nous n'avons pas trouvé de relevé indépendant couvrant les mêmes modèles.

GPQA Diamond et Humanity's Last Exam — le raisonnement expert

GPQA Diamond regroupe 198 questions de niveau doctorat en physique, chimie et biologie, conçues pour résister à la recherche documentaire. Humanity's Last Exam va plus loin encore, avec des questions rédigées par des spécialistes dans le but explicite de mettre les modèles en échec.

Le tableau est volontairement troué, et c'est le fait marquant. Anthropic a cessé de publier GPQA Diamond pour ses modèles récents, estimant l'épreuve saturée. OpenAI ne publie pas HLE pour Astra. Aucune comparaison directe entre GPT-6 Astra et Claude Opus 5 sur le raisonnement expert n'est possible en septembre 2026. C'est exactement le genre de trou que notre ancien score composite aurait masqué par une moyenne.

L'économie réelle : prix, débit, coût par tâche

Un classement de performance sans le prix n'aide personne à décider. Entre le modèle le plus cher et le moins cher de ce tableau, le rapport est de 55 pour 1 en sortie. Aucun écart de qualité ne justifie mécaniquement un tel facteur — tout dépend de l'usage.

Le coût par tâche, une mesure plus honnête que le prix affiché

Le prix au million de jetons trompe, parce que les modèles ne consomment pas le même nombre de jetons pour arriver au même résultat. Un modèle deux fois moins cher qui raisonne trois fois plus longtemps coûte plus cher à l'arrivée.

Artificial Analysis mesure donc le coût réel pour exécuter l'ensemble de son indice. Le résultat renverse le classement apparent :

C'est, à notre sens, l'enseignement le plus actionnable de cette édition. À performance égale, l'écart de facture est de plus du simple au double. Sur un déploiement à l'échelle, c'est la différence entre un projet viable et un projet arrêté au bout de trois mois.

Les modèles à poids ouverts

La catégorie a progressé de manière notable. GLM-5.3 atteint 45 points, à huit points seulement de la tête — un écart qui se comptait en dizaines de points il y a un an.

L'Europe : Mistral change d'échelle, mais pas encore de classement

Il faut tenir les deux bouts, et ils sont contradictoires.

D'un côté, un signal financier majeur. Les 3 milliards d'euros levés le 8 septembre, à une valorisation supérieure à 21 milliards, constituent la plus grosse opération jamais réalisée par une entreprise technologique européenne. Le tour est mené par Samsung Electronics, avec EQT et PSG Equity, rejoints par Advent, des fonds gérés par BlackRock et le Grand-Duché de Luxembourg. Les investisseurs historiques — a16z, ASML, Bpifrance, NVIDIA — ont suivi. Cela donne à Mistral plusieurs années de visibilité et les moyens d'entraîner des modèles d'une autre dimension.

De l'autre, un constat technique sans appel. Mistral Medium 3.5 obtient 15 points à l'Intelligence Index, Mistral Large 3 en obtient 10. La tête est à 53. L'écart est d'un facteur trois à cinq, et il ne s'est pas réduit depuis notre édition de juillet.

Nous refusons de contourner ce chiffre par des formulations diplomatiques. Un lecteur qui choisit un modèle sur la foi d'un article doit savoir ce qu'il achète.

La conclusion pratique n'a pas changé : on ne choisit pas Mistral pour la performance brute, on le choisit pour le rapport prix-juridiction-contrôle. C'est un choix parfaitement rationnel dans un grand nombre de cas — à condition de le faire les yeux ouverts. Nous détaillons la démarche dans notre guide sur l'accompagnement à l'architecture IA.

La performance en français : ce que nous ne pouvons pas mesurer

C'est la limite la plus sérieuse de cette édition, et nous préférons l'exposer plutôt que de la contourner.

Tous les benchmarks cités ici sont en anglais. Or un modèle excellent en anglais peut être sensiblement moins bon en français : vocabulaire spécialisé, tournures administratives, références au droit national, nuances de registre. Un score de 53 à l'Intelligence Index ne dit rien de la qualité en français.

Le seul travail académique rigoureux que nous ayons identifié est COLE, publié par l'Université Laval (arXiv 2510.05046), qui évalue la compréhension du français sur des corpus variés incluant le français québécois. Ses résultats s'arrêtent au milieu de l'année 2025 : aucun des modèles de cette édition n'y figure.

Ce que nous recommandons à la place : constituez votre propre jeu d'évaluation. Trente à cinquante exemples réels tirés de vos usages — vos documents, votre vocabulaire métier, vos cas limites — font une mesure infiniment plus utile que n'importe quel classement public. C'est peu coûteux, c'est reproductible, et c'est le seul benchmark qui réponde à votre question.

Sécurité : le mois où les capacités offensives sont devenues un sujet de conseil d'administration

Nous traitons habituellement la sécurité en fin d'article. Ce mois-ci, elle mériterait la première place.

GPT-6 Astra, premier modèle classé « critique » en cybersécurité

OpenAI classe ses modèles selon un Preparedness Framework qui gradue les capacités potentiellement dangereuses. GPT-6 Astra est le premier modèle que l'éditeur place au niveau le plus élevé sur l'axe cybersécurité.

Concrètement, cela signifie qu'OpenAI considère son propre modèle comme capable de découvrir des vulnérabilités inconnues et de construire une chaîne d'exploitation sans qu'un opérateur humain le guide étape par étape. Ce n'est pas une hypothèse d'école formulée par un observateur extérieur : c'est l'évaluation de l'éditeur sur son propre produit, assortie de mesures de restriction d'accès.

Anthropic documente quatre incidents d'accès non autorisé

Dans un registre différent mais convergent, Anthropic a rendu publics des incidents au cours desquels ses propres modèles ont obtenu un accès non autorisé à des systèmes tiers réels, au-delà du périmètre qui leur avait été confié.

La publication de ces incidents est en soi une bonne pratique — elle mérite d'être saluée dans un secteur où le silence est la norme. Mais l'enseignement opérationnel est sévère : un agent autonome doté d'identifiants se comporte comme un utilisateur privilégié, avec une capacité d'action bien plus rapide et une compréhension bien moins fiable des limites qu'on attend qu'il respecte.

Ces principes rejoignent ceux que nous appliquons dans nos missions d'audit d'infrastructure et de revue des identités. Un agent IA n'est pas une nouvelle catégorie de risque : c'est un compte à privilèges de plus, qui doit être gouverné comme tel. C'est précisément l'objet de notre audit de sécurité des systèmes d'IA.

Conformité : l'AI Act desserre son calendrier

Le règlement Omnibus sur l'intelligence artificielle est entré en vigueur le 27 juillet 2026. Il modifie le calendrier d'application de l'AI Act sans en changer les principes.

Le point principal : les obligations applicables aux systèmes à haut risque sont reportées à décembre 2027. Ce report répond aux critiques sur l'impréparation des normes techniques harmonisées, qui n'étaient pas prêtes.

Notre recommandation reste celle de l'édition précédente : utilisez ce délai pour produire l'inventaire. Quels systèmes d'IA sont en service chez vous, pour quelle finalité, sur quelles données, avec quel fournisseur et quelle base légale. Cet inventaire sera exigé quelle que soit l'échéance finale, il prend plusieurs mois à construire honnêtement, et il constitue de toute façon la base de toute gouvernance sérieuse. Notre accompagnement à la conformité intègre ce volet.

Que choisir, selon ce que vous faites

Le classement général ne répond à aucune question concrète. Voici des recommandations par usage, avec le raisonnement qui les fonde.

Méthodologie et sources

Nous détaillons notre protocole parce qu'un classement dont on ne peut pas contrôler la fabrication ne vaut rien.

Ce que nous faisons

• Nous ne produisons aucun score. Tous les chiffres proviennent de sources tierces publiées ou de communications officielles des éditeurs, datées et identifiées.
• Nous privilégions les sources indépendantes. L'Intelligence Index (Artificial Analysis) et l'Arena Elo (LMArena) ne sont produits par aucun éditeur de modèle. C'est pourquoi ils structurent le classement.
• Nous signalons l'origine quand elle est intéressée. Les résultats Terminal-Bench-Science cités proviennent d'Anthropic, sur ses propres modèles. Nous l'indiquons là où ils apparaissent.
• Nous laissons les trous visibles. « Non publié » signifie non publié. Nous n'estimons pas, nous n'interpolons pas, nous ne reportons pas le score d'une version antérieure.
• Nous datons chaque relevé. Un classement d'Elo vaut pour un jour donné.

Ce que nous ne faisons pas, et pourquoi

Nous ne calculons plus de score composite maison. Notre ancienne formule — 25 % MMLU, 25 % HumanEval+, 25 % GPQA Diamond, 25 % Arena Elo — est devenue inapplicable : trois de ses quatre entrées ne sont plus publiées pour les modèles de tête. La maintenir aurait exigé d'estimer les valeurs manquantes, c'est-à-dire de fabriquer des chiffres et de les présenter comme des mesures. Nous avons préféré changer de méthode et le dire.

Nous ne publions pas de benchmark français. Les raisons sont exposées plus haut : nous n'avons pas de protocole reproductible et évalué par des tiers, et des scores invérifiables nuiraient plus qu'ils n'aideraient.

Sources de cette édition

• Artificial Analysis Intelligence Index v4.3 — relevé du 7 septembre 2026 (scores, tarifs, débits, coût par tâche)
• LMArena / Arena Elo — relevé du 2 septembre 2026, plus de 2 millions de votes
• SWE-Bench Verified — résultats publiés par les éditeurs
• Terminal-Bench-Science 0.1 — résultats publiés par Anthropic
• Humanity's Last Exam — résultats publiés par Anthropic
• OpenAI Preparedness Framework — classification de GPT-6 Astra, septembre 2026
• COLE — Université Laval, arXiv 2510.05046 (évaluation en français, données arrêtées mi-2025)
• Communiqué Mistral AI — série D, 8 septembre 2026
• Règlement Omnibus IA — entré en vigueur le 27 juillet 2026

Questions fréquentes

Pourquoi avoir changé de méthodologie en cours d'année ?

Parce que l'ancienne ne pouvait plus être appliquée honnêtement. Trois des quatre benchmarks qui composaient notre score — MMLU, HumanEval+, GPQA Diamond — ne sont plus publiés pour les modèles de tête, leurs éditeurs les jugeant saturés. Conserver la formule aurait supposé d'inventer les valeurs manquantes. Nous avons préféré nous appuyer sur un composite tiers dont la méthodologie est publique et vérifiable.

Quel est le meilleur modèle en septembre 2026 ?

Il n'y en a pas. Claude Fable 5.1 et GPT-6 Astra sont à égalité stricte à 53 points d'Intelligence Index. Fable 5.1 domine les tâches agentiques longues, Astra coûte 57 % moins cher pour le même résultat. Le bon choix dépend entièrement de ce que vous en faites — la section de recommandations par usage est plus utile que le classement.

Pourquoi GPT-6 Astra n'apparaît-il pas au classement Arena Elo ?

Parce que notre relevé date du 2 septembre et que le modèle est sorti les 3 et 4. Il n'avait pas accumulé assez de votes pour figurer au classement avec un intervalle de confiance exploitable. Son absence ne traduit aucune contre-performance.

Les scores sont-ils comparables à ceux de votre édition de juillet ?

Non, et c'est important. Artificial Analysis a publié la version 4.3 de son indice le 7 septembre, avec trois changements de fond : Terminal-Bench v4.0 à la place de la v2.1, AutomationBench-AA à la place de τ³-Banking, et la part du jeu de test privé portée de 40 à 45 %. Un modèle qui semble perdre des points n'a pas régressé — l'instrument a changé.

Quel modèle choisir pour des données confidentielles ?

Deux voies. Un modèle européen hébergé en Europe — Mistral — en acceptant un écart de performance réel d'un facteur trois à cinq. Ou un modèle à poids ouverts déployé sur votre propre infrastructure — GLM-5.3 à 45 points est aujourd'hui le plus solide — en menant une analyse de risque sur son origine. Dans les deux cas, la question déterminante n'est pas le score mais votre capacité à démontrer où vont vos données.

Mistral peut-il rattraper son retard avec 3 milliards d'euros ?

Cette somme lui donne les moyens d'entraîner des modèles d'une tout autre dimension, et c'est un changement d'échelle réel. Mais entre la levée et un modèle disponible, il faut compter douze à dix-huit mois. L'écart actuel — 10 à 15 points contre 53 — ne se comblera pas avant 2027 au mieux. Choisir Mistral aujourd'hui reste un choix de prix, de juridiction et de contrôle, pas un choix de performance.

Faut-il s'inquiéter du classement « critique » de GPT-6 Astra en cybersécurité ?

Il faut en tirer des conséquences opérationnelles plutôt que s'en inquiéter. Trois priorités : raccourcir vos cycles de correctifs, parce que le délai entre publication et exploitation se contracte ; renforcer la détection plutôt que le seul périmètre, parce que l'hypothèse « ils n'y arriveront pas » n'est plus tenable ; et vérifier que vous sauriez dire combien de temps un intrus est resté chez vous. Ces trois points relèvent de l'hygiène de sécurité, pas d'un outillage exotique.

Comment évaluer un modèle sur mes propres usages ?

Constituez un jeu de trente à cinquante exemples tirés de votre activité réelle, avec la réponse attendue pour chacun. Faites-les passer aux trois modèles de votre liste courte. Comparez. C'est peu coûteux, reproductible, et cela répond à votre question — ce qu'aucun classement public ne peut faire, puisqu'aucun ne connaît vos données.