WebDev Arena (benchmark UI)

Définition

WebDev Arena est un benchmark specifique a la generation d'interfaces web (HTML/CSS/JavaScript) par les LLMs, fonctionnant sur le meme principe de Chatbot Arena (votes humains par paires). Les evaluateurs voient deux pages web generees par deux LLMs differents en reponse au meme prompt de creation d'interface, et votent pour la meilleure. La particularite de WebDev Arena par rapport aux autres benchmarks de code : l'evaluation est visuelle et fonctionnelle simultanement. Un LLM peut generer du code syntaxiquement correct mais visuellement mediocre. L'interface doit etre : (1) fonctionnelle (le code s'execute sans erreur), (2) visuellement attractive, (3) fidele au prompt, (4) responsive et bien structuree. Les prompts typiques de WebDev Arena : 'Cree une calculatrice scientifique avec dark mode', 'Genere un dashboard de monitoring reseau avec des graphiques', 'Construis un jeu Tetris en JavaScript vanilla', 'Cree un formulaire de contact avec validation en temps reel'. Ces prompts testent la capacite a generer du code fonctionnel complexe avec une bonne UX. Les resultats de WebDev Arena (2024) : Claude 3.5 Sonnet et GPT-4o dominent cette arena, montrant que la capacite a generer de bonnes UIs require a la fois des competences de code (syntaxe correcte) et une comprehension des patterns de design (Tailwind CSS, Material Design, accessibilite). Les modeles plus petits (<7B) peinent particulierement sur les interactions JavaScript complexes. L'interet de WebDev Arena pour les developpeurs : contrairement a HumanEval (test des fonctions isolees) ou MBPP, WebDev Arena mesure la capacite a creer des artefacts complets et utilisables, ce qui correspond mieux aux besoins reels de generation de code en entreprise. Il complete utilement HumanEval et SWE-bench pour une evaluation complete des capacites de coding des LLMs.