o1-style Reasoning

Définition

Le o1-style Reasoning (aussi appele Large Reasoning Models ou LRMs) est un paradigme de modeles LLM introduit par OpenAI avec o1 (septembre 2024) qui genere des chaines de reflexion internes longues (Chain-of-Thought etendu) avant de produire la reponse finale. Ces modeles sont entraines avec des methodes de Reinforcement Learning (RLVR) pour apprendre a 'penser' longuement sur des problemes difficiles. L'architecture o1-style : le modele genere un 'thinking block' de dizaines a milliers de tokens de reflexion interne, explorant differentes approches, se corrigeant, verifiant ses raisonnements, avant de produire une reponse concise. Ce budget de reflexion est variable : pour les questions simples il peut etre court, pour les problemes difficils (AIME math olympiad) il peut utiliser 10000+ tokens de reflexion. La performance de cette approche est remarquable : o1 a obtenu 83% sur AIME 2024 (contre 13% pour GPT-4o), 88% sur GPQA Diamond (contre 53% pour GPT-4o), et 89% sur SWE-Bench Verified (les bugs logiciels complexes). DeepSeek-R1 (open-source, 2025) a reproduit des performances similaires a moindre cout, et QwQ-32B de Qwen AI a montre que ces capacites emergent aussi dans des modeles plus petits. L'entrainement o1-style utilise RLVR : les modeles sont entraines avec du Reinforcement Learning sur des taches ou la correction peut etre verifiee automatiquement (mathematiques, code, logique formelle). Le modele apprend qu'un raisonnement plus long et plus rigoureux conduit a de meilleures reponses, ce qui l'encourage naturellement a 'penser plus' sur les problemes difficiles. Les implications pratiques : les modeles o1-style sont beaucoup plus chers (10-100x plus de tokens generes), plus lents (latence de 10-60 secondes), mais significativement meilleurs sur les taches de raisonnement difficile. Ils representent une nouvelle categorie de LLMs a utiliser selectivement pour les problemes vraiment complexes.