Test-Time Compute

Définition

Le Test-Time Compute (compute au temps d'inference) est l'approche consistant a ameliorer les performances d'un LLM en utilisant davantage de ressources computationnelles lors de la generation d'une reponse, plutot qu'exclusivement pendant l'entrainement. Popularisee par OpenAI o1 (septembre 2024), c'est une nouvelle dimension du scaling complementaire au scaling classique. L'idee : pour des problemes difficiles (mathematiques, code, raisonnement logique), un modele peut beneficier de 'reflechir plus longtemps' avant de donner sa reponse finale. Cela se traduit par la generation de longues chaines de raisonnement interne (scratchpad), parfois de milliers de tokens, avant de produire la reponse visible. Les techniques de Test-Time Compute incluent : Best-of-N (generer N solutions et choisir la meilleure selon un PRM), Beam Search (exploration d'un arbre de solutions), Monte Carlo Tree Search (MCTS), et l'Extended Thinking (tokens de raisonnement caches, dans Claude 3.7 Sonnet et GPT-o1/o3). DeepSeek-R1 (2025) a demontre que le Test-Time Compute peut etre appris via Reinforcement Learning (RLVR) sans supervision humaine : en recompensant simplement les reponses correctes verifiables (maths, code), le modele apprend a generer des chaines de raisonnement longues incluant backtracking et auto-correction. Pour les equipes qui deploient des LLMs, le Test-Time Compute a des implications sur le cout : les modeles o1/o3 consomment 5-100x plus de tokens que les modeles standard pour les problemes difficiles. Il faut arbitrer entre la qualite requise et le budget compute.