Chain of Thought (CoT)

Définition

Le Chain of Thought, ou CoT, est une technique de prompting qui incite explicitement un grand modèle de langage à décomposer son raisonnement en une suite d'étapes intermédiaires exposées avant de formuler sa réponse finale, plutôt que de produire directement une conclusion sans étape de raisonnement visible, une approche qui améliore mesurablement les performances du modèle sur les tâches nécessitant un raisonnement complexe, arithmétique, logique ou de déduction multi-étapes. Introduite formellement dans les travaux de Wei et al. en 2022, cette technique peut être déclenchée de plusieurs manières : par une simple instruction explicite ajoutée au prompt, telle que « réfléchis étape par étape », exploitant la capacité du modèle à imiter ce format de raisonnement sans exemple préalable, ou par la fourniture d'exemples démonstratifs illustrant eux-mêmes un raisonnement décomposé en étapes avant leur conclusion, une variante few-shot du chain-of-thought généralement plus robuste. L'efficacité de cette approche s'explique en partie par le fait que le modèle génère ses tokens de manière autorégressive, chaque étape intermédiaire produite venant enrichir le contexte disponible pour la génération de l'étape suivante, réduisant ainsi la probabilité d'une erreur de raisonnement non détectée. Cette technique constitue également le socle conceptuel des modèles de raisonnement plus récents entraînés spécifiquement à produire de longues chaînes de réflexion internes avant leur réponse finale.