Synthetic Data Generation

Définition

La Synthetic Data Generation (génération de données synthétiques) consiste à utiliser des LLMs puissants (GPT-4, Claude Opus, Llama 3 70B) pour créer automatiquement des datasets d'entraînement à grande échelle, en remplacement ou complément des données annotées humainement. Cette approche a transformé l'entraînement des LLMs en 2023-2025 en rendant accessible le fine-tuning de qualité à des coûts bien inférieurs aux annotations humaines. Alpaca (Stanford, 2023) a inauguré cette ère en utilisant GPT-3.5 (text-davinci-003) pour générer 52K instructions à partir de 175 seeds, réduisant le coût de création de données de ~$500K (annotation humaine) à ~$500 (API OpenAI). Malgré ses limitations qualitatives, ce paradigme a déclenché une vague de recherche : WizardInstruct (évolution complexe d'instructions), Orca (explication du raisonnement), OpenHermes et la série Magpie. Magpie (2024) pousse la synthèse encore plus loin : en exploitant le format de template des modèles Llama-3, il est possible de faire "auto-compléter" au modèle la partie instruction d'une conversation en partant uniquement des tokens de début de message. Le modèle génère ainsi ses propres instructions d'entraînement sans prompt de génération — une forme d'auto-distillation. Microsoft Research a montré avec Phi-1 (2023) qu'entraîner un modèle de 1.3B paramètres sur des données synthétiques "textbook quality" (générées par GPT-4) produit des résultats comparables à des modèles 10× plus grands entraînés sur des données web brutes. Cette approche "quality over quantity" via synthetic data a inspiré toute la série Phi (Phi-2, Phi-3, Phi-3.5). Pour les équipes enterprise, la génération de données synthétiques est cruciale pour créer des datasets de fine-tuning métier sans violer la confidentialité des données réelles. Des patterns comme la génération de cas de support client fictifs, de rapports d'incidents simulés ou de dialogues de formation permettent de personnaliser des LLMs sur des domaines spécifiques (juridique, médical, cybersécurité).