Mise a l'echelle horizontale de l'inference

Définition

La mise a l'echelle horizontale de l'inference designe la strategie qui consiste a augmenter la capacite de traitement d'un service d'IA en multipliant le nombre d'instances de calcul qui traitent les requetes en parallele, plutot qu'en renforcant la puissance d'une machine unique, une approche appelee mise a l'echelle verticale. Chaque instance heberge une copie du modele ou une partie de celui-ci lorsque le modele est trop volumineux pour tenir sur un seul accelerateur, et un repartiteur de charge distribue les requetes entrantes entre ces instances selon leur disponibilite. Cette approche est privilegiee dans les architectures d'IA en production car elle offre une tolerance aux pannes superieure, une elasticite face aux pics de trafic, et permet d'ajouter ou de retirer des ressources de maniere incrementale en fonction de la demande. Elle s'appuie generalement sur des orchestrateurs de conteneurs comme Kubernetes, associes a des mecanismes d'autoscaling qui declenchent le demarrage de nouvelles instances lorsque la latence ou la file d'attente depassent un seuil defini. La mise a l'echelle horizontale pose des defis specifiques a l'inference IA : le temps de demarrage a froid d'une instance chargeant un modele volumineux en memoire peut atteindre plusieurs dizaines de secondes, ce qui necessite des strategies de pre-chauffage ou de maintien d'une capacite tampon pour absorber les variations de charge sans degrader la latence percue par les utilisateurs.