Unité de traitement graphique dédiée à l'inférence

Définition

Une unité de traitement graphique dédiée à l'inférence est un GPU conçu ou configuré spécifiquement pour l'exécution de modèles d'IA déjà entraînés en production, par opposition aux GPU dédiés à l'entraînement qui privilégient la puissance de calcul brute et la mémoire pour le calcul de gradients. Les GPU d'inférence, comme les gammes NVIDIA L4, L40S ou A10 chez NVIDIA, privilégient un compromis différent : un bon rapport entre débit, latence, consommation électrique et coût par requête, plutôt que la mémoire maximale ou la bande passante d'interconnexion multi-GPU nécessaire à l'entraînement de très grands modèles. Ces GPU intègrent généralement un support matériel natif pour les formats de précision réduite utilisés en inférence, comme INT8 ou FP8, et sont dimensionnés pour un fonctionnement efficace même à faible taux d'utilisation, contrairement aux GPU d'entraînement optimisés pour un fonctionnement continu à pleine charge. Dans les centres de données, les GPU d'inférence sont souvent déployés en plus grand nombre mais avec un coût unitaire inférieur aux GPU d'entraînement haut de gamme comme les NVIDIA H100 ou B200. Pour une DSI, distinguer les besoins d'entraînement et d'inférence dans le dimensionnement de l'infrastructure GPU permet d'optimiser significativement le coût total de possession d'un projet d'IA générative en production à grande échelle.