Accélérateur TPU (Tensor Processing Unit)

Définition

Un accélérateur TPU, pour Tensor Processing Unit, est un circuit intégré spécifique, ou ASIC, conçu par Google spécifiquement pour accélérer les calculs matriciels massifs utilisés dans l'entraînement et l'inférence de modèles de deep learning. Contrairement à un GPU, conçu à l'origine pour le rendu graphique puis généralisé au calcul parallèle, le TPU est architecturé dès l'origine autour d'unités de multiplication matricielle systoliques, optimisées pour les opérations tensorielles répétitives des réseaux de neurones, avec un support natif de la précision réduite comme le bfloat16. Les TPU sont disponibles exclusivement via Google Cloud, sous forme d'instances individuelles ou de pods regroupant plusieurs milliers de puces interconnectées par un réseau haut débit dédié, utilisés notamment pour l'entraînement de modèles de fondation de Google, dont la famille Gemini. Les générations successives, de la v1 initiale aux versions récentes comme Trillium, ont considérablement augmenté la puissance de calcul et l'efficacité énergétique par puce. Le principal compromis des TPU est leur écosystème logiciel plus restreint que celui des GPU NVIDIA, avec une compatibilité native optimale pour JAX et TensorFlow, PyTorch nécessitant une couche de compatibilité additionnelle. Pour une DSI évaluant une stratégie cloud d'entraînement de modèles à grande échelle, les TPU représentent une alternative aux GPU avec un rapport coût-performance parfois avantageux pour de très gros volumes d'entraînement.