Memoire a large bande passante HBM (High Bandwidth Memory)

Définition

La memoire HBM, ou High Bandwidth Memory, est une technologie de memoire empilee verticalement en trois dimensions et placee au plus pres du processeur graphique afin de maximiser le debit de transfert de donnees. Contrairement a la memoire GDDR classique disposee autour de la puce sur la carte, la HBM utilise un interposeur en silicium qui reduit la distance electrique et permet des bandes passantes de plusieurs teraoctets par seconde. Cette caracteristique est critique pour l'IA generative : l'inference des grands modeles de langage est souvent limitee non par la puissance de calcul brute mais par la vitesse a laquelle les poids du modele peuvent etre lus depuis la memoire, un phenomene appele memory bound. Les GPU d'entrainement et d'inference haut de gamme, comme les series NVIDIA H100 ou les accelerateurs specialises AMD MI300, integrent de la HBM pour cette raison. La capacite et la bande passante de la memoire HBM determinent directement la taille maximale de modele qu'un GPU peut heberger et la vitesse de generation de jetons. Pour les equipes qui dimensionnent une infrastructure d'inference, la quantite de HBM disponible par puce est souvent le facteur limitant avant meme la puissance de calcul, ce qui explique les tensions d'approvisionnement observees sur ce composant.