FP8 (Float Point 8-bit)

Définition

FP8 (8-bit Floating Point) est un format de representation numerique ultra-compact utilise pour l'entrainement et l'inference des LLMs, introduit avec les GPU NVIDIA H100. Il existe en deux variantes : E4M3 (4 bits d'exposant, 3 bits de mantisse, plage jusqu'a 448) et E5M2 (5 bits d'exposant, 2 bits de mantisse, plage jusqu'a 57344). E4M3 est utilise pour les activations (plage plus petite mais plus de precision), E5M2 pour les gradients (plage plus grande pour les gradients qui varient beaucoup). L'avantage principal de FP8 : les tensor cores FP8 du H100 et H200 offrent 2x le throughput des tensor cores BF16 (1979 TFLOPS FP8 vs 989 TFLOPS BF16 sur H100 SXM). La memoire est reduite de 50% par rapport a BF16. Pour des LLMs a l'echelle de 70B-400B params, cette reduction de memoire est significative et le gain de throughput est considerable. L'entrainement en FP8 (Transformer Engine, NVIDIA) utilise un scaling dynamique par tenseur (delayed scaling) : un facteur d'echelle est calcule dynamiquement pour chaque tenseur afin de maximiser l'utilisation de la plage FP8 sans overflow. Les accumulations dans les matrix multiplications restent en FP32 pour la precision. Cette approche a ete validee sur des modeles jusqu'a 540B parametres (PaLM-2) avec des degradations negliGeables. En inference, FP8 via vLLM et TensorRT-LLM permet de doubler le throughput vs FP16/BF16 sur H100, a un cout de 0.3-1% de degradation sur les benchmarks standards. C'est le format recommande pour la production sur H100 quand la latence et le throughput sont critiques. Les GPU qui supportent FP8 nativement : NVIDIA H100/H200/B100/B200, AMD MI300X (avec ROCm 6+), Google TPU v5. Les GPU precedents (A100, etc.) ne supportent pas FP8 nativement et doivent utiliser INT8 ou BF16.