Triton Inference Server

Définition

NVIDIA Triton Inference Server (anciennement TensorRT Inference Server) est une plateforme open-source de serving de modeles d'apprentissage automatique pour la production, supportant de multiples frameworks (PyTorch, TensorFlow, ONNX Runtime, TensorRT, OpenVINO) et de multiples plateformes materielle (GPU NVIDIA, CPU). C'est la solution de reference pour deployer des LLMs en production a grande echelle chez les grands fournisseurs cloud et enterprise. Les fonctionnalites cles de Triton : (1) Dynamic batching — regroupe automatiquement les requetes clients individuelles en batches pour maximiser l'utilisation GPU, (2) Concurrent model execution — execute plusieurs modeles simultanement sur le meme GPU, (3) Model ensembles — chain plusieurs modeles en un pipeline avec pipelining automatique, (4) Backend plugins — extensible avec des backends personnalises, (5) Streaming — supporte le streaming token-by-token pour les LLMs via le protocole gRPC. Triton est particulierement utilise avec TensorRT-LLM (l'optimiseur de modeles LLM de NVIDIA) : TensorRT-LLM optimise le modele (quantisation, fusion de couches, attention optimisee), puis Triton sert le modele optimise avec gestion de l'inference a large echelle. Cette combinaison est utilisee dans production chez Azure, AWS et GCP pour leurs endpoints LLM manages. Pour les equipes enterprise deploying des LLMs on-premise sur du hardware NVIDIA, Triton + TensorRT-LLM est generalement la solution offrant le meilleur throughput. vLLM est une alternative plus accessible (Python pur, plus facile a configurer), mais Triton + TensorRT-LLM peut etre 20-50% plus rapide sur des configurations NVIDIA optimisees. Le protocole de communication de Triton est HTTP/REST et gRPC, compatible avec les standards MLOps (KServe, Kubeflow Serving utilisent Triton en backend). La gestion des versions de modeles, le A/B testing, et le monitoring des metriques de performance (latence P99, throughput, utilisation GPU) sont natifs.