TGI (Text Generation Inference)

Définition

Text Generation Inference (TGI) est un serveur d'inférence haute performance pour les LLMs développé et maintenu par HuggingFace. C'est la solution d'inférence officielle de HuggingFace Inference Endpoints et une référence dans l'écosystème pour servir des LLMs en production avec Docker. TGI expose une API REST/gRPC optimisée compatible avec les clients HuggingFace InferenceClient et partiellement avec l'API OpenAI. TGI implémente le Continuous Batching (traitement continu des requêtes), le Flash Attention 2 (attention optimisée pour GPU), la quantification à la volée (bitsandbytes int8/int4, GPTQ, AWQ), le tensor parallelism multi-GPU, et la génération guidée via grammar-based sampling (JSON schema, regex). Depuis la version 2.0, TGI supporte également les modèles multimodaux (vision-langage comme LLaVA, IDEFICS) et le function calling. Une caractéristique distincte de TGI est son serveur gRPC interne qui sépare le router HTTP (Rust) du worker d'inférence Python/Torch. Cette architecture améliore les performances sous haute concurrence et facilite le scaling horizontal. Le router gère la file d'attente, le batching dynamique et le load balancing entre workers, tandis que le worker Python gère l'inférence GPU proprement dite. Pour le déploiement enterprise, TGI s'intègre nativement avec l'écosystème HuggingFace (Inference Endpoints, Hub), ce qui simplifie le déploiement de modèles HuggingFace en production. Son packaging Docker officiel (ghcr.io/huggingface/text-generation-inference) inclut toutes les dépendances CUDA et permet un déploiement en quelques minutes sur AWS, GCP, Azure ou on-premise. Comparé à vLLM, TGI a l'avantage d'un meilleur support des modèles HuggingFace "exotiques" (architectures non-mainstream) et d'une gestion plus fine des tokens spéciaux, mais vLLM surpasse généralement TGI en throughput pur sur les architectures standards.