Model Serving

Définition

Le Model Serving désigne l'infrastructure et les processus permettant de déployer un modèle de machine learning entraîné en environnement de production, afin de répondre à des requêtes d'inférence en temps réel ou par lot (batch) via une API, généralement exposée en REST ou gRPC. Cette étape se situe après l'entraînement et la validation du modèle, et couvre des enjeux spécifiques distincts de l'entraînement : latence de réponse, montée en charge horizontale, gestion des versions de modèle (model versioning), déploiements canary ou A/B testing pour comparer les performances de plusieurs versions en production, et monitoring du data drift, dégradation progressive de la précision liée à l'évolution des données réelles par rapport aux données d'entraînement. Les frameworks courants incluent TensorFlow Serving, TorchServe, NVIDIA Triton Inference Server et des plateformes managées comme AWS SageMaker, Vertex AI ou Azure Machine Learning, souvent orchestrées via Kubernetes pour l'élasticité. Pour les grands modèles de langage, le serving pose des enjeux supplémentaires de quantification, de gestion du cache de contexte et d'optimisation du coût par token. Du point de vue sécurité, l'API de serving constitue une surface d'attaque à protéger : authentification, rate limiting contre l'extraction de modèle, et validation des entrées contre les attaques par injection de prompt ou données adversariales.

Description

Le Model Serving est l'infrastructure et les processus permettant de déployer un modèle ML entraîné en production pour répondre à des requêtes en temps réel (online) ou par lots (batch). La performance, la disponibilité et l'efficacité des coûts sont les contraintes principales.

Fonctionnement

Les frameworks de serving (TorchServe, TensorFlow Serving, vLLM pour les LLMs, Triton Inference Server) exposent le modèle via des APIs REST/gRPC. Des fonctionnalités avancées incluent le batching dynamique (regrouper les requêtes pour l'efficacité GPU), l'autoscaling et le model routing (A/B, canary).

Points clés

Le latency SLO (time-to-first-token, tokens/seconde) guide le choix du framework et de l'infrastructure de serving
La mise à l'échelle horizontale avec Kubernetes et KServe gère les pics de charge sans dégradation de service
Les optimisations (quantization, batching, KV-Cache) peuvent réduire les coûts de serving de 5 à 10x

Articles liés

Expert en cybersécurité offensive et intelligence artificielle. Pentest, audit et développement IA sur-mesure.

Services

Ressources

Projets & Outils

Contact

Nous contacter

Mentions légales Confidentialité Politique éditoriale Plan du site ⭐ Source préférée

Un projet cybersécurité ?

Expert dispo · Réponse 24h

Devis