Runtime ONNX Runtime

Définition

ONNX Runtime est un moteur d'exécution open source développé par Microsoft, conçu pour exécuter efficacement des modèles au format ONNX sur une grande variété de matériels et de systèmes d'exploitation. Il fonctionne selon un système de fournisseurs d'exécution, ou Execution Providers, qui permettent de déléguer les calculs au matériel le plus adapté disponible sur la machine cible, CPU via des bibliothèques optimisées, GPU NVIDIA via CUDA ou TensorRT, GPU AMD, ou accélérateurs spécialisés comme les NPU de puces mobiles ou les DirectML sous Windows. Cette abstraction permet à un même modèle exporté une fois au format ONNX de s'exécuter sans modification sur des serveurs cloud, des postes de travail ou des appareils embarqués, ONNX Runtime sélectionnant automatiquement le meilleur fournisseur d'exécution disponible. Le runtime intègre également des optimisations de graphe génériques, comme la fusion d'opérateurs ou l'élimination de nœuds redondants, appliquées indépendamment du matériel cible avant l'exécution. ONNX Runtime supporte à la fois l'inférence et, dans une moindre mesure, l'entraînement accéléré. Il est largement utilisé en production pour des modèles de vision, de traitement du langage de taille modérée et des modèles classiques de machine learning. Pour une DSI, ONNX Runtime offre une solution d'inférence portable et gratuite, alternative aux moteurs propriétaires spécifiques à un seul fournisseur matériel comme TensorRT.