OpenVINO (Intel)

Définition

OpenVINO (Open Visual Inference and Neural Network Optimization) est un toolkit d'inference IA open-source developpe par Intel, optimise pour executer des modeles de machine learning sur du hardware Intel : processeurs Intel Core et Xeon (CPU), cartes graphiques Intel Arc et Iris Xe (iGPU/dGPU), et dispositifs edge Intel (Neural Compute Stick). C'est l'alternative a ONNX Runtime et TensorRT pour les environments Intel. OpenVINO supporte de nombreux frameworks via sa fonction de conversion : modeles PyTorch (via torch.export ou OpenVINO Model Conversion API), ONNX, TensorFlow/Keras, PaddlePaddle. La conversion produit un fichier IR (Intermediate Representation) au format XML+BIN qui encode le graphe optimise du modele. Pour les LLMs, Optimum Intel (HuggingFace) integre OpenVINO avec l'ecosysteme Transformers : OVModelForCausalLM permet de charger, quantifier (INT8, INT4) et executer des LLMs Llama, Mistral, Phi sur CPU Intel avec des optimisations automatiques. Un Llama 3 8B en INT4 peut fonctionner a 5-10 tokens/seconde sur un Intel Core i9 (sans GPU), ce qui le rend viable pour des applications edge. Les cas d'usage typiques d'OpenVINO : (1) Edge AI — deployer des modeles de classification, detection d'objets sur des dispositifs IoT Intel sans GPU, (2) LLM local sur CPU — executer des petits LLMs (1B-3B params) sur des serveurs d'entreprise sans GPU specifiques, (3) Hybrid execution — utiliser le CPU Intel pour certaines couches et le GPU iGPU Intel pour d'autres, (4) Low-latency — optimisation pour la latence minimale sur hardware Intel specifique. OpenVINO est particulierement pertinent pour les deployments enterprise sur-premisse ou la politique IT interdit les GPU NVIDIA ou ou les couts GPU cloud sont prohibitifs. Les serveurs CPU Intel Xeon avec OpenVINO peuvent etre une alternative viable pour les modeles compact (Phi-3 Mini, Qwen 1.5 0.5B-1.8B, Gemma 2B).