Homomorphic Encryption ML

Définition

Le Chiffrement Homomorphe (Homomorphic Encryption, HE) pour le Machine Learning est une technique cryptographique qui permet d'effectuer des calculs (additions, multiplications) directement sur des donnees chiffrees sans jamais les dechiffrer, de maniere a ce que le resultat dechiffre soit identique au resultat obtenu en calculant sur les donnees en clair. Pour le ML, cela signifie qu'un LLM ou un modele ML peut effectuer l'inference sur des donnees chiffrees sans jamais avoir acces aux donnees. Les types de HE : (1) Partiellement Homomorphe (PHE) — permet soit les additions, soit les multiplications, mais pas les deux (RSA est multiplicativement homomorphe). (2) Somewhat Homomorphe (SHE) — permet des additions ET multiplications mais avec une limite sur le nombre d'operations. (3) Fully Homomorphe (FHE) — permet un nombre illimite d'operations, mais avec un bootstrapping couteux pour rafraichir les ciphertexts. CKKS et TFHE sont les schemes FHE les plus utilises pour le ML. Le scheme CKKS (Cheon-Kim-Kim-Song, 2017) est le plus adapte au ML : il permet des operations sur des nombres reels approximatifs (vs entiers exacts), ce qui correspond aux activations des reseaux de neurones. CKKS est implementee dans Microsoft SEAL, HElib, OpenFHE, et HEAAN. Les limitations actuelles pour les LLMs : le calcul homomorphe est 4-6 ordres de magnitude plus lent que le calcul sur CPU en clair, et les LLMs contiennent des operations non-lineaires (softmax, GELU, layernorm) qui sont couteuses a approximer en HE. L'inference d'un modele de classification simple (MNIST) prend ~10 secondes en HE vs quelques ms en clair. Pour les LLMs, l'inference HE complete est actuellement impraticable en production. L'etat de la recherche (2024) : des travaux comme Iron (Microsoft, 2022) et BumbleBee proposent des architectures de Transformers optimisees pour HE, en approximant les non-linearites par des polynomes. Des hybrid approches combinent HE avec du Secure Multi-Party Computation (MPC) pour repartir le calcul entre parties de confiance. Le consensus est que HE pour les LLMs deviendra praticable dans 5-10 ans avec les avancees en hardware FHE (puces specialisees) et en algorithmes d'approximation.