Optimiseur Adafactor
iaDéfinition
L'optimiseur Adafactor est un algorithme d'optimisation pour réseaux de neurones, conçu par Shazeer et Stern en 2018 chez Google, qui vise à réduire drastiquement l'empreinte mémoire des optimiseurs adaptatifs de type Adam en factorisant la matrice des seconds moments du gradient, au lieu de la stocker intégralement pour chaque paramètre. Plutôt que de conserver une estimation complète par paramètre, Adafactor approxime cette information par des vecteurs de rang réduit, correspondant aux sommes par ligne et par colonne des matrices de poids, ce qui réduit l'espace mémoire nécessaire à un ordre de grandeur proche de celui du gradient seul, contre le double ou le triple pour Adam et AdamW. Cette économie mémoire a rendu Adafactor particulièrement utile pour l'entraînement de très grands modèles sur du matériel à mémoire limitée, et il a été utilisé notamment dans l'entraînement de modèles de la famille T5 chez Google. Adafactor intègre également une option de mise à l'échelle relative des mises à jour et peut fonctionner sans stocker le premier moment du gradient, réduisant encore la mémoire au prix d'une convergence parfois moins stable que celle d'AdamW. Il reste privilégié dans des contextes où la contrainte mémoire prime sur la vitesse de convergence, notamment pour le fine-tuning de modèles volumineux sur des infrastructures aux ressources GPU limitées.
Articles liés
Expert en cybersécurité offensive et intelligence artificielle. Pentest, audit et développement IA sur-mesure.
Services
- Audit Infrastructure
- Audit Kubernetes
- Audit Microsoft 365
- Audit Sécurité Réseau
- Analyse de Risques
- Audit Active Directory
- Audit Application Web
- Audit Cloud (AWS/Azure/GCP)
- Audit Messagerie
- Audit API (OWASP Top 10)
- Audit DevSecOps & CI/CD
- Audit Code Source (SAST)
- Audit Postes de Travail
- Audit Sauvegarde & Résilience
- Audit OT/SCADA (IEC 62443)
- Développement IA
- Formations
Ressources
Projets & Outils
© 2026 Ayi NEDJIMI Consultants. Tous droits réservés.
Un projet cybersécurité ?
Expert dispo · Réponse 24h