Modele de langage de petite taille SLM

Définition

Un modele de langage de petite taille, ou SLM (Small Language Model), est un modele de traitement du langage naturel dont le nombre de parametres, generalement de quelques centaines de millions a quelques dizaines de milliards, est significativement inferieur aux grands modeles de langage de reference comptant plusieurs centaines de milliards de parametres. Des modeles comme Phi, Gemma, ou les versions les plus legeres de Llama et Mistral illustrent cette categorie. L'interet principal des SLM reside dans leur capacite a etre deployes localement, sur un poste de travail, un serveur d'entreprise ou meme un appareil mobile, sans dependre d'une API cloud externe, ce qui repond directement a des exigences de confidentialite des donnees, de latence reduite et de maitrise des couts d'inference, souvent bien inferieurs a ceux d'un grand modele. Les progres recents en distillation de connaissances, ou un petit modele apprend a imiter un modele plus grand, et en curation de donnees d'entrainement de haute qualite ont permis a certains SLM d'atteindre des performances proches de modeles bien plus volumineux sur des taches cibles, bien qu'ils restent generalement moins performants sur des taches de raisonnement complexe ou de connaissance generale tres large. Pour une entreprise, un SLM specialise par fine-tuning represente une option pertinente pour des cas d'usage internes bien delimites, avec un cout de possession maitrise.