Modele de langage specialise par domaine

Définition

Un modele de langage specialise par domaine (domain-specific language model) est un grand modele de langage adapte, par entrainement continu ou par fine-tuning, au vocabulaire, aux raisonnements et aux taches propres a un secteur d'activite specifique, comme le droit, la finance, l'industrie ou la sante, plutot que d'utiliser un modele generaliste tel quel. Cette specialisation s'obtient generalement en poursuivant l'entrainement d'un modele de base deja performant sur un corpus de textes du domaine cible, ou en appliquant des methodes de fine-tuning parametre-efficace comme LoRA, moins couteuses qu'un reentrainement complet. L'objectif est double : ameliorer la precision et la pertinence des reponses sur des taches specifiques, comme l'analyse de contrats juridiques ou la synthese de rapports financiers, et reduire les hallucinations sur une terminologie technique que le modele generaliste maitrise mal. Une alternative complementaire, souvent moins couteuse et plus facile a maintenir a jour, consiste a garder un modele generaliste et a lui adjoindre un pipeline RAG interrogeant une base documentaire specialisee au moment de l'inference, sans modifier les poids du modele. Le choix entre fine-tuning et RAG depend du besoin : le fine-tuning modifie durablement le style et le raisonnement du modele, tandis que le RAG apporte une connaissance factuelle actualisable sans reentrainement, deux approches parfois combinees dans les deploiements IA les plus matures.