SentencePiece

Définition

SentencePiece est une bibliotheque de tokenisation open-source developpee par Google (Kudo & Richardson, 2018) qui implementent des algorithmes de sous-mots (BPE et Unigram Language Model) de maniere independante de la langue et sans pre-tokenisation explicite. Elle est utilisee par LLaMA 2, Mistral, BLOOM, T5, XLNet et de nombreux autres modeles multilingues. L'innovation cle de SentencePiece est d'operer directement sur le flux de caracteres Unicode sans pre-tokenisation basee sur les espaces. Dans les implementations BPE classiques (tiktoken), les espaces delimitent les mots avant la tokenisation BPE. SentencePiece traite les espaces comme des caracteres ordinaires (notes '_'), permettant une tokenisation coherente des langues sans espaces comme le chinois, le japonais ou le thai. SentencePiece supporte deux algorithmes : BPE (Byte Pair Encoding) et Unigram Language Model. Le modele Unigram est probabiliste : il entraine un modele de langage sur les sous-mots et choisit la segmentation qui maximise la probabilite totale. Cette approche est souvent plus adaptee aux langues agglutinatives et morphologiquement riches. Pour LLaMA 2 et Mistral, SentencePiece est utilise avec un vocabulaire de 32K tokens incluant des tokens speciaux (BOS, EOS, PAD). Les modeles LLaMA 3 ont migre vers Tiktoken avec un vocabulaire de 128K tokens, ameliorant significativement l'efficacite sur le code et les langues non-anglaises. Pratiquement, SentencePiece est utilisé via l'interface HuggingFace (AutoTokenizer charge automatiquement le bon tokenizer) ou directement via la bibliotheque sentencepiece Python. La compatibilite entre tokenizers est importante lors du fine-tuning : utiliser un tokenizer different de celui du pre-entrainement degrade les performances.