Tiktoken

Définition

Tiktoken est la bibliotheque de tokenisation open-source developpee par OpenAI implementant l'algorithme BPE (Byte Pair Encoding) en Rust avec des bindings Python, optimisee pour la vitesse. Elle est utilisee par GPT-3.5, GPT-4, GPT-4o, et via une implementation similaire dans LLaMA 3 et Qwen 2.5 (qui utilisent un vocabulaire de 128K tokens base sur Tiktoken). Tiktoken propose plusieurs encodings : cl100k_base (GPT-4, Claude equivalents, 100K vocab), o200k_base (GPT-4o, 200K vocab), p50k_base (GPT-3.5, 50K vocab). Le choix de l'encoding determine comment le texte est decoupes en tokens, et donc le nombre de tokens consommes — ce qui impacte directement le cout des appels API. La vitesse est le principal avantage de Tiktoken sur les alternatives Python : traite ~1M tokens/seconde en Python pur (vs ~100K/s pour les tokenizers HuggingFace en Python). Cette performance est critique pour pre-calculer les token counts avant les appels API, implementer des limites de contexte dans les applications, et batcher efficacement des sequences. Pour les developpeurs d'applications LLM, tiktoken est indispensable pour : estimer le cout des appels API avant envoi (1000 tokens GPT-4o ~$0.05), implementer des truncation intelligentes dans les pipelines RAG, verifier les limites de contexte, et calculer l'utilisation des tokens pour la facturation. Des cas particuliers a connaitre : les tokens ne correspondent pas toujours a des mots entiers (un mot comme 'cybersecurite' peut etre decoupes en 2-3 tokens), les emojis et caracteres Unicode consomment parfois beaucoup de tokens (jusqu'a 5-6 tokens par emoji), et les espaces initiaux coutent souvent un token supplementaire.

Utilisation de Tiktoken

import tiktoken

# GPT-4o encoding
enc = tiktoken.get_encoding('o200k_base')
# ou via le modele
enc = tiktoken.encoding_for_model('gpt-4o')

text = 'La cybersecurite des LLMs est un enjeu majeur en 2026.'
tokens = enc.encode(text)
print(f'Nombre de tokens: {len(tokens)}')  # ~14 tokens
print(f'Tokens: {tokens}')
print(f'Deco: {[enc.decode_single_token_bytes(t) for t in tokens]}')

# Compter les tokens d'un prompt de chat complet
def count_tokens_for_chat(messages, model='gpt-4o'):
    enc = tiktoken.encoding_for_model(model)
    n_tokens = 0
    for message in messages:
        n_tokens += 4  # Overhead par message
        for key, value in message.items():
            n_tokens += len(enc.encode(value))
    return n_tokens + 2  # Reply priming

Estimations couts API (2026)

GPT-4o : ~$2.50/1M tokens input, ~$10/1M tokens output
GPT-4o-mini : ~$0.15/1M tokens input, ~$0.60/1M output
Claude 3.5 Sonnet : ~$3/1M tokens input, ~$15/1M output
DeepSeek API : ~$0.14/1M tokens input (tres economique)

Articles liés

Expert en cybersécurité offensive et intelligence artificielle. Pentest, audit et développement IA sur-mesure.

Services

Ressources

Projets & Outils

Contact

Nous contacter

Mentions légales Confidentialité Politique éditoriale Plan du site ⭐ Source préférée

Un projet cybersécurité ?

Expert dispo · Réponse 24h

Devis