BM25

Définition

BM25 (Best Match 25) est un algorithme de ranking de documents pour la recherche d'information, développé par Robertson et Jones dans les années 1990 et toujours considéré comme l'algorithme de référence pour la recherche lexicale (full-text search). Il est utilisé par Elasticsearch, OpenSearch, Solr et la plupart des moteurs de recherche enterprise comme fonction de scoring par défaut. BM25 est une évolution de TF-IDF (Term Frequency-Inverse Document Frequency) qui corrige plusieurs de ses limitations. TF-IDF penalise les mots rares et récompense la fréquence des termes de requête dans le document, mais sans saturation : un document qui répète 100 fois un terme reçoit un score disproportionné. BM25 introduit deux facteurs de saturation — k1 (saturation TF, typiquement 1.2-2.0) et b (normalisation par longueur, typiquement 0.75) — et une normalisation par la longueur du document empêchant que les documents longs soient systématiquement favorisés. Dans les pipelines RAG modernes, BM25 est indispensable comme composant de la Hybrid Search (recherche hybride). La recherche purement sémantique (dense retrieval via embeddings) est excellente pour la similarité sémantique mais échoue sur les requêtes avec des mots-clés exacts (identifiants techniques, noms propres, acronymes, numéros de CVE). Un CVE-2024-12345 ne sera trouvé par un système sémantique que si l'embedding encode précisément cet identifiant — ce qui n'est généralement pas le cas pour des identifiants rares. La combinaison BM25 + dense retrieval via Reciprocal Rank Fusion (RRF) ou score hybride pondéré est maintenant le standard pour les systèmes RAG de production. Elasticsearch et OpenSearch proposent des hybrid search natifs combinant BM25 et kNN (k-nearest neighbors). Des bibliothèques Python comme BM25S (2024), rank_bm25 ou whoosh permettent d'intégrer BM25 facilement dans des pipelines RAG custom.