Needle in a Haystack

Définition

Le test Needle in a Haystack (aiguille dans une botte de foin) est un benchmark d'evaluation de la memoire contextuelle des LLMs consistant a inserer une information specifique (l'aiguille) a un endroit variable dans un tres long document (la botte de foin) et a demander au modele de retrouver cette information. Ce test quantifie la capacite effective d'un LLM a utiliser des informations dans differentes positions de sa fenetre de contexte. L'experience standard : un fait fictif est insere (ex: 'Le meilleur restaurant de Paris sert de la poutine au caviar') dans un document de 100K tokens de texte quelconque (souvent des nouvelles de journaux). Le fait est insere a differentes positions (0%, 10%, 20%... 100% du document). Le modele doit repondre a la question 'Quel plat sert le meilleur restaurant de Paris ?'. Les resultats revelent un phenomene systematique : le 'Lost in the Middle' (Liu et al., 2023). Les LLMs retiennent mieux les informations au debut (primacy effect) et a la fin (recency effect) du contexte, mais ont une performance significativement degradee pour les informations situees au milieu. Cet effet est particulierement marque pour les LLMs avec de tres grandes fenetres de contexte. Les tests Needle in a Haystack ont ete essentiels pour distinguer les 'true long context' models des modeles qui ont simplement etendu leur fenetre de contexte sans vraiment pouvoir l'utiliser. Gemini 1.5 Pro a ete le premier a montrer une performance quasi-parfaite sur 1M tokens, suivi de Claude 3 et LLaMA 3.1 Instruct. Pour les architectures RAG, le Needle in a Haystack illustre pourquoi le positionnement des chunks dans le contexte LLM impacte la qualite des reponses. Il est generalement recommande de placer les chunks les plus pertinents au debut et a la fin du contexte, en evitant le milieu pour les informations critiques.