OCR avec LLM

Définition

L'OCR avec LLM (Optical Character Recognition utilisant des Large Language Models) est l'utilisation des VLMs (Vision-Language Models) comme GPT-4o, Claude 3.5 Sonnet, ou Gemini 1.5 Pro pour extraire et comprendre le texte contenu dans des images, plutot que d'utiliser des moteurs OCR traditionnels (Tesseract, PaddleOCR). Les VLMs combinent la reconnaissance optique avec la comprehension semantique du contexte. Les avantages de l'OCR par LLM sur les OCR traditionnels : (1) Gestion des mises en page complexes — tableaux multi-colonnes, formules mathematiques, diagrammes avec annotations textuelles, (2) Correction contextuelle — le LLM utilise le contexte pour corriger les erreurs OCR ('rec0mmandation' → 'recommandation'), (3) Extraction semantique — plutot que retourner tout le texte en vrac, le LLM peut structurer l'output (JSON, markdown), (4) Multilinguisme — comprehension de documents multilingues melangeant plusieurs langues. Les cas d'usage specifiques ou l'OCR par LLM excelle : formulaires administratifs complexes (tableaux avec cases a cocher, signatures), documents legacy scannees avec mauvaise qualite, tickets de caisse et factures manuscrites, documents scientifiques avec formules et graphiques, et documents bilingues ou le code-switching est frequent. Les limitations : (1) Cout — appeler un LLM frontier coute 10-100x plus qu'un OCR traditionnel pour le meme volume de texte, (2) Vitesse — la latence est plus elevee (1-5s vs <100ms pour Tesseract), (3) Hallucinations — le LLM peut parfois 'interpreter' plutot que transcrire fidelement, (4) Verification difficile — les OCR traditionnels ont un score de confiance par caractere, les LLMs non. L'approche optimale en production est hybride : Tesseract/PaddleOCR pour le volume de texte simple et le preprocessing, et LLM VLM uniquement pour les elements complexes (tableaux, formules, textes degrades) ou quand la structuration semantique est necessaire.