Les benchmarks OCR sont importants, donc dans ce blog @jerryjliu0 analyse OlmOCR-Bench, l'un des benchmarks OCR de documents les plus influents. TLDR : c'est un pas important dans la bonne direction, mais cela ne couvre pas tout à fait les besoins de parsing de documents dans le monde réel. 📊 OlmOCR-Bench couvre plus de 1400 PDF avec des tests binaires de réussite ou d'échec, mais se concentre fortement sur les articles académiques (56 %) tout en négligeant les factures, les formulaires et les états financiers. 🔍 Les tests unitaires du benchmark sont trop grossiers pour les tableaux complexes et l'ordre de lecture, manquant de cellules fusionnées, de compréhension des graphiques et de structure globale des documents. ⚡ La correspondance exacte des chaînes dans les tests crée de la fragilité où de petites différences de formatage entraînent des échecs, même lorsque l'extraction est sémantiquement correcte. 🏗️ Un biais de modèle existe puisque le benchmark utilise Sonnet et Gemini pour générer des cas de test, donnant des avantages aux modèles entraînés sur des sorties similaires. Nos tests préliminaires montrent que LlamaParse brille dans le raisonnement visuel profond sur des figures, des diagrammes et des documents commerciaux complexes. Lisez l'analyse de Jerry sur les défis du benchmarking OCR et à quoi devrait ressembler l'évaluation du parsing de documents de prochaine génération :