OCR-benchmarks är viktiga, så i denna blogg analyserar @jerryjliu0 OlmOCR-Bench, en av de mest inflytelserika dokument-OCR-benchmarkarna. Sammanfattning: det är ett viktigt steg i rätt riktning, men täcker inte riktigt verkliga dokumenttolkningsbehov. 📊 OlmOCR-Bench täcker 1400+ PDF:er med binära godkända/underkända-tester, men fokuserar starkt på akademiska artiklar (56 %) samtidigt som fakturor, formulär och finansiella rapporter saknas 🔍 Benchmarkens enhetstester är för grova för komplexa tabeller och läsordning, saknar sammanslagna celler, kartförståelse och global dokumentstruktur ⚡ Exakt strängmatchning i tester skapar skörhet där små formateringsskillnader orsakar fel, även när extraktionen är semantiskt korrekt 🏗️ Modellbias finns eftersom benchmarken använder Sonnet och Gemini för att generera testfall, vilket ger fördelar för modeller tränade på liknande utdata Våra preliminära tester visar att LlamaParse briljerar på djup visuell resonemang över figurer, diagram och komplexa affärsdokument. Läs vår Jerry's-analys av utmaningar med OCR-benchmarking och hur nästa generations dokumentanalys bör se ut: