OCR-benchmarks er viktige, så i denne bloggen analyserer @jerryjliu0 OlmOCR-Bench, en av de mest innflytelsesrike dokument-OCR-benchmarkene. TLDR: det er et viktig steg i riktig retning, men dekker ikke helt behovet for dokumentparsing i den virkelige verden. 📊 OlmOCR-Bench dekker 1400+ PDF-er med binære bestått/ikke bestått-tester, men fokuserer sterkt på akademiske artikler (56 %) samtidig som fakturaer, skjemaer og regnskap mangler 🔍 Benchmarkens enhetstester er for grove for komplekse tabeller og leserekkefølge, mangler sammenslåtte celler, kartforståelse og global dokumentstruktur ⚡ Eksakt strengmatching i tester skaper sprøhet der små formateringsforskjeller fører til feil, selv når ekstraksjonen er semantisk korrekt 🏗️ Modellbias eksisterer siden benchmarken bruker Sonnet og Gemini for å generere testtilfeller, noe som gir fordeler til modeller trent på lignende utganger Våre foreløpige tester viser at LlamaParse utmerker seg i dyp visuell resonnering over tall, diagrammer og komplekse forretningsdokumenter. Les vår Jerry's-analyse av utfordringer med OCR-benchmarking og hvordan evaluering av neste generasjons dokumentparsing bør se ut:

Distribuer produksjonsklare agentarbeidsflyter med bare ett klikk fra LlamaCloud. Her er vi som deployerer SEC som fyller ut ekstrakt og gjennomgangsagent! Vår nye Click-to-Deploy-funksjon lar deg bygge og distribuere komplette dokumentbehandlingspipelines uten å røre kommandolinjen: 🚀 Velg blant ferdiglagde startmaler som SEC-finansiell analyse og arbeidsflyter for faktura-kontrakt-matching ⚡ Konfigurer hemmeligheter og rull ut på under 3 minutter med automatisk bygging og hosting 🔧 Full tilpasning via GitHub – fork maler og endre arbeidsflyt, brukergrensesnitt og konfigurasjon 📊 Innebygde webgrensesnitt for dokumentopplasting, gjennomgang av datautvinning og validering av resultater Hver mal dekker virkelige brukstilfeller som kombinerer LlamaClouds Parse-, Extract- og Classify-tjenester til komplette flertrinns pipelines. Perfekt for å få produksjonsflyten til å gå raskt, og deretter tilpasse etter behov. Prøv Click-to-Deploy i beta:

Annonsering av LlamaSheets i beta 🔥 Forvandle dine rotete regneark til AI-klare data med vårt nyeste LlamaCloud API 📊 LlamaSheets (i beta) er et spesialisert API som automatisk strukturerer komplekse regneark samtidig som det bevarer deres semantiske betydning og hierarkiske kontekst. 📋 Intelligent regionklassifisering som forstår visuell formatering som fete overskrifter, fargede celler og sammenslåtte områder for å hente ut meningsfull struktur 🔧 Flertrinns prosesseringspipeline med 40+ funksjoner per celle, som produserer rene parquet-filer med bevarte datatyper 💼 Perfekt for finansiell analyse, budsjettanalyse, konsolidering av data over flere regioner og automatiserte rapporteringsflyter 🤖 Enkel 5-linjers Python-integrasjon som fungerer med alle agentrammer, inkludert LlamaIndex, @claudeai Code og Cursor Prøv LlamaSheets gratis i vårt playground UI, eller integrer direkte via vårt Python SDK og REST API. Les hele kunngjøringen og kom i gang: Og se vår introduksjonsvideo her: