OCR-vertailuarvoilla on merkitystä, joten tässä blogissa @jerryjliu0 analysoimme OlmOCR-Benchiä, yhtä vaikutusvaltaisimmista dokumenttien OCR-vertailuista. TLDR: se on tärkeä askel oikeaan suuntaan, mutta ei täysin kata todellisia dokumenttien jäsentämisen tarpeita. 📊 OlmOCR-Bench kattaa 1400+ PDF-tiedostoa binäärisellä läpäisy-hylätys-testeillä, mutta keskittyy vahvasti akateemisiin artikkeleihin (56 %) samalla kun laskut, lomakkeet ja tilinpäätökset puuttuvat 🔍 Benchmarkin yksikkötestit ovat liian karkeita monimutkaisille taulukoille ja lukujärjestykselle, puuttuvat yhdistetyt solut, kaavion ymmärrys ja globaali dokumenttirakenne ⚡ Tarkka merkkijonojen sovitus testeissä luo haurautta, jossa pienet muotoiluerot aiheuttavat virheitä, vaikka poimiminen olisi semanttisesti oikein 🏗️ Malliharha on olemassa, koska vertailu käyttää Sonnetia ja Geminiä testitapausten tuottamiseen, mikä antaa etuja malleille, jotka on koulutettu samankaltaisilla tuloksilla Alustavat testimme osoittavat, että LlamaParse loistaa syvällisessä visuaalisessa päättelyssä lukujen, kaavioiden ja monimutkaisten liiketoimintadokumenttien yli. Lue Jerry's-analyysimme OCR:n vertailuhaasteista ja siitä, miltä seuraavan sukupolven asiakirjojen jäsentämisarvioinnin tulisi näyttää: