Các tiêu chuẩn OCR rất quan trọng, vì vậy trong blog này @jerryjliu0 phân tích OlmOCR-Bench, một trong những tiêu chuẩn OCR tài liệu có ảnh hưởng nhất. TLDR: đây là một bước quan trọng theo hướng đúng, nhưng chưa hoàn toàn đáp ứng nhu cầu phân tích tài liệu thực tế. 📊 OlmOCR-Bench bao gồm hơn 1400 PDF với các bài kiểm tra nhị phân pass-fail, nhưng tập trung chủ yếu vào các tài liệu học thuật (56%) trong khi bỏ qua hóa đơn, mẫu đơn và báo cáo tài chính 🔍 Các bài kiểm tra đơn vị của tiêu chuẩn này quá thô cho các bảng phức tạp và thứ tự đọc, thiếu các ô hợp nhất, khả năng hiểu biểu đồ và cấu trúc tài liệu toàn cầu ⚡ Việc so khớp chuỗi chính xác trong các bài kiểm tra tạo ra sự giòn dễ bị hỏng khi có những khác biệt nhỏ về định dạng gây ra lỗi, ngay cả khi việc trích xuất là chính xác về mặt ngữ nghĩa 🏗️ Sự thiên lệch của mô hình tồn tại vì tiêu chuẩn này sử dụng Sonnet và Gemini để tạo ra các trường hợp kiểm tra, mang lại lợi thế cho các mô hình được đào tạo trên các đầu ra tương tự Các bài kiểm tra sơ bộ của chúng tôi cho thấy LlamaParse nổi bật trong việc lý luận hình ảnh sâu sắc qua các hình, biểu đồ và tài liệu kinh doanh phức tạp. Đọc phân tích của Jerry về những thách thức trong việc đánh giá tiêu chuẩn OCR và cách mà việc đánh giá phân tích tài liệu thế hệ tiếp theo nên trông như thế nào: