Datalab випустила OmniParseBench — відкритий бенчмарк для парсерів документів із 16 288 тестами «так/ні» на 2 937 сторінках у 92 мовах. Три найкращі системи розійшлися на 1,3 бала, за даними MarkTechPost.

Підсумковий бал — середнє оцінок за текст, таблиці й layout. Claude Sonnet 5.5 має найвищі оцінки за текст (93,1) і таблиці (95,4), але його оцінка за layout — 77,5. Через це загальний бал моделі становить 88,7: (93,1 + 95,4 + 77,5) / 3. Reducto очолює рейтинг за layout з оцінкою 95,8 — на 18,3 бала вище (95,8 − 77,5), за розрахунком із наведених оцінок.

Чим OmniParseBench відрізняється від olmOCR-bench і ParseBench?

OmniParseBench оцінює парсери за часткою пройдених тестів «так/ні», кожен із яких стосується однієї сторінки. Datalab вважає olmOCR-bench насиченим: на її думку, найкращі системи там розрізняються конвенціями виводу й перенавчанням, а не якістю читання. Також кожен тест olmOCR-bench належить до однієї категорії, визначеної джерелом сторінки. Через це рукописну таблицю оцінюють у категорії, до якої потрапила її сторінка.

ParseBench від LlamaIndex поділяє парсинг на п'ять здатностей, кожна з яких має власну метрику. Datalab зауважує, що ці оцінки не мають спільної одиниці, тому їх складно порівнювати й об'єднувати.

OmniParseBench містить п'ять типів тестів:

Числа мають збігатися цифра в цифру, але роздільник тисяч не впливає на збіг: 1,240 відповідає 1240. Формули порівнюють за результатом рендерингу KaTeX, тому \frac{a}{b} дорівнює \dfrac{a}{b}. Модель не оцінює виводи: скорер має відкритий код. Результати unsupported і error не враховують у жодній оцінці.

Що показав стартовий лідерборд?

Gemini 3.8 Flash очолює лідерборд з оцінкою 92,9, а Datalab accurate посідає друге місце з 92,7. Datalab продає парсер і зазначає, що компанія не очолила власний бенчмарк, а читачам варто врахувати цей інтерес.

За даними Datalab, Gemini 3.8 Flash і ще одна модель допомагали створювати принаймні частину тестів. MarkTechPost позначає публікацію як спонсоровану Datalab. У матеріалі MarkTechPost також сказано, що Datalab планує публікувати оцінки OmniParseBench для майбутніх версій парсера.

Datalab зіставила підсумкові оцінки з медіанною затримкою та ціною за 1 000 сторінок. Затримку вимірювали на 200 вибіркових сторінках, надсилаючи по вісім за раз. Значень ціни й затримки в матеріалі MarkTechPost немає.

Як теги допомагають порівнювати результати?

Теги дають змогу вибирати тести за п'ятьма ознаками: структурою, рендерингом, роллю, писемністю та мовою. Писемності позначають кодами ISO 15924, а мови — ISO 639-3. Теги не впливають на вердикт чи загальну оцінку, а лише визначають склад зрізу, для якого обчислюють окремий бал.

Тег таблиць охоплює 6 767 тестів на 1 000 сторінках із 875 документів. Для англійської є 10 089 тестів. Для неанглійських мов — 1 931 тест на 529 сторінках із 321 документа. Кожен тест має одне з десяти зазначених джерел відповіді, серед яких JATS XML видавця, текстовий шар PDF, тести olmOCR-bench, панелі моделей і перевірка людиною. Ці дані та опис методики наведено в матеріалі MarkTechPost про OmniParseBench.

Як запустити OmniParseBench?

OmniParseBench — інструмент оцінювання, а не модель. Для встановлення потрібен Python 3.11 або новіша версія. Функція score() оцінює результати офлайн і не потребує ключів API. Для адаптерів вендорів встановіть пакет із додатковою залежністю harness, а для доступу до набору даних — із залежністю benchmark.

Щоб запустити бенчмарк на п'яти прикладах, скористайтеся командою opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-sol. Вендорам потрібні ключі на зразок DATALAB_API_KEY або OPENROUTER_API_KEY. CLI показує план і запитує підтвердження перед викликом вендорів; запуск можна відновити після переривання. Порівнювати результати можна за тегом, набором тестів або їхнім типом, згідно з описом запуску в MarkTechPost.