Datalab بنچمارک باز OmniExtractBench را برای استخراج اسناد معرفی کرد

بنچمارک استخراج اسناد OmniExtractBench را Datalab منتشر کرده است؛ ابزاری باز برای سنجش این‌که سامانه‌های هوش مصنوعی تا چه اندازه می‌توانند اطلاعات یک PDF را بر اساس طرح‌واره‌ای مشخص در قالب JSON استخراج کنند. این بنچمارک ۶۲۰ سند را گرد آورده و برای هر مقدار، نتیجه‌ای توضیح‌پذیر ارائه می‌دهد؛ رویکردی که می‌تواند مقایسه ارزیابی‌هایی را آسان‌تر کند که به‌گفته Datalab، گاهی روش‌های امتیازدهی مبهم یا دشوار برای بررسی دارند.

بنچمارک استخراج اسناد با مجموعه‌ای از چهار منبع

در هر آزمون، سامانه یک PDF و یک طرح‌واره JSON دریافت می‌کند و باید مقادیر موردنظر را در قالب JSON بازگرداند. سپس امتیازدهنده خروجی را با پاسخ مرجع مقایسه می‌کند. طرح‌واره در اینجا ساختاری از پیش تعیین‌شده است که مشخص می‌کند چه نوع اطلاعاتی باید استخراج شود و در کجا قرار بگیرد.

به‌گفته Datalab، داده‌های بنچمارک از چهار مجموعه گردآوری شده‌اند: ۳۲۹ سند از ExtractBench متعلق به LlamaIndex، ۲۰۲ سند مصنوعی ساخته‌شده در Datalab، ۴۷ سند از LongExtractBench و ۴۲ سند از LongArray-Extract. در این مجموعه، فرم‌های پرونده‌های نظارتی بزرگ‌ترین دسته را تشکیل می‌دهند و ۸۸ سند دارند.

طول و قالب اسناد نیز یکسان نیست. ۱۲۸ سند تنها یک صفحه دارند، اما ۳۳ سند بیش از ۱۰۰ صفحه‌اند و در مجموع ۴۰ درصد از کل صفحات را شامل می‌شوند. چنین تنوعی به ارزیابی سامانه‌ها در برابر اسنادی فراتر از چند قالب محدود کمک می‌کند.

امتیازدهی مقداربه‌مقدار و بررسی خطاها

امتیازدهنده، داده‌های پاسخ و مرجع را به نشانی‌هایی تبدیل می‌کند که هرکدام به یک مقدار مشخص در ساختار JSON اشاره دارند. پیش از مقایسه، بعضی قالب‌های متفاوت یک مقدار را یکسان‌سازی می‌کند؛ برای نمونه، دو شکل متفاوت نمایش یک تاریخ می‌توانند برابر در نظر گرفته شوند.

برای هر مقدار، یکی از شش نتیجه ثبت می‌شود: مقدار درست تطبیق‌یافته، مقدار نادرست، مقدار مرجعی که پیدا نشده، مقدار ساختگی در فیلدی مجاز، ردیف اضافه‌ای که با ردیف مرجع جور درنمی‌آید، یا فیلدی که اساساً در طرح‌واره تعریف نشده است. به این ترتیب، فقط یک عدد نهایی گزارش نمی‌شود و نوع خطای سامانه هم قابل بررسی است.

یکی از دشواری‌های استخراج، مقایسه ردیف‌های جدول است. اگر سامانه یک ردیف را جا بیندازد، مقایسه صرفاً بر اساس موقعیت ممکن است همه ردیف‌های بعدی را نادرست تشخیص دهد. OmniExtractBench به‌جای اتکا به جایگاه ردیف، از تطبیق بر مبنای محتوا و الگوریتم مجارستانی استفاده می‌کند. Datalab می‌گوید در آزمایشی با جدولی ۱۰۰ردیفی که ردیف نخست آن حذف شده بود، روش موقعیتی امتیاز صفر گرفت، اما امتیازدهنده این بنچمارک ۹۹ درصد ثبت کرد.

امتیازدهی همچنین مقادیر تهی، مانند رشته خالی یا فاصله، را حذف می‌کند؛ اما عبارت‌هایی مانند «NA» یا خط تیره را پاسخ واقعی به شمار می‌آورد. هدف از این قاعده جلوگیری از افزایش مصنوعی امتیاز با افزودن فیلدهای اختیاریِ خالی به طرح‌واره است.

نتایج ارزیابی و دسترسی به ابزار

Datalab اعلام کرده است که ۱۰ پیکربندی سامانه را با این بنچمارک سنجیده است. حالت accurate این شرکت با امتیاز دقت ۹۳٫۸۵ در صدر قرار گرفت. حالت balanced از Datalab با ۹۳٫۴۸ و deep_extract v2 از Reducto با ۹۳٫۴۷ تقریباً امتیاز یکسانی داشتند.

تفکیک دقت به شاخص‌های precision و recall تصویر دقیق‌تری از خطاها می‌دهد. طبق نتایج منتشرشده، GPT 5.6-sol در precision امتیاز ۹۵٫۱۱ و در recall امتیاز ۸۴٫۹۹ گرفت؛ شکافی که عمدتاً با مقادیر مرجعی توضیح داده می‌شود که سامانه پیدا نکرده است. در مقابل، LlamaExtract recall برابر با ۹۳٫۱۳ و precision برابر با ۸۶٫۵۷ داشت؛ نتیجه‌ای که با ثبت مقادیر ساختگی همراه بود. Datalab همچنین Mistral OCR 4.1 و Azure Content Understanding را در سطح پایین‌تری از این دو شاخص توصیف کرده است.

کد پروژه در GitHub و داده‌ها در Hugging Face منتشر شده‌اند. داده‌ها مجوز CC BY 4.0 دارند و امتیازدهنده با مجوز Apache 2.0 عرضه شده است. بسته با نام omni-extract-bench از PyPI نصب می‌شود و به Python 3.11 یا جدیدتر و SciPy نیاز دارد. اجرای دوباره ارزیابی فروشندگان به کلید API هر ارائه‌دهنده و اعتبار پولی نیاز دارد.

این خبر برای چه کسانی اهمیت دارد

OmniExtractBench برای تیم‌هایی که ابزارهای استخراج اطلاعات از اسناد را انتخاب یا ارزیابی می‌کنند، پژوهشگرانی که نتایج مدل‌ها را می‌سنجند و شرکت‌هایی که با PDFهای طولانی یا جدول‌های پیچیده سروکار دارند، اهمیت دارد. انتشار معیارهای قابل‌بررسی و مجموعه‌ای متنوع از اسناد می‌تواند به مقایسه منصفانه‌تر کمک کند؛ هرچند اجرای مجدد آزمون‌های ارائه‌دهندگان همچنان مستلزم دسترسی و هزینه API است.