Q2D-Web؛ بنچمارکی بزرگ برای ارزیابی بازیابی در RAG عامل‌محور

پژوهشگران در مقاله‌ای منتشرشده در arXiv در ۲۹ سپتامبر ۲۰۲۶، بنچمارک Q2D-Web را برای ارزیابی بازیاب‌های مرحله نخست در سامانه‌های RAG عامل‌محور معرفی کرده‌اند. این مجموعه شامل ۱۹۰ میلیون سند وب و ۷۰ هزار پرس‌وجوی بازنویسی‌شده در ۱۰ زبان است؛ ابعادی که به گفته مقاله، به ارزیابی بازیاب‌ها در شرایط نزدیک‌تر به کاربرد عملی کمک می‌کند.

چرا بنچمارک تازه‌ای لازم بود؟

در سامانه‌های تولید افزوده با بازیابی یا RAG، بازیاب مرحله نخست اسناد مرتبط را از میان مجموعه‌ای از منابع پیدا می‌کند تا در اختیار بخش‌های بعدی سامانه قرار گیرند. در نمونه‌های عامل‌محور، یک عامل هوش مصنوعی ممکن است درخواست اولیه کاربر را به پرس‌وجوهای جست‌وجوی تازه تبدیل کند. این پرس‌وجوهای ماشینی با جست‌وجوهایی که خود کاربران می‌نویسند یکسان نیستند.

طبق توضیح مقاله، بنچمارک‌های پیشین معمولاً یکی از دو محدودیت را داشتند: مجموعه‌های بزرگ اسناد، شمار کمی پرس‌وجوی ارزیابی ارائه می‌کردند؛ و مجموعه‌های دارای پرس‌وجوهای فراوان، اغلب تنها چند میلیون سند داشتند. همچنین بیشتر آن‌ها جست‌وجوهای نوشته‌شده به‌دست انسان را می‌سنجیدند، نه بازنویسی‌هایی را که عامل‌ها در سامانه‌های عملیاتی تولید می‌کنند.

پیکره و شیوه داوری Q2D-Web

Q2D-Web از پرس‌وجوهای واقعی کاربران در سامانه‌های عملیاتی آغاز می‌کند و آن‌ها را برای جست‌وجوی عامل‌محور بازنویسی می‌کند. مجموعه نهایی ۷۰ هزار پرس‌وجو در ۱۰ زبان را در کنار پیکره‌ای ۱۹۰ میلیون‌سندی از وب قرار می‌دهد.

برای تعیین ارتباط اسناد با پرس‌وجوها، پژوهشگران سه مجموعه داوری ثابت فراهم کرده‌اند: استنادهای عامل‌ها، رتبه‌بندی‌های ثبت‌شده در سامانه‌های عملیاتی، و مجموعه‌ای ترکیبی که دو نوع نشانه را با هم ادغام می‌کند. در مجموعه ترکیبی، مدل زبانی بزرگ نیز اسنادِ بدون برچسب را داوری می‌کند تا احتمال کنار گذاشتن اسناد مرتبط کاهش یابد؛ چنین خطایی در ارزیابی با عنوان منفی کاذب شناخته می‌شود.

نتایج مقایسه بازیاب‌ها

مقاله ۱۳ بازیاب را در سه گروه بررسی می‌کند: بازیاب‌های واژگانی که بر تطبیق واژه‌ها تکیه دارند، مدل‌های متراکم که متن را به نمایش‌های عددی تبدیل می‌کنند و مدل‌های تعامل دیرهنگام که ارتباط میان اجزای پرس‌وجو و سند را در مرحله‌ای جداگانه می‌سنجند.

بر اساس نتایج گزارش‌شده، ترتیب نسبی بازیاب‌ها با تغییر مجموعه داوری تا حد زیادی ثابت می‌ماند. با این حال، عملکرد آن‌ها در حوزه‌های موضوعی، زبان‌های پرس‌وجو و انواع پرس‌وجو تفاوت چشمگیری دارد. این یافته نشان می‌دهد که یک رتبه‌بندی کلی لزوماً تفاوت عملکرد سامانه‌ها در کاربردها و زبان‌های گوناگون را نشان نمی‌دهد.

پژوهشگران همچنین بررسی کرده‌اند که آیا می‌توان ارزیابی روی کل پیکره را با نمونه‌ای کوچک‌تر تقریب زد. طبق مقاله، انتخاب یک‌سوم اسناد با استفاده از ادغام رتبه‌های معکوسِ خروجی بازیاب‌های مختلف، رتبه‌بندی مدل‌ها را با داوری ترکیبی حفظ می‌کند. در این ارزیابی، Recall@1000 مطلق نیز ۴ تا ۷ واحد افزایش می‌یابد. این معیار نشان می‌دهد از میان اسناد مرتبط، چه تعداد در هزار نتیجه نخست بازیاب ظاهر شده‌اند.

این خبر برای چه کسانی اهمیت دارد

Q2D-Web برای پژوهشگران بازیابی اطلاعات و تیم‌هایی که سامانه‌های RAG عامل‌محور می‌سازند اهمیت دارد؛ زیرا ارزیابی را به پرس‌وجوهای بازنویسی‌شده ماشینی و پیکره‌ای در مقیاس وب نزدیک می‌کند. نتایج مقاله همچنین به تیم‌های فنی یادآوری می‌کند که سنجش یک بازیاب در یک زبان یا موضوع، برای پیش‌بینی عملکرد آن در همه شرایط کافی نیست.