مطالعه‌ای درباره اثر اجزای RAG بر جست‌وجوی اسناد دولتی هند

پژوهشی تازه در arXiv نشان می‌دهد در سامانه‌های تولیدِ تقویت‌شده با بازیابی یا RAG، انتخاب جداگانه پارسر، روش قطعه‌بندی و مدل تعبیه‌سازی ممکن است تصویر دقیقی از عملکرد نهایی ندهد. پژوهشگران این اجزا را در ترکیب با یکدیگر و روی چهار سند مقرراتی متفاوت از دولت مرکزی هند ارزیابی کردند؛ نتیجه آن‌که هیچ خانواده بازیابی در همه اسناد برتری نداشت و تفاوت عملکرد بیشتر به کیفیت رتبه‌بندی اطلاعات مربوط بود تا از دست‌رفتن محتوا هنگام آماده‌سازی اسناد.

ارزیابی ترکیبی به‌جای آزمون جداگانه

سامانه RAG پیش از آن‌که مدل زبانی پاسخی تولید کند، بخش‌هایی از اسناد مرتبط را پیدا می‌کند و در اختیار مدل می‌گذارد. در این زنجیره، پارسر متن و ساختار سند را استخراج می‌کند، قطعه‌بندی آن را به بخش‌های کوچک‌تر تقسیم می‌کند و مدل تعبیه‌سازی، نمایش عددی متن را برای جست‌وجوی معنایی می‌سازد.

به‌گفته پژوهشگران، این اجزا اغلب جداگانه انتخاب می‌شوند، درحالی‌که اثر متقابل آن‌ها کمتر سنجیده شده است. مطالعه جدید سه پارسر، سه روش قطعه‌بندی و پنج مدل تعبیه‌سازی متراکم را بررسی کرد و یک روش جست‌وجوی واژه‌محور، BM25، را نیز به‌عنوان خط پایه در نظر گرفت.

آزمون‌ها بر ۸۰۰ پرسش انجام شد. هر پرسش یک یا چند رشته شواهد داشت؛ یعنی عباراتی که باید در متن منبع پیدا می‌شدند تا بازیابی پاسخ مستند تلقی شود. پژوهشگران این شواهد را به‌صورت خودکار با متن اصلی تطبیق دادند و بخشی تصادفی، معادل ۱۰ درصد نمونه‌ها، نیز به‌طور دستی بازبینی شد.

عملکرد به ترکیب اجزا وابسته بود

یکی از نتایج مطالعه این بود که هیچ خانواده‌ای از بازیاب‌ها در هر چهار سند بهترین نبود. همچنین انتخاب پارسر و روش قطعه‌بندی با یکدیگر تعامل معنادار داشت؛ به این معنا که اثر یک روش قطعه‌بندی می‌توانست بسته به پارسر مورد استفاده تغییر کند. این یافته اهمیت ارزیابی کل زنجیره را برجسته می‌کند: نتیجه آزمون یک مدل تعبیه‌سازی به‌تنهایی لزوماً عملکرد همان مدل را در ترکیب نهایی نشان نمی‌دهد.

در میان مدل‌های بررسی‌شده، MPNet-base به‌طور پیوسته عملکرد ضعیف‌تری داشت و در پرسش‌هایی که پاسخشان به جدول‌های اسناد مربوط بود، با شکست جدی‌تری روبه‌رو شد. چکیده پژوهش جزئیات بیشتری درباره علت این ضعف ارائه نمی‌کند؛ بنابراین نمی‌توان آن را به یک ویژگی خاص مدل یا اسناد نسبت داد.

حفظ اطلاعات مسئله اصلی نبود

پژوهشگران گزارش کردند که حفظ شواهد در مجموعه اسناد به سقفی نزدیک به اشباع رسیده و از ۹۸ درصد فراتر رفته است. به بیان ساده، در بیشتر موارد اطلاعات لازم پس از پردازش و قطعه‌بندی همچنان در مجموعه باقی مانده بود. بر همین اساس، تفاوت میان تنظیمات مختلف بیشتر از آن‌که به حذف اطلاعات هنگام ورود اسناد مربوط باشد، از کیفیت مرتب‌کردن و رتبه‌بندی بخش‌های بازیابی‌شده ناشی می‌شد.

برای تحلیل نتایج، مطالعه از مدل‌های آماری با اثرهای تصادفی در سطح سند و پرسش استفاده کرد و مقایسه‌های جفتی میان تنظیمات متراکم و خط پایه BM25 را با اصلاح آماری انجام داد. همچنین برای ۵۴ ترکیب بازیاب، بازه‌های اطمینان محاسبه شد. پژوهشگران در کنار ارزیابی اصلی، تغییر بُعد تعبیه‌سازی و اندازه و هم‌پوشانی قطعه‌ها را نیز بررسی کردند و کیفیت را در برابر کارایی سنجیدند.

مجموعه ارزیابی برای بازتولید نتایج

این مطالعه بر چهار سند مقرراتی هندی تمرکز دارد، بنابراین نتایج آن به‌تنهایی ثابت نمی‌کند که همان الگوها در زبان‌ها، حوزه‌ها یا انواع اسناد دیگر نیز برقرار است. بااین‌حال، طراحی آن نشان می‌دهد چرا ارزیابی RAG باید ترکیب اجزای سامانه و ساختار واقعی اسناد را در نظر بگیرد؛ به‌ویژه وقتی محتوا شامل قالب‌هایی مانند جدول است.

پژوهشگران اعلام کرده‌اند که چارچوب کامل ارزیابی، فهرست اسناد مجموعه و بنچمارک ۸۰۰ پرسشی را منتشر می‌کنند. این منابع می‌توانند به ارزیابی و مقایسه دوباره تنظیمات کمک کنند، هرچند چکیده درباره مجوز یا جزئیات دسترسی توضیحی نمی‌دهد.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای تیم‌هایی اهمیت دارد که سامانه‌های RAG را روی اسناد حقوقی، مقرراتی یا اداری پیاده‌سازی می‌کنند. پیام اصلی آن این است که انتخاب یک مدل تعبیه‌سازی به‌تنهایی برای پیش‌بینی کیفیت کافی نیست: پارسر، قطعه‌بندی و شیوه رتبه‌بندی باید در کنار هم و روی اسناد و پرسش‌های واقعی آزموده شوند. همچنین اگر شواهد در مرحله ورود اسناد عمدتاً حفظ می‌شوند، بهبود جست‌وجو و رتبه‌بندی می‌تواند اولویت مهم‌تری برای ارتقای پاسخ‌های مستند باشد.