NOVA برای کاهش اعتمادبه‌نفس کاذب مدل‌های زبانی در RAG

پژوهشی تازه در arXiv با معرفی چارچوب NOVA می‌کوشد یکی از چالش‌های پاسخ‌گویی مدل‌های زبانی بزرگ در سامانه‌های بازیابی‌افزوده (RAG) را کاهش دهد: اعتمادبه‌نفس بیش‌ازحد هنگام روبه‌روشدن با اطلاعات بازیابی‌شده نامرتبط یا متناقض. نویسندگان می‌گویند آموزش مدل برای تشخیص نویز در شواهد می‌تواند به کالیبره‌شدن بهتر میزان اطمینانی که در پاسخ‌هایش بیان می‌کند کمک کند؛ مسئله‌ای که در کاربردهای حساس و واقعیت‌محور اهمیت دارد.

چرا اعتماد مدل در RAG اهمیت دارد؟

در RAG، مدل زبانی پیش از پاسخ‌گویی اطلاعاتی را از منابع بیرونی بازیابی می‌کند و آن را در اختیار می‌گیرد. این روش می‌تواند پاسخ را به شواهد مرتبط متکی کند، اما کیفیت اطلاعات بازیابی‌شده همیشه یکسان نیست. اگر اسناد نامربوط یا متناقض وارد زمینه پاسخ شوند، مدل ممکن است همچنان پاسخی قاطع ارائه کند؛ حتی وقتی شواهد کافی یا سازگار در اختیار ندارد.

پژوهشگران در این مطالعه عملکرد کالیبراسیون مدل‌های زبانی را در چهار معیار ارزیابی کرده‌اند. کالیبراسیون یعنی میزان اطمینانی که مدل به پاسخ خود نسبت می‌دهد با احتمال درست‌بودن آن پاسخ تناسب داشته باشد. طبق چکیده مقاله، مدل‌ها در محیط RAG کالیبراسیون ضعیفی نشان می‌دهند و زمینه‌های نویزی این مشکل را تشدید می‌کنند.

NOVA چه رویکردی دارد؟

برای مقابله با این مسئله، پژوهشگران مجموعه‌ای از قواعد با عنوان NOVA Rules پیشنهاد کرده‌اند. این قواعد برای فراهم‌کردن مبنایی منظم جهت مدیریت اعتمادبه‌نفس بیش‌ازحد در حضور نویز طراحی شده‌اند. مقاله می‌گوید این قواعد به چارچوب NOVA کمک می‌کنند تا هنگام پاسخ‌گویی، اثر شواهد نامطمئن یا ناسازگار را در نظر بگیرد.

داده آموزشی این چارچوب از حدود ۲ هزار نمونه HotpotQA ساخته شده است؛ مجموعه‌ای که مقاله از آن برای آموزش مدل با راهنمایی قواعد NOVA استفاده می‌کند. سپس NOVA با روش تنظیم دقیق نظارت‌شده (SFT) آموزش می‌بیند. در این روش، مدل با نمونه‌های دارای پاسخ یا راهنمایی آموزشی تنظیم می‌شود.

یکی از نکات مطرح‌شده در چکیده این است که روش پیشنهادی برای تولید این نظارت به مدل معلم قوی‌تری متکی نیست. هدف، افزودن نوعی آگاهی درونی از نویز به مدل است تا بتواند در مواجهه با زمینه‌های مشکل‌دار، اعتماد خود را بهتر تنظیم کند.

نتایج گزارش‌شده و محدودیت اطلاعات

طبق نتایج اعلام‌شده در چکیده، NOVA امتیازهای ECE را ۱۰٫۹ درصد در ارزیابی درون‌دامنه و ۸ درصد در ارزیابی برون‌دامنه بهبود داده است. ECE یا «خطای کالیبراسیون مورد انتظار» معیاری برای سنجش فاصله میان میزان اطمینان پیش‌بینی‌های مدل و درستی واقعی آن‌هاست؛ امتیاز کمتر معمولاً به معنای تطابق بهتر این دو است.

این ارقام بهبود گزارش‌شده در چکیده مقاله‌اند و متن در دسترس جزئیات بیشتری درباره نام چهار معیار، مدل‌های ارزیابی‌شده یا نحوه محاسبه این درصدها ارائه نمی‌کند. بنابراین نمی‌توان از اطلاعات موجود درباره عملکرد NOVA در کاربردهای مشخص یا مقایسه آن با روش‌های دیگر نتیجه‌گیری جزئی‌تری کرد.

در مجموع، موضوع اصلی پژوهش پیوند میان نویز در اطلاعات بازیابی‌شده و نحوه بیان اطمینان مدل است. نتیجه مورد انتظار، صرفاً تولید پاسخ‌های روان‌تر نیست؛ بلکه کمک به این است که مدل در شرایطی که شواهد پشتیبان مناسبی ندارد، میزان اطمینان خود را واقع‌بینانه‌تر نشان دهد.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای تیم‌هایی که سامانه‌های RAG را در کاربردهای واقعیت‌محور توسعه می‌دهند، از جمله طراحان مدل، پژوهشگران ارزیابی و مسئولان پیاده‌سازی، اهمیت دارد. اگر اطلاعات بازیابی‌شده می‌تواند ناقص، نامرتبط یا متناقض باشد، سنجش و تنظیم اعتماد مدل بخشی از ارزیابی سامانه است. NOVA یک رویکرد پیشنهادی برای پرداختن به این چالش ارائه می‌کند؛ هرچند چکیده موجود برای ارزیابی دامنه کاربرد و محدودیت‌های عملی آن جزئیات کافی ندارد.