معیاری برای آشکارسازی تعارض دانش در مدل‌های زبانی انتشارمحور

پژوهشی منتشرشده در arXiv در ۲۹ سپتامبر ۲۰۲۶ معیاری به نام «امتیاز واریانس مسیر» یا TVS معرفی می‌کند که برای شناسایی تعارض میان اطلاعات بازیابی‌شده و دانش درونی مدل‌های زبانی انتشارمحور طراحی شده است. این روش پاسخ‌های مدل را در چند اجرای مستقل مقایسه می‌کند؛ آزمایش‌های گزارش‌شده نشان می‌دهد که TVS می‌تواند با تعداد محدودی اجرا، نشانه‌ای از کشمکش میان دو منبع اطلاعاتی فراهم کند.

چرا بازیابی اطلاعات می‌تواند تعارض ایجاد کند؟

تولید تقویت‌شده با بازیابی، یا RAG، روشی است که در آن مدل هنگام پاسخ‌گویی از متن‌ها و اطلاعات بازیابی‌شده نیز استفاده می‌کند. اگر این متن با دانشی که مدل در فرایند آموزش خود آموخته ناسازگار باشد، مدل باید میان دو منبع متناقض پاسخ‌گویی کند.

پژوهشگران این مسئله را در مدل‌های زبانی انتشارمحور بررسی کرده‌اند. در این مدل‌ها، پاسخ طی گام‌های پیاپی پالایش و تکمیل می‌شود؛ فرایندی که در مقاله از آن با عنوان «رفع نویز» یاد شده است. طبق توضیح پژوهش، وقتی زمینه بازیابی‌شده با دانش درونی مدل تعارض دارد، این فرایند می‌تواند به میدان رقابت میان دو منبع تبدیل شود.

مقاله این نوسان معنایی در طول فرایند تولید را «واگرایی معنایی زمانی» می‌نامد و آن را نشانه‌ای قابل مشاهده برای تشخیص تعارض می‌داند. به بیان ساده، اگر مدل در اجراهای مستقل پاسخ‌های متفاوتی بسازد، این تفاوت ممکن است نشان دهد که اطلاعات متناقض بر مسیر تولید اثر گذاشته‌اند.

TVS چگونه کار می‌کند؟

TVS با محاسبه میانگین فاصله کسینوسی جفتی میان بازنمایی‌های پاسخ در مسیرهای مستقل تولید به دست می‌آید. بازنمایی پاسخ، شکل عددی‌ای است که برای مقایسه معنایی متن به کار می‌رود؛ فاصله کسینوسی نیز معیاری برای سنجش میزان تفاوت میان دو بازنمایی است. در نتیجه، TVS به‌جای بررسی صرفِ پاسخ نهایی، تغییر پاسخ‌ها میان چند اجرای مدل را خلاصه می‌کند.

بر اساس چکیده مقاله، محاسبه این امتیاز به تعداد زیادی اجرای موازی نیاز ندارد و می‌توان آن را با دو مسیر استنتاج آغاز کرد. پژوهشگران TVS را معیاری ساده و تفسیرپذیر توصیف می‌کنند؛ یعنی می‌توان دید که امتیاز از تفاوت میان پاسخ‌های تولیدشده حاصل شده است، نه از یک فرایند پیچیده و پنهان.

نتایج ارزیابی روی LLaDA و Dream 7B

ارزیابی‌ها چهار مجموعه‌داده Synthetic، SciQ، PopQA و CounterFact را دربر می‌گیرد. در آزمایش‌های انجام‌شده روی LLaDA، یک طبقه‌بند ساده رگرسیون لجستیک که از TVS استفاده می‌کند، به دقت ۷۰٫۱۰ درصد و امتیاز AUROC برابر با ۰٫۷۶۴۷ رسیده است. AUROC معیاری برای سنجش توان یک سامانه در جداکردن نمونه‌های متعلق به دو گروه است؛ در این پژوهش، کاربرد آن در تشخیص موارد دارای تعارض مطرح شده است.

روی Dream 7B، افزایش تعداد مسیرهای تولید از دو به پنج، دقت را از ۶۳٫۹۱ درصد به ۶۹٫۶۲ درصد رسانده است. این نتیجه نشان می‌دهد که بررسی مسیرهای بیشتر در این ارزیابی با بهبود دقت همراه بوده است، هرچند چکیده مقاله درباره هزینه اجرایی این افزایش جزئیاتی ارائه نمی‌کند.

مقاله همچنین گزارش می‌کند که مدل‌های ترتیبی پیچیده‌تر، در مقایسه با طبقه‌بند خطی، فقط بهبود محدودی ایجاد کرده‌اند. پژوهشگران نتیجه ارزیابی روی LLaDA و Dream 7B را نشانه‌ای می‌دانند که پویایی مسیرهای تولید در شرایط تعارض و ویژگی‌های اصلی آن میان دو معماری انتشار متفاوت نیز قابل انتقال است.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای گروه‌هایی اهمیت دارد که روی ارزیابی مدل‌های زبانی، سامانه‌های RAG و مدل‌های انتشارمحور کار می‌کنند. TVS راهی برای سنجش ناپایداری پاسخ در برابر اطلاعات ناسازگار پیشنهاد می‌دهد و ممکن است در بررسی رفتار مدل‌ها هنگام مواجهه با منابع متناقض به کار بیاید. بااین‌حال، نتایج گزارش‌شده به ارزیابی‌های همین مقاله و مدل‌ها و مجموعه‌داده‌های ذکرشده محدود است؛ چکیده موجود درباره کاربرد عملی گسترده‌تر یا عملکرد این معیار در سامانه‌های دیگر نتیجه‌ای ارائه نمی‌کند.