استدلال در دو مدل زبانی اثر اطلاعات مسموم در RAG را کاهش داد

پژوهشی درباره مسموم‌سازی در RAG نشان می‌دهد فعال‌کردن قابلیت استدلال در دو مدل زبانی می‌تواند اثر اطلاعات نادرستِ قرارگرفته در اسناد بازیابی‌شده را بر پاسخ نهایی کاهش دهد؛ اما این کاهش هم‌زمان با افت توانایی مدل‌ها در تشخیص اطلاعات مسموم و افزایش موفقیت حمله همراه بوده است. این یافته، که در مقاله‌ای منتشرشده در arXiv در ۲ اکتبر ۲۰۲۶ گزارش شده، نشان می‌دهد تشخیص یک محتوای مشکوک لزوماً به معنای جلوگیری از اثرگذاری آن نیست.

مسموم‌سازی در RAG چگونه بررسی شد؟

تولید افزوده‌شده با بازیابی، یا RAG، روشی است که در آن مدل زبانی هنگام پاسخ‌گویی به پرسش، از اسناد بازیابی‌شده نیز استفاده می‌کند. اگر این اسناد حاوی اطلاعات نادرست باشند، ممکن است پاسخ مدل را به سمت محتوای غلط سوق دهند؛ مسئله‌ای که در این پژوهش «مسموم‌سازی دانش» نامیده شده است.

پژوهشگران عملکرد دو مدل، DeepSeek-V4-Flash و Qwen3.6-Plus، را در حالت‌های استدلال فعال و غیرفعال مقایسه کردند. ارزیابی بر پایه ۲۰۰ پرسش از مجموعه SciFact انجام شد. طبق توضیح مقاله، پژوهش‌های پیشین نشان داده بودند که مدل‌ها گاهی شواهد متناقض را تشخیص می‌دهند، اما همچنان اجازه می‌دهند آن شواهد بر پاسخشان اثر بگذارد.

دو شاخص برای سنجش اثر اطلاعات مسموم

نویسندگان برای تفکیک تشخیص مسمومیت از اثر آن بر پاسخ نهایی، از دو معیار استفاده کردند. «نرخ Cordon» احتمال آن را می‌سنجد که مدل، با وجود تشخیص محتوای مسموم، پاسخی همسو با آن تولید کند؛ این سنجش به پاسخ مدل در حالت بدون RAG نیز وابسته است و فقط مواردی را در نظر می‌گیرد که آن پاسخ اولیه با محتوای مسموم همسو نبوده است.

معیار دوم، «نرخ Leakage»، احتمال اثرگذاری متن مسموم بر پاسخ را می‌سنجد، حتی وقتی به مدل صریحاً گفته شده اسناد بازیابی‌شده را نادیده بگیرد. این دو معیار به جنبه‌هایی متفاوت از مسئله می‌پردازند: یکی به رفتار مدل پس از تشخیص محتوای مسموم و دیگری به نشت اثر آن محتوا با وجود دستور بی‌اعتنایی.

نتایج مدل‌ها چه می‌گویند؟

در DeepSeek-V4-Flash، فعال‌کردن استدلال نرخ Cordon را از ۰٫۲۰۵ به ۰٫۰۷۵ و نرخ Leakage را از ۰٫۲۳۵ به ۰٫۱۴۰ کاهش داد. در همان مقایسه، نرخ موفقیت حمله از ۰٫۲۳۳ به ۰٫۲۹۸ افزایش یافت و نرخ تشخیص مسمومیت از ۰٫۹۶۵ به ۰٫۶۶۵ پایین آمد.

بنابراین نتیجه در همه معیارها یک‌دست نبود: پاسخ‌ها در برخی سنجه‌ها کمتر تحت تأثیر محتوای مسموم قرار گرفتند، اما مدل کمتر آن محتوا را تشخیص داد و حمله نیز در سنجه موفقیت کلی، نتیجه بهتری گرفت. مقاله می‌گوید Qwen3.6-Plus نیز الگوی کیفی مشابهی نشان داد، اما خلاصه منتشرشده ارقام جداگانه این مدل را ارائه نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

این نتایج برای پژوهشگران مدل‌های زبانی و تیم‌هایی که سامانه‌های RAG را ارزیابی یا پیاده‌سازی می‌کنند اهمیت دارد. پیام اصلی مقاله آن است که نرخ تشخیص محتوای مسموم به‌تنهایی برای سنجش میزان اثرگذاری آن کافی نیست؛ ارزیابی باید بررسی کند آیا محتوای شناسایی‌شده همچنان پاسخ نهایی را تغییر می‌دهد یا خیر. بااین‌حال، یافته‌ها به دو مدل و مجموعه‌ای شامل ۲۰۰ پرسش محدود است و نباید بدون شواهد بیشتر به همه مدل‌ها یا کاربردهای RAG تعمیم داده شود.