پژوهش: استدلال‌های دست‌کاری‌شده قضاوت مدل‌ها را تغییر می‌دهند

پژوهشی درباره پیام استدلالی مدل‌ها نشان می‌دهد انتقال توضیح یک مدل به مدل راستی‌آزما الزاماً پاسخ‌ها را دقیق‌تر نمی‌کند، اما می‌تواند قضاوت راستی‌آزما درباره پشتیبانی شواهد را به‌طور محسوسی تغییر دهد. مطالعه‌ای که در ۲ اکتبر ۲۰۲۶ در arXiv منتشر شد، با ثابت نگه‌داشتن شواهد و پاسخ پیشنهادی و تغییر دادن تنها استدلال منتقل‌شده، اثر این پیام را بررسی کرد.

آزمایش انتقال استدلال میان دو مدل

در سامانه‌های پرسش‌وپاسخ تخصصی، یک مدل ممکن است پاسخ و استدلالی برای آن تولید کند و مدل دیگری بررسی کند که آیا شواهد از پاسخ پشتیبانی می‌کنند یا نه. پژوهشگران می‌گویند روشن نیست استدلال منتقل‌شده واقعاً چه کمکی می‌کند و آیا در کنار مزایای احتمالی، راهی تازه برای خطا ایجاد می‌کند.

برای سنجش این موضوع، پژوهشگران روشی تشخیصی به کار گرفتند که در آن شواهد و پاسخ پیشنهادی ثابت می‌ماند، اما استدلالی که میان دو مرحله جابه‌جا می‌شود تغییر می‌کند. آزمایش روی ۴۰۰ نمونه از مجموعه‌داده‌های MuSiQue، HotpotQA و 2WikiMultiHopQA انجام شد. در این مطالعه، DeepSeek هم برای تولید و هم برای راستی‌آزمایی به کار رفت.

پیام استدلالی مدل‌ها و ارزیابی شواهد

طبق چکیده پژوهش، استدلال‌های معتبر در مقایسه با حالتی که اصلاً استدلالی منتقل نمی‌شود، تقریباً افزایش محسوسی در دقت پاسخ ایجاد نکردند. در مقابل، استدلال‌های مخدوش می‌توانستند نظر مدل را درباره این‌که شواهد از پاسخ پشتیبانی می‌کنند یا نه، تغییر دهند.

در دستور ساده و بدون بررسی ویژه استدلال، بازگویی‌های بی‌ضرر تنها حدود صفر تا ۲٫۵ درصد قضاوت‌ها درباره پشتیبانی شواهد را جابه‌جا کردند؛ اما استدلال‌های مخدوش این قضاوت‌ها را ۱۰ تا ۲۲ درصد تغییر دادند. وقتی از مدل خواسته شد استدلال را صریح‌تر بررسی کند، اثر استدلال‌های مخدوش به ۳۴ تا ۵۵ درصد رسید.

تغییر پاسخ نهایی کمتر از تغییر قضاوت درباره شواهد بود و در بازه ۲ تا ۳۰ درصد قرار گرفت. همچنین، تنها ۲٫۹ تا ۳۵٫۳ درصد از مواردی که قضاوت درباره پشتیبانی شواهد بر اثر استدلال مخدوش تغییر کرد، هم‌زمان با تغییر پاسخ نهایی بود. بنابراین، تغییر در ارزیابی مدل لزوماً به عوض‌شدن پاسخ ختم نمی‌شود.

ممیزی انسانی و خطر اعتماد بیش از حد

ممیزی انسانی در مطالعه، نمونه‌هایی از پذیرش بیش از حد استدلال مخدوش را آشکار کرد. از میان ۴۲ مورد دست‌کاری معتبر که بررسی شدند، ۱۶ مورد در دسته‌ای قرار گرفتند که مدل به استدلال مخدوش بیش از حد اعتماد کرده بود. در بررسی دیگری، افراد در ۹ مورد از ۱۰ استدلال مخدوشی که مدل پذیرفته بود، آن استدلال را رد کردند یا نامشخص دانستند.

پژوهش همچنین به بررسی‌های میان‌مدلی و مرزهای وظیفه اشاره می‌کند و می‌گوید کانال انتقال استدلال می‌تواند در شرایط مختلف فعال، تقویت‌شده، بی‌اثر یا با برچسب وظیفه درهم‌آمیخته باشد. خلاصه منتشرشده جزئیات بیشتری درباره این بررسی‌ها ارائه نمی‌کند.

برداشت اصلی پژوهش این است که استدلال منتقل‌شده باید به‌عنوان یک سازوکار پیام‌رسانی برای راستی‌آزمایی ارزیابی شود، نه صرفاً راهی برای افزایش دقت پاسخ. این تمایز مهم است: ممکن است سامانه پاسخی را تغییر ندهد، اما همچنان درباره میزان پشتوانه شواهد قضاوت نادرستی داشته باشد.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگران ارزیابی مدل‌ها و تیم‌هایی اهمیت دارد که سامانه‌های چندمرحله‌ای می‌سازند؛ سامانه‌هایی که در آن یک مدل استدلال تولید می‌کند و مدل دیگری آن را بررسی می‌کند. نتایج نشان می‌دهد سنجش دقت پاسخ به‌تنهایی برای ارزیابی چنین زنجیره‌هایی کافی نیست: باید بررسی کرد آیا مدل راستی‌آزما استدلال را درست می‌سنجد یا به پیام مخدوش اعتماد می‌کند.