پژوهش: انتقال قطعه‌های استدلال میان مسیرها سودی نشان نداد

پیوند قطعه‌ای استدلال، روشی برای انتقال بخش‌هایی از یک مسیر فکری به مسیر دیگر در مدل‌های زبانی، در آزمون تازه‌ای به بهبود عملکرد منجر نشد. پژوهشی که در ۲ اکتبر ۲۰۲۶ در arXiv منتشر شده، می‌گوید این روش در تنظیمات بررسی‌شده با اجرای مستقل چند مسیر استدلال تفاوت معناداری نداشت؛ یافته‌ای که اهمیت زمان و محل اجرای مداخله را برجسته می‌کند.

سازوکار پیوند قطعه‌ای استدلال چگونه کار می‌کند؟

در این روش، مدل چند زنجیره یا مسیر استدلال را به‌طور موازی تولید می‌کند. اگر یک مدل پاداش فرایندی (PRM) یکی از مسیرها را حذف کند، بخش ابتدایی آن که امتیاز بالایی گرفته است جدا می‌شود و به‌عنوان نمونه‌ای در متن ورودیِ یک مسیر دیگر قرار می‌گیرد. هدف این است که مسیر در حال تولید از گام‌های موفق مسیر حذف‌شده بهره ببرد.

نویسندگان این سازوکار را با نام PPFG بررسی کرده‌اند. آن‌ها دو نوع هدف‌گیری را آزمودند: یکی تزریق به مسیری که بر اساس یک قاعده متوقف یا دچار رکود تشخیص داده شده بود، و دیگری انتخاب تصادفی مسیر دریافت‌کننده.

آزمون اصلی روی MATH500

آزمون اصلی با مدل Qwen2.5-7B-Instruct، مدل پاداش Math-Shepherd و مجموعه کامل MATH500 انجام شد که ۵۰۰ مسئله دارد. پژوهشگران آزمایش را با سه بذر تصادفی تکرار کردند. بر اساس گزارش آن‌ها، هر دو شیوه PPFG در معیارهای اندازه‌گیری‌شده از خط مبنایی که در آن مسیرها مستقل از یکدیگر اجرا می‌شوند، تفاوت معناداری نداشتند.

این نتیجه به‌تنهایی نشان نمی‌دهد که انتقال قطعه‌های استدلال در همه شرایط بی‌اثر است. مقاله یافته را به نقطه عملیاتی آزموده‌شده محدود می‌کند؛ یعنی شرایطی که در آن پژوهش‌های قبلی برای مشاهده بهبود، به اجزای جبرانی دیگری نیز متکی بوده‌اند.

چرا تزریق‌ها به مسیرهای مناسبی نرسیدند؟

برای بررسی علت، نویسندگان ۳۲۲ رویداد تزریق ناشی از قاعده رکود را در چهار دسته طبقه‌بندی کردند. تنها ۱۴ درصد از تزریق‌ها به مسیری رسید که واقعاً با دشواری روبه‌رو بود. باقی موارد به مسیرهایی تعلق داشتند که مسئله را حل کرده بودند، به پایان نزدیک بودند یا امتیاز PRM آن‌ها در یک سطح ثابت مانده بود؛ وضعیت‌هایی که به‌گفته پژوهشگران، افزودن یک قطعه استدلال بعید است تغییرشان دهد.

تلاش برای اصلاح قاعده هدف‌گیری نیز به ترکیبی نرسید که هم تزریق‌ها را به‌اندازه کافی دقیق انتخاب کند و هم تعداد رویدادهای آن برای اثرگذاری کافی باشد. افزون بر این، یک کنترل تصادفی با نرخ اجرای ۲٫۴ برابر، همان برابری عملکرد با خط مبنا را نشان داد؛ بنابراین نویسندگان بی‌اثری مشاهده‌شده را مختص یک قاعده ابتکاری خاص نمی‌دانند.

تکرار نتیجه و محدودیت آن

پژوهشگران نتیجه را با سه مدل پایه، شش معیار ارزیابی، یک مدل پاداش دوم و مجموعه‌ای از تنظیمات مختلف برای شرط سازگاری بررسی کردند. آن‌ها همچنین با آزمون‌های آماری هم‌ارزی، برابری عملکرد را در هر ۱۲ ترکیب ارزیابی‌شده از Qwen و LLaMA تأیید کردند.

بررسی رویدادها نشان داد مسیرهایی که قطعه‌ای به آن‌ها تزریق شده بود، ۲٫۷۵ برابر بیشتر از مسیرهای همتا در همان گام حذف شدند. بااین‌حال، تحلیل خلاف‌واقعِ مسیرهای موازیِ باقی‌مانده، جبرانی در سطح کل مجموعه پیدا نکرد. محاسبه‌ای با فرض انتخاب ایدئال نیز حداکثر بهبود ممکن برای هر مسئله را فقط ۰٫۱۳ واحد درصد برآورد کرد.

نویسندگان در کنار نتایج، الگویی برای آزمون هم‌ارزی پیشنهاد می‌کنند؛ رویکردی که به‌جای تکیه بر نبودِ تفاوت آماری، به‌طور مستقیم بررسی می‌کند آیا دو روش در محدوده‌ای تعریف‌شده هم‌ارز هستند یا نه. تأکید مقاله این است که نتیجه‌ها فقط برای شرایطی معتبرند که واقعاً آزموده شده‌اند.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگران مدل‌های استدلال‌گر و طراحان روش‌های استنتاج در زمان اجرا اهمیت دارد؛ به‌ویژه کسانی که می‌خواهند با استفاده دوباره از بخش‌های موفق یک مسیر، کیفیت مسیرهای دیگر را بالا ببرند. نتیجه نشان می‌دهد ارزیابی چنین روش‌هایی باید علاوه بر امتیاز نهایی، بررسی کند مداخله دقیقاً به کدام مسیر و در چه مرحله‌ای می‌رسد.