روش SORT برای آموزش مدل‌های استدلالی در پاسخ‌های ناموفق

پژوهشی که در ۲۸ سپتامبر ۲۰۲۶ در arXiv منتشر شده، روش تازه‌ای به نام SORT را برای آموزش مدل‌های استدلالی در شرایطی معرفی می‌کند که همه پاسخ‌های تولیدشده به یک پرسش دشوار نادرست‌اند. به‌گفته چکیده پژوهش، این روش از پاسخ مرجع برای استخراج یک برنامه استفاده می‌کند و بر پایه آن، از نمونه‌های ناموفق سیگنال آموزشی گزینشی می‌سازد؛ رویکردی که در ارزیابی‌های گزارش‌شده از GRPO و روش‌های راهنمایی‌شده بهتر عمل کرده است.

مسئله‌ای که SORT هدف می‌گیرد

یادگیری تقویتی با پاداش‌های قابل‌راستی‌آزمایی، روشی برای آموزش مدل‌هاست که در آن می‌توان درستی پاسخ را با معیار مشخصی سنجید. بااین‌حال، چکیده پژوهش می‌گوید روش‌های مبتنی بر GRPO در پرامپت‌های دشواری که تمام پاسخ‌های نمونه‌گیری‌شده در آن‌ها شکست می‌خورند، ممکن است متوقف شوند.

در چنین وضعیتی، پاسخ‌های تولیدشده پاداش مطلوبی نمی‌گیرند و اطلاعات مفیدی برای بهبود مدل فراهم نمی‌کنند. SORT برای استفاده از همین موارد طراحی شده است: به‌جای کنارگذاشتن آن‌ها یا آموزش یکنواخت از روی پاسخ‌ها، تلاش می‌کند بخش‌هایی را شناسایی کند که با داشتن راهنمایی ساختاریافته قابل‌پیش‌بینی‌تر می‌شوند.

مقایسه احتمال توکن‌ها با کمک برنامه

طبق توضیح چکیده، SORT برنامه‌ای را از پاسخ مرجع استخراج می‌کند و احتمال توکن‌های پاسخ را در دو حالت می‌سنجد: با راهنمایی آن برنامه و بدون آن. توکن‌هایی که در حضور برنامه احتمال بیشتری پیدا می‌کنند، وزن بالاتری در به‌روزرسانی مدل می‌گیرند.

توکن، واحدی است که مدل زبانی برای پردازش متن به کار می‌برد و می‌تواند یک واژه یا بخشی از آن باشد. بنابراین، روش به‌جای تقلید یکسان از همه اجزای پاسخ، به بخش‌هایی توجه بیشتری می‌کند که برنامه در پیش‌بینی آن‌ها نقش دارد. به گفته پژوهشگران، این کار پاسخ‌های کاملاً نادرست را به سیگنال‌های آموزشی گزینشی و مبتنی بر ساختار تبدیل می‌کند.

چکیده همچنین می‌گوید SORT شیوه تولید پاسخ‌ها را تغییر نمی‌دهد؛ تغییر اصلی در نحوه استفاده از آن‌ها برای به‌روزرسانی مدل است. اطلاعات در دسترس در چکیده، جزئیات بیشتری درباره پیاده‌سازی یا فرایند استخراج برنامه ارائه نمی‌کند.

نتایج گزارش‌شده و دامنه شواهد

بر اساس چکیده، پژوهشگران SORT را روی سه مدل پایه و هشت معیار استدلالی ارزیابی کرده‌اند. این روش در مجموعه ارزیابی گزارش‌شده از GRPO و روش‌های راهنمایی‌شده نتیجه بهتری داشته است و بیشترین بهبود در مدل‌های ضعیف‌تر دیده شده است.

این یافته‌ها نشان می‌دهد SORT می‌تواند در شرایطی که نمونه‌های اولیه همگی شکست می‌خورند، راهی برای استخراج اطلاعات آموزشی فراهم کند. بااین‌حال، چکیده فقط نتیجه کلی را بیان می‌کند و نام مدل‌ها، معیارها، اندازه بهبودها و جزئیات مقایسه را مشخص نمی‌کند. ازاین‌رو، ارزیابی دقیق‌تر دامنه نتایج به اطلاعات کامل مقاله نیاز دارد.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای محققان یادگیری تقویتی و سازندگان مدل‌های استدلالی اهمیت دارد، به‌ویژه کسانی که با پرامپت‌های دشوار و پاسخ‌های ناموفق متعدد روبه‌رو هستند. ایده اصلی SORT این است که شکست کامل در تولید پاسخ لزوماً به معنای بی‌ارزش‌بودن نمونه برای آموزش نیست؛ با راهنمایی برگرفته از پاسخ مرجع می‌توان بخش‌هایی از آن را برای یادگیری انتخاب کرد.