ممیزی داده‌های مصنوعی RLVR نشانه‌ای از سوگیری آموزشی نیافت

پژوهشی درباره داده مصنوعی RLVR نشان می‌دهد که مدل‌ها می‌توانند تفاوت‌های سطحی میان پاسخ‌های درست و گزینه‌های نادرست را تا حدی تشخیص دهند، اما این نشانه در آزمایش آموزشی به استفاده مؤثر مدل منجر نشد. مقاله‌ای که در ۲ اکتبر ۲۰۲۶ در arXiv منتشر شده، این احتمال را در مجموعه‌داده GooseReason-0.7M بررسی می‌کند؛ مسئله‌ای مهم برای کسانی که داده‌های آموزش مدل‌های زبانی را گردآوری می‌کنند.

در داده‌های RLVR چه چیزی ممکن است اشتباه پیش برود؟

در برخی روش‌های ساخت داده برای RLVR، بخشی از متن واقعی را می‌پوشانند و از یک مدل زبانی می‌خواهند پاسخ‌های نادرست اما باورپذیر بسازد. در نتیجه، گزینه درست از نثر انسانی و گزینه‌های انحرافی از متن تولیدشده با مدل می‌آیند.

این تفاوت در منشأ، با درست یا نادرست بودن پاسخ گره می‌خورد. بنابراین این نگرانی مطرح است که سیاستِ آموزش‌دیده، به‌جای یادگیری محتوای پاسخ، نشانه‌های ظاهری مربوط به منشأ متن را دنبال کند. RLVR به آموزش تقویتی با پاداش‌های قابل‌راستی‌آزمایی اشاره دارد؛ یعنی پاسخ مدل با معیاری مشخص بررسی می‌شود و بر پایه آن بازخورد می‌گیرد.

نشانه کلی ضعیف بود، اما نتیجه کد متفاوت شد

پژوهشگران ابتدا آزمودند که آیا تفاوت گزینه‌های واقعی و مصنوعی از روی ظاهر قابل‌شناسایی است یا نه. یک طبقه‌بندی‌گر که فقط پنج ویژگی سطحی را می‌دید و به معنای گزینه‌ها دسترسی نداشت، روی ۳۱۵٬۴۹۹ گزینه به AUROC برابر با ۰٫۵۶۲ رسید. AUROC معیاری برای سنجش توانایی تفکیک دو گروه است؛ عدد ۰٫۵ نشان‌دهنده عملکردی در حد شانس است.

اما میانگین کلی، تفاوت حوزه‌ها را پنهان می‌کرد. در گزینه‌های کدنویسی، امتیاز AUROC به ۰٫۴۱۶ رسید؛ یعنی پایین‌تر از شانس. بررسی دستی پژوهشگران نشان داد که گزینه‌های نادرست کد، برخلاف موارد دیگر، اغلب با تغییر یک عملگر در پاسخ درست ساخته شده بودند. به همین دلیل، دو گروه از نظر ساختار بسیار شبیه بودند.

آزمایش آموزشی نشانه‌ها را به بهره‌برداری نرساند

قابل‌تشخیص بودن یک نشانه به‌تنهایی ثابت نمی‌کند که مدل در عمل از آن استفاده می‌کند. برای بررسی این موضوع، پژوهشگران یک مجموعه کنترل ساختند که گزینه‌های آن از نظر بازنویسی با یکدیگر تطبیق داده شده بودند. سپس دو سیاست را با اندازه داده آموزشی یکسان و تحت بودجه آموزشی ثابت آموزش دادند.

طبق نتایج گزارش‌شده، شکاف بهره‌برداری در داده اصلاح‌نشده ۰٫۰۲۱ و در مجموعه کنترل ۰٫۰۲۷ بود. بنابراین، در چارچوب و بودجه این آزمایش، داده اصلی برتری‌ای از این نظر نداشت. نویسندگان نتیجه می‌گیرند که وجود یک نشانه قابل‌تشخیص لزوماً به معنای استفاده مدل از آن نیست. آن‌ها همچنین پروتکل ممیزی را منتشر کرده‌اند که به گفته‌شان عمدتاً با پردازنده مرکزی قابل اجراست.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگران و تیم‌هایی اهمیت دارد که داده‌های آموزش تقویتی یا گزینه‌های پاسخ مصنوعی می‌سازند. نتایج نه وجود تفاوت‌های ناشی از شیوه تولید داده را رد می‌کند و نه ثابت می‌کند که هر مدل از آن‌ها بهره می‌برد؛ بلکه نشان می‌دهد ممیزی باید هم تشخیص نشانه‌ها و هم آزمودن اثرشان در آموزش را در بر بگیرد. همچنین، تفاوت نتیجه در کدنویسی یادآور می‌شود که شیوه ساخت گزینه‌های نادرست می‌تواند بر میزان آشکاربودن این نشانه‌ها اثر بگذارد.