پاداش مرحله‌ای برای تقویت استدلال مدل‌های زبانی

پژوهش تازه‌ای در arXiv روشی به نام «افزایش اطلاعات حاشیه‌ای مرحله‌ای» (Stepwise Marginal Information Gain یا MIG) معرفی می‌کند که هدفش بهبود توان استدلال مدل‌های زبانی بزرگ و مدل‌های بینایی‌ـ‌زبان است. این روش به‌جای آن‌که فقط درستی پاسخ نهایی را پاداش دهد، تغییر احتمال پاسخ مرجع را در طول گام‌های استدلال دنبال می‌کند؛ رویکردی که به گفته نویسندگان می‌تواند بدون نیاز به برچسب‌گذاری جداگانه مراحل حل، بازخورد دقیق‌تری فراهم کند.

مشکل پاداشی که فقط پاسخ نهایی را می‌سنجد

یادگیری تقویتی، روشی برای آموزش مدل از طریق پاداش یا جریمه، به یکی از شیوه‌های رایج برای تقویت توان استدلال مدل‌های زبانی و بینایی‌ـ‌زبان تبدیل شده است. با این حال، در روش‌های مبتنی بر پاداش دودویی، مدل معمولاً فقط بر اساس درست یا نادرست بودن پاسخ نهایی امتیاز می‌گیرد.

چنین پاداشی مشخص نمی‌کند کدام بخش از مسیر استدلال به پاسخ درست کمک کرده است. در وظایف چندوجهی، یعنی کارهایی که هم‌زمان با متن و تصویر سروکار دارند، مشکل دیگری هم وجود دارد: ممکن است مدل پاسخی بدهد که از الگوهای زبانی آموخته‌شده ناشی شده باشد، نه از شواهد تصویر. در این حالت، پاداش نهایی لزوماً نشان نمی‌دهد که مدل واقعاً تصویر را به کار گرفته است.

مدل‌های پاداش فرایندی (PRM) تلاش می‌کنند این فاصله را با ارزیابی مراحل میانی پر کنند. اما، طبق توضیح مقاله، ساخت چنین سامانه‌هایی معمولاً به نمونه‌های دارای برچسب فرایندی، مدل‌های کمکی یا جست‌وجو هنگام تولید پاسخ نیاز دارد.

MIG چگونه به گام‌های استدلال امتیاز می‌دهد؟

MIG از خود سیاست مدل، یعنی سازوکاری که پاسخ را تولید می‌کند، برای ساخت پاداش استفاده می‌کند. این روش بررسی می‌کند افزودن هر پیشوند ساختاریافته از استدلال چه تغییری در احتمال پاسخ مرجع ایجاد می‌کند. احتمال با استفاده از درست‌نمایی لگاریتمی محاسبه و بر طول پاسخ نرمال‌سازی می‌شود؛ به زبان ساده، مدل می‌سنجد با توجه به گام‌های طی‌شده، تا چه اندازه احتمال می‌دهد پاسخ مورد انتظار ادامه متن باشد.

این امتیازدهی می‌تواند اطلاعاتی درباره اثر گام‌های میانی فراهم کند، به‌جای آن‌که تمام اعتبار یا خطا فقط به پاسخ نهایی نسبت داده شود. پژوهشگران همچنین یک نشانگر تاریخیِ یکنواخت به روش افزوده‌اند: پاداش زمانی داده می‌شود که درست‌نمایی پاسخ به بالاترین مقدار ثبت‌شده تا آن لحظه برسد. هدف این سازوکار آن است که اگر مدل از یک مقدار بهتر پایین بیاید و دوباره به همان سطح قبلی برسد، برای رسیدن دوباره به آن رکورد اعتبار تکراری نگیرد.

در روش کامل، پاداش MIG با پاداش نتیجه و قالب پاسخ ترکیب می‌شود. مقاله همچنین از خودتقطیرسازیِ دروازه‌دار استفاده می‌کند؛ روشی که در آن، مسیرهای تولیدشده تنها در صورتی برای آموزش نگه داشته می‌شوند که از نظر ساختار معتبر و از نظر پاسخ درست باشند.

در مدل‌های تصویری، شواهد تصویر هم سنجیده می‌شود

برای مدل‌های بینایی‌ـ‌زبان، پژوهشگران یک دروازه دیگر در نظر گرفته‌اند. این بخش احتمال پاسخ را در دو حالت مقایسه می‌کند: ورودی همراه با تصویر واقعی و ورودی‌ای که تصویر آن خالی است. اگر پاسخ بدون تصویر هم به همان اندازه قابل‌پیش‌بینی باشد، پاداش کاهش می‌یابد.

به این ترتیب، روش می‌کوشد پاداش را کمتر به پاسخ‌هایی بدهد که ممکن است تنها با تکیه بر الگوهای زبانی تولید شده باشند. این سازوکار به‌معنای تضمین درک درست تصویر نیست، اما طبق طراحی مقاله، میزان وابستگی پاسخ به شواهد تصویری را در محاسبه پاداش وارد می‌کند.

نتایج گزارش‌شده و محدودیت برداشت از آن‌ها

بر اساس چکیده پژوهش، روش کامل در هر هشت بنچمارکِ اختصاصیِ وظایف و در تمام مقایسه‌های تک‌اجرا، از آموزش GRPO مبتنی بر پاداش نتیجه‌ای بهتر داشته است. GRPO یکی از روش‌های یادگیری تقویتی برای به‌روزرسانی مدل است؛ در این مقایسه، مبنای آن پاداش دودوییِ نتیجه بوده است.

در انتقال به داده‌های گسترده، نویسندگان از بهبود میانگین دقت تا ۴٫۸ واحد نسبت به آموزش با پاداش دودویی خبر می‌دهند. در بنچمارک MathVerse نیز بهبود ۱۲٫۶ واحدی گزارش شده است. افزون بر این، در انتقال بینایی‌ـ‌زبان برای مدل ۷B، روش پیشنهادی ۱۲٫۹ واحد بالاتر از یک خط مبنای خارجی با عنوان PRM-BoN@16 بوده است؛ آن هم بدون رتبه‌بندی دوباره پاسخ‌ها هنگام استفاده از مدل.

این ارقام نتایجی هستند که نویسندگان در چکیده ارائه کرده‌اند و دامنه‌شان به بنچمارک‌ها و تنظیمات آزمایشی همان پژوهش محدود است. مقاله، MIG را جایگزینی بدون نیاز به حاشیه‌نویسی برای مدل‌سازی صریح پاداش فرایندی معرفی می‌کند. از اطلاعات موجود در چکیده نمی‌توان درباره جزئیات همه تنظیمات آزمایش یا عملکرد روش در کاربردهای دیگر نتیجه‌گیری کرد.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای تیم‌هایی اهمیت دارد که مدل‌های زبانی یا بینایی‌ـ‌زبان را با یادگیری تقویتی آموزش می‌دهند و می‌خواهند بدانند کدام گام‌های میانی به پاسخ درست کمک می‌کنند. اگر نتیجه‌های گزارش‌شده در ارزیابی‌های دیگر نیز تکرار شوند، پاداش‌های استخراج‌شده از خود مدل می‌توانند نیاز به برچسب‌گذاری دستیِ مراحل استدلال را کاهش دهند. برای پژوهشگران مدل‌های چندوجهی نیز مقایسه ورودی تصویری واقعی با تصویر خالی، راهی برای بررسی نقش شواهد دیداری در تولید پاسخ فراهم می‌کند.