روش DRY-SFT تنوع پاسخ‌های مدل‌های زبانی را افزایش می‌دهد

پژوهشی تازه در arXiv روشی با نام «Don’t Repeat Yourself Supervised Fine-Tuning» یا DRY-SFT معرفی کرده است که هدفش افزایش تنوع راه‌حل‌های تولیدشده به‌وسیله مدل‌های زبانی است. نتایج گزارش‌شده در سه معیار برنامه‌نویسی نشان می‌دهد این روش می‌تواند احتمال یافتن دست‌کم یک پاسخ درست در میان تعداد زیادی تلاش را بالا ببرد؛ هرچند عملکرد مدل در یک تلاش منفرد اندکی کاهش می‌یابد.

تمرکز بر یافتن یک پاسخ درست در میان چند تلاش

به گفته پژوهشگران، در حوزه‌هایی مانند ریاضی و برنامه‌نویسی، گاهی مهم‌تر از درست‌بودن پاسخ در هر تلاش، این است که مدل در مجموعه‌ای از تلاش‌ها دست‌کم یک راه‌حل صحیح پیدا کند. پس‌آموزش مدل‌های زبانی ممکن است پاسخ‌های آن‌ها را به چند الگوی پرتکرار محدود کند؛ وضعیتی که تنوع خروجی را کاهش می‌دهد. افزایش دمای نمونه‌گیری، پارامتری که بر میزان تفاوت پاسخ‌های تولیدشده اثر می‌گذارد، نیز در این مسئله اثر محدودی دارد.

DRY-SFT برای مقابله با این محدودشدن طراحی شده است. مقاله این هدف را با مفهوم «پوشش» توضیح می‌دهد: احتمال آن‌که مدل پس از چندین تلاش، دست‌کم یک راه‌حل درست تولید کند. از این رو، ارزیابی فقط به کیفیت پاسخ اول محدود نمی‌شود و مجموعه پاسخ‌های مدل نیز اهمیت پیدا می‌کند.

آموزش در دو مرحله، بدون فیلتر صحت

فرایند DRY-SFT دو مرحله دارد. ابتدا مدل برای هر مسئله، به‌ترتیب K راه‌حل تولید می‌کند. هنگام تولید هر پاسخ، راه‌حل‌های قبلی همان مسئله در اختیار مدل قرار می‌گیرند و از آن خواسته می‌شود راه‌حلی متفاوت ارائه کند. به این ترتیب، مرحله نخست بر ساخت مجموعه‌ای از پاسخ‌های متنوع تمرکز دارد.

در مرحله دوم، مدل روی هر یک از پاسخ‌ها به‌صورت مستقل آموزش می‌بیند؛ یعنی پاسخ‌های قبلی از متن ورودی حذف می‌شوند. پژوهشگران می‌گویند این روش از پاداش، ارزیاب یا فیلتر صحت استفاده نمی‌کند. بنابراین، طبق توضیح مقاله، تمایز پاسخ‌ها نه با گزینش خودکار پاسخ‌های درست، بلکه با شیوه تولید و آماده‌سازی داده‌های آموزشی دنبال می‌شود.

نتایج در معیارهای برنامه‌نویسی

پژوهشگران DRY-SFT را روی HumanEval+، MBPP+ و DS-1000 آزموده‌اند. بر اساس گزارش مقاله، امتیاز pass@100 به‌ترتیب ۱۰٫۸، ۱۲٫۵ و ۱۲٫۴ واحد درصد افزایش یافته است. pass@100 معیاری برای سنجش این است که آیا مدل در میان حداکثر ۱۰۰ تلاش، دست‌کم یک پاسخ درست تولید می‌کند یا نه. این نتایج با هزینه‌ای اندک در pass@1 همراه بوده است؛ pass@1 عملکرد مدل را در نخستین تلاش می‌سنجد.

معیار دیگری که در پژوهش بررسی شده، تنوع ساختاری پاسخ‌های درست است. پژوهشگران این تنوع را با فاصله ویرایشی درخت نحوی انتزاعی اندازه‌گیری کرده‌اند؛ روشی برای سنجش تفاوت ساختار برنامه‌ها، نه فقط تفاوت ظاهری متن آن‌ها. طبق مقاله، تنوع ساختاری راه‌حل‌های درست در هر سه معیار به‌طور چشمگیری افزایش یافت.

در آزمایشی دیگر، DRY-SFT توانست از میان ۶۰۰ مسئله، ۲۴۴ مسئله را حل کند که مدل پایه در همان ۲۰۰ تلاش برای هر مسئله موفق به حل آن‌ها نشده بود. همچنین بررسی ۹ مدل با وزن‌های باز نشان داد هرچه تنوع ساختاری مدل پایه کمتر باشد، افزایش عملکرد حاصل از DRY-SFT به‌طور معناداری بیشتر است. این یافته حاکی از آن است که روش ممکن است به‌ویژه برای مدل‌هایی سودمند باشد که خروجی‌هایشان بیش از حد به چند الگوی محدود متمایل شده است.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای سازندگان مدل‌های زبانی و گروه‌هایی که از مدل‌ها برای تولید کد یا حل مسئله استفاده می‌کنند اهمیت دارد؛ زیرا نشان می‌دهد ارزیابی مدل با یک پاسخ یا یک تلاش، ممکن است توانایی آن را در جست‌وجوی راه‌حل‌های گوناگون نشان ندهد. با این حال، نتایج ارائه‌شده به سه معیار برنامه‌نویسی و آزمایش‌های گزارش‌شده در مقاله محدود است و به‌تنهایی درباره عملکرد روش در حوزه‌های دیگر نتیجه‌گیری نمی‌کند.