روش CAGD افت عملکرد مدل‌های زبانی در یادگیری پیوسته را کاهش داد

پژوهشی تازه درباره یادگیری پیوسته مدل‌های زبانی، روشی به نام «تقطیر مولدِ لنگرشده به شرط» یا CAGD را بررسی می‌کند؛ روشی که هدفش کاهش تغییر رفتار مدل هنگام آموزش روی وظایف تازه است. نویسندگان در مقاله‌ای که ۷ اکتبر ۲۰۲۶ در arXiv منتشر شده، گزارش می‌کنند این روش در چند آزمایش زیان نهایی مدل را کاهش داده، هرچند حفظ دقت در آزمون GSM8K نتیجه‌ای یکدست نداشته است.

یادگیری پیوسته مدل‌های زبانی و مسئله فراموشی

مدل زبانی‌ای که به‌تدریج برای وظایف جدید سازگار می‌شود، ممکن است به پرسش‌هایی که قبلاً آموخته است پاسخ‌های متفاوتی بدهد. نگه‌داشتن همه نمونه‌های قدیمی نیز همیشه ممکن یا مطلوب نیست. پژوهشگران برای بررسی این مسئله، CAGD را پیشنهاد می‌کنند: روشی که از تعدادی محدود از پرامپت‌های قدیمی، یعنی ورودی‌هایی که رفتار موردنظر را فراخوانی می‌کنند، استفاده می‌کند.

در این چارچوب، مدل پیشین ثابت می‌ماند و برای پرامپت‌های منتخب، پاسخ‌ها و وضعیت‌های تولید متن را بازسازی می‌کند. سپس مدل در حال آموزش می‌کوشد توزیع پیش‌بینی‌های مدل قبلی را حفظ کند. «توزیع پیش‌بینی» بیان می‌کند مدل برای خروجی‌های گوناگون چه احتمالی در نظر می‌گیرد.

سه نقش جداگانه در روش CAGD

به گفته پژوهشگران، CAGD سه کارکرد را که در روش‌های معمول بازپخش داده اغلب با هم ترکیب می‌شوند، از هم جدا می‌کند. پرامپت‌های قدیمی مشخص می‌کنند کدام رفتار باید حفظ شود؛ خروجی‌های تولیدشده به‌وسیله مدل قبلی، بخش‌هایی از فرایند تولید را که اهمیت دارند نشان می‌دهند؛ و هدف‌های نرم تعیین می‌کنند پیش‌بینی مدل جدید چگونه می‌تواند تغییر کند.

هدف نرم، به‌جای آن‌که تنها یک پاسخ درست را به مدل تحمیل کند، اطلاعات مربوط به احتمال چند پاسخ را نیز منتقل می‌کند. در تولید خودرگرسیو ــ تولید متن به‌صورت گام‌به‌گام ــ پژوهشگران واگرایی میان دنباله‌های خروجی را به‌طور دقیق به سهم گام‌های جداگانه تجزیه می‌کنند. در مدل‌سازی زبانی با انتشار ماسک‌دار، پیاده‌سازی آن‌ها مستقیماً تغییر محلی فرایند رفع ماسک را در پاسخ‌های تولیدشده توسط مدل قبلی کنترل می‌کند.

نتایج آزمایش‌ها و محدودیت‌ها

در آزمایش سازگارسازی پیوسته یک مدل زبانی انتشارِ ماسک‌دار با ۲۱۹ میلیون پارامتر، CAGD زیان نهاییِ ارزیابی روی داده‌های نگه‌داشته‌شده را در یک ترتیب چهارتسکی از ۲٫۹۲۷ به ۱٫۱۱۴ رساند. در ترتیب معکوس همان وظایف نیز این مقدار از ۲٫۱۶۸ به ۰٫۸۹۱ کاهش یافت.

در مقایسه‌ای دیگر، وقتی پشتیبانیِ تولیدشده به‌وسیله مدل معلم یکسان نگه داشته شد، استفاده از هدف‌های نرم میانگین زیان نهایی را نسبت به بازپخش سخت ۰٫۰۵۵ کمتر کرد. پژوهشگران می‌گویند جهت کلی نتیجه در داده‌های مربوط به اطلاعات تازه و دستورهای طبیعی نیز در آزمایش‌های SMDM و Qwen3 دیده شد.

بااین‌حال، ارزیابی GSM8K ــ مجموعه‌ای برای سنجش توانایی حل مسائل ریاضی ــ تصویر یکدستی ارائه نکرد. سازگارسازی Qwen پاسخ‌دادن در قالب مورد انتظار را حفظ کرد، اما حفظ پاسخ دقیق در اندازه ۰٫۶ میلیارد پارامتر به بذر آزمایش وابسته بود و در اندازه ۱٫۷ میلیارد پارامتر بدتر شد. بنابراین، کاهش زیان در مجموعه‌های ارزیابی به‌تنهایی تضمین نمی‌کند که دقت پاسخ در هر وظیفه و مقیاسی حفظ شود.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای تیم‌هایی که مدل‌های زبانی را به‌تدریج با وظایف تازه سازگار می‌کنند، راهی برای بررسی دقیق‌ترِ حفظ رفتار پیشین پیشنهاد می‌دهد؛ به‌ویژه زمانی که نگهداری همه داده‌های قدیمی امکان‌پذیر نیست. نتیجه‌ها همچنین نشان می‌دهند مقایسه روش‌ها باید علاوه بر زیان کلی، حفظ دقت و قالب پاسخ را در وظایف مشخص و اندازه‌های متفاوت مدل نیز بسنجد. یافته‌های گزارش‌شده به آزمایش‌های همین مطالعه محدود است و به‌تنهایی اثبات نمی‌کند که CAGD در همه مدل‌ها و کاربردها همین اثر را خواهد داشت.