پژوهش: اثر مسموم‌سازی داده‌ها به رژیم آموزشی مدل بستگی دارد

یک پژوهش تازه در arXiv بررسی می‌کند که با افزایش سهم داده‌های مسموم در پیش‌آموزش مدل‌های زبانی، عملکرد مدل روی داده‌های پاک چگونه افت می‌کند. نویسندگان می‌گویند آزمایش‌های کنترل‌شده با مدل‌های سبک OLMo نشان داده‌اند این افت با یک قانون توانی و توانی غیرصحیح به‌خوبی برازش می‌شود؛ نتیجه‌ای که در چارچوب نظری مقاله به ساختار داده‌ها و ترتیب حدگیری در رژیم‌های آموزشی مختلف پیوند می‌خورد.

مسموم‌سازی داده در پژوهش‌های پیشین اغلب از زاویه ایجاد درِپشتی هدفمند و ماندگاری آن پس از آموزش ایمنی بررسی شده است. این مقاله، در مقابل، پرسشی پایه‌ای‌تر را دنبال می‌کند: با بیشترشدن سهم داده‌های آلوده، کیفیت مدل روی داده‌های سالم چه تغییری می‌کند؟

از مشاهده تجربی تا پرسش نظری

پژوهشگران در آزمایش‌های پیش‌آموزش، مدل‌های آلوده و پاک را از نظر معماری، بودجه توکن و برنامه بهینه‌سازی همسان کرده‌اند. سپس افزایش نسبی پرپلکسیتی اعتبارسنجی داده‌های پاک را سنجیده‌اند. پرپلکسیتی معیاری برای ارزیابی میزان پیش‌بینی‌پذیری متن است و افزایش آن معمولاً نشان می‌دهد مدل در پیش‌بینی داده‌ها ضعیف‌تر شده است.

طبق خلاصه مقاله، رابطه میان نرخ آلودگی و این افزایش با تابعی از شکل Δ≈Cεᵃ برازش شده است؛ در این رابطه ε نرخ داده‌های مسموم و a توان مقیاس‌پذیری است. نکته مورد توجه نویسندگان، غیرصحیح‌بودن این توان در آزمایش‌های گزارش‌شده است. مقاله می‌پرسد چنین رفتاری از نظر نظری به چه شرایطی نیاز دارد.

چرا توان رابطه می‌تواند متفاوت باشد؟

نویسندگان ابتدا یک محدودیت نظری را اثبات می‌کنند: اگر تابع هدفِ آلوده‌شده در اطراف نقطه بهینه مدل پاک رفتاری تحلیلی داشته باشد و آن نقطه بهینه غیرتباهیده باشد، افت عملکرد به‌طور عمومی در مرتبه دوم نرخ آلودگی قرار می‌گیرد. بنابراین، مشاهده یک توان غیرصحیح در چنین چارچوبی توضیح داده نمی‌شود و به گفته مقاله می‌تواند نشانه وجود ساختاری تکین باشد؛ یعنی رفتاری که با تقریب تحلیلی معمول در اطراف نقطه بهینه سازگار نیست.

برای بررسی این امکان، پژوهشگران سراغ مدلی حل‌پذیر از رگرسیون ریجِ بریده‌شده می‌روند. رگرسیون ریج روشی آماری برای برازش مدل است که با افزودن جریمه، اندازه ضرایب را محدود می‌کند. در این مدل، داده‌ها دارای متغیرهای سنگین‌دم هستند؛ به زبان ساده، مقادیر دور از میانگین در آن‌ها نسبتاً محتمل‌اند. مقاله همچنین مسموم‌سازی را به شکل جابه‌جایی برچسب‌ها مدل می‌کند و پارامتر q⋆ را برای کنترل ویژگی‌های این توزیع به کار می‌گیرد.

دو رژیم، دو توان مقیاس‌پذیری

نتیجه اصلی نظری مقاله این است که توان ریسک اضافی فقط به نرخ آلودگی وابسته نیست و ترتیب بررسی حدها نیز اهمیت دارد. در رژیم ابعاد بالا، که در آن بُعد مسئله و حجم داده به‌طور متناسب افزایش می‌یابند، مقیاس ریسک به شکل ε به توان q⋆/(q⋆+۲) به دست می‌آید. اما اگر ابتدا حدِ داده‌های فراوان گرفته شود، توان رابطه ۲−۲/q⋆ خواهد بود.

در نتیجه، دو مسیر حدگیری به پاسخ یکسان نمی‌رسند؛ به بیان مقاله، این حدها جابه‌جاپذیر نیستند. نویسندگان پیش‌بینی‌های مدل را با چند شبیه‌سازی عددی بررسی کرده‌اند و می‌گویند نتایج با این تفاوت میان رژیم‌ها سازگار است. مقاله در متن در دسترس، عدد مشخصی برای توان برازش‌شده در آزمایش‌های مدل‌های زبانی ارائه نمی‌کند.

پیوند محتاطانه با پیش‌آموزش مدل‌های زبانی

برای توضیح ارتباط این تحلیل با مدل‌های زبانی بزرگ، نویسندگان به محدودبودن زمان آموزش اشاره می‌کنند. آن‌ها این محدودیت را در چارچوب پیشنهادی خود مشابه بریدن طیف انحنای تابع آموزش در نظر می‌گیرند؛ طیف انحنا توصیفی از جهت‌ها و میزان تغییر تابع هدف در اطراف نقطه آموزش است.

بر پایه این تفسیر، مقاله با فرض سنگین‌دم‌بودن طیف معکوس انحنا، قانون مقیاس مشاهده‌شده را در آموزش محلی مدل‌های زبانی استخراج می‌کند. نویسندگان این بخش را یک فرضیه مدل‌سازی معرفی می‌کنند، نه اثباتی عمومی درباره همه مدل‌ها یا همه شرایط پیش‌آموزش. اهمیت نتیجه در این است که نرخ آلودگی به‌تنهایی ممکن است برای پیش‌بینی افت عملکرد کافی نباشد و ویژگی‌های داده و رژیم آموزش نیز در شکل رابطه نقش داشته باشند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای محققان یادگیری ماشین، تیم‌های گردآوری و پالایش داده و گروه‌های ارزیابی ایمنی مدل‌ها اهمیت دارد؛ به‌ویژه کسانی که می‌خواهند پیامدهای آلودگی داده را فراتر از حمله‌های درِپشتی بسنجند. نتایج مقاله چارچوبی نظری و شبیه‌سازی‌هایی برای فهم وابستگی افت عملکرد به شرایط آموزشی ارائه می‌کند، اما تعمیم آن به مدل‌های زبانی واقعی همچنان به بررسی تجربی بیشتر نیاز دارد.