روش هندسی تازه برای سنجش شکنندگی هم‌ترازی مدل‌های زبانی

شکنندگی هم‌ترازی مدل‌های زبانی را نمی‌توان فقط با دیدن امتناع مدل از یک درخواست زیان‌بار سنجید؛ رفتار ایمن ممکن است پس از به‌روزرسانی یا ریزتنظیم با داده‌های بی‌خطر تضعیف شود. پژوهشگران در مقاله‌ای که ۲ اکتبر ۲۰۲۶ در arXiv منتشر شد، روشی به نام SKIN-DEEP معرفی کرده‌اند که با بررسی بازنمایی‌های درونی مدل، می‌کوشد نشانه‌های این آسیب‌پذیری را پیش از مداخله رفتاری شناسایی کند.

تشخیص شکنندگی هم‌ترازی درون بازنمایی مدل

آزمون‌های ایمنی رایج معمولاً بررسی می‌کنند که مدل در برابر درخواست‌های زیان‌بار امتناع می‌کند یا نه. اما به گفته پژوهشگران، چنین ارزیابی‌ای به‌تنهایی نشان نمی‌دهد که امتناع پس از تغییرات بعدی مدل تا چه اندازه پایدار خواهد ماند. ریزتنظیم با نمونه‌های بی‌خطر ممکن است ناخواسته رفتار امتناع را تضعیف کند؛ مسئله‌ای که شاید تنها پس از انجام این تغییر در آزمون‌های رفتاری آشکار شود.

SKIN-DEEP به‌جای محدود شدن به پاسخ‌های قابل‌مشاهده، فعال‌سازی‌های «جریان باقی‌مانده» مدل را تحلیل می‌کند. جریان باقی‌مانده بخشی از سازوکار داخلی شبکه عصبی است که اطلاعات در لایه‌های مدل از آن عبور می‌کند. روش پیشنهادی، یک مدل هم‌تراز‌شده را با نسخه پایه آن مقایسه می‌کند تا جهت‌هایی را بیابد که به جداسازی رفتارهای مرتبط با ایمنی کمک می‌کنند.

آزمون جهت‌های شناسایی‌شده و امتیاز GFS

پژوهشگران برای بررسی اهمیت رفتاری این جهت‌ها، برخی از آن‌ها را از محاسبات مدل حذف کردند؛ این کار «حذف مؤلفه» نام دارد و نشان می‌دهد آیا کنار گذاشتن یک بخش از بازنمایی، رفتار موردنظر را تغییر می‌دهد یا نه. طبق چکیده مقاله، حذف جهت‌های منتخب در بعضی موارد توانایی مدل برای امتناع از درخواست‌های زیان‌بار را کاهش داد. بااین‌حال، جهت مؤثر در مدل‌های مختلف یکسان نبود.

این روش الگوی لایه‌به‌لایه را در امتیازی به نام Geometric Fragility Score یا GFS خلاصه می‌کند. این امتیاز برای توصیف الگوی هندسی مرتبط با شکنندگی به کار می‌رود، نه صرفاً ثبت این‌که مدل در یک آزمون مشخص پاسخ ایمن داده است.

نتایج آزمایش روی ۲۱ مدل دستورپذیر

این پژوهش روی ۲۱ مدل دستورپذیر انجام شده است؛ یعنی مدل‌هایی که برای دنبال‌کردن درخواست‌های کاربر آموزش دیده‌اند. نویسندگان می‌گویند در این مجموعه، میان درخواست‌های زیان‌بار و دستورهای بی‌خطر الگویی تکرارشونده و کم‌رتبه دیده‌اند. «کم‌رتبه» در این زمینه به این معناست که بخشی از تفاوت میان این دو نوع ورودی را می‌توان با شمار محدودی از جهت‌ها در بازنمایی مدل توصیف کرد.

در آزمایش‌های ریزتنظیم کم‌رتبه با داده‌های بی‌خطر، مدلی که پیش از ریزتنظیم کمترین امتیاز GFS را داشت، هنگام آموزش با بزرگ‌ترین مجموعه بی‌خطر آزمایش‌شده، کمترین نرخ همراهی با درخواست‌های زیان‌بار را نشان داد. این نتیجه میان هندسه بازنمایی پیش از مداخله و آسیب‌پذیری رفتاری بعدی ارتباط برقرار می‌کند؛ اما چکیده مقاله جزئیات عددی آزمایش‌ها را ارائه نمی‌دهد.

یک ابزار مکمل برای ارزیابی ایمنی

یافته‌های گزارش‌شده نشان می‌دهد سنجش بازنمایی‌های درونی می‌تواند اطلاعاتی درباره پایداری رفتار ایمن فراهم کند که آزمون‌های معمول امتناع به‌تنهایی آشکار نمی‌کنند. بااین‌حال، مقاله SKIN-DEEP را مکمل ارزیابی‌های رفتاری معرفی می‌کند. بنابراین، از این نتایج نمی‌توان نتیجه گرفت که تحلیل هندسی به‌تنهایی تضمین می‌کند مدل پس از هر نوع به‌روزرسانی ایمن باقی بماند.

پژوهشگران کد این روش را نیز در دسترس قرار داده‌اند. ارزیابی مستقل و به‌کارگیری آن روی مدل‌ها و شرایط دیگر می‌تواند روشن کند که این امتیاز تا چه اندازه برای پیش‌بینی شکنندگی در کاربردهای گوناگون سودمند است.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای تیم‌های ایمنی مدل، پژوهشگران هم‌ترازی و توسعه‌دهندگانی اهمیت دارد که مدل‌های زبانی را پس از آموزش اولیه ریزتنظیم می‌کنند. اگر روش‌های فعال‌سازی‌محور بتوانند پیش از انتشار تغییرات، نشانه‌های تضعیف رفتار ایمن را آشکار کنند، می‌توانند در کنار آزمون‌های پاسخ‌محور به تصمیم‌گیری درباره ارزیابی و به‌روزرسانی مدل‌ها کمک کنند.