پژوهش: سنجش رایج حفاظ‌های ایمنی، حفاظت واقعی را بیش‌برآورد می‌کند

پژوهشی که در ۲۹ سپتامبر ۲۰۲۶ در arXiv ثبت شده، استدلال می‌کند معیار رایج ارزیابی حفاظ‌های ایمنی هوش مصنوعی ممکن است میزان حفاظت واقعی آن‌ها را بیش‌برآورد کند. بررسی شش پیکربندی حفاظ در سه خانواده مدل نشان می‌دهد این ابزارها در شناسایی درخواست‌های مضری که مدل واقعاً ممکن است به آن‌ها پاسخ دهد، ضعیف‌تر عمل می‌کنند؛ مسئله‌ای که می‌تواند ارزیابی کارایی ابزارهای پیشگیری از پاسخ‌های زیان‌بار را تغییر دهد.

چرا یادآوری به‌تنهایی کافی نیست؟

حفاظ ایمنی، سامانه‌ای است که درخواست‌های ورودی به یک مدل زبانی را بررسی می‌کند و در صورت تشخیص خطر، آن‌ها را علامت‌گذاری می‌کند تا مدل به آن‌ها پاسخ ندهد. برای سنجش این ابزارها معمولاً از «یادآوری» استفاده می‌شود: سهم درخواست‌های مضرِ شناسایی‌شده از میان همه درخواست‌هایی که برچسب مضر دارند.

اما شناسایی یک درخواست مضر به‌تنهایی نشان نمی‌دهد که حفاظ واقعاً جلوی آسیب را گرفته است. اگر مدل اساساً به آن درخواست پاسخ نمی‌داد، علامت‌گذاری آن کمکی به جلوگیری از یک پاسخ زیان‌بار نمی‌کند. از سوی دیگر، جا ماندن درخواستی که مدل با آن همراهی می‌کند می‌تواند اهمیت عملی بیشتری داشته باشد. پژوهش یادآوری را با توجه به همین تفاوت بررسی می‌کند.

مقایسه حفاظ‌ها با رفتار واقعی مدل

پژوهشگران برای سنجش این تفاوت، از مدل هدف برای هر درخواست چند پاسخ گرفتند. در این روش، یک درخواست مضر «قابل‌اجرا» در نظر گرفته شد اگر مدل دست‌کم در یکی از پاسخ‌های تکرارشده با آن همراهی می‌کرد. درخواست‌هایی که در نمونه‌گیری‌ها چنین پاسخی نگرفتند، در گروه غیرقابل‌اجرا قرار گرفتند.

این تعریف به رفتار مشاهده‌شده مدل در پاسخ‌های نمونه‌گیری‌شده متکی است؛ بنابراین غیرقابل‌اجرا بودن در این ارزیابی به معنای اثبات ناتوانی همیشگی مدل در پاسخ‌گویی نیست. پژوهش سپس عملکرد حفاظ‌ها را برای این دو گروه جداگانه گزارش کرد.

بررسی شامل شش پیکربندی حفاظ و سه خانواده مدل بود. در میان روش‌های ارزیابی‌شده، هم کاوشگرهای فعال‌سازی قرار داشتند ــ ابزارهایی که نشانه‌ها را در فعالیت درونی مدل می‌جویند ــ و هم حفاظ‌های متنیِ ریزتنظیم‌شده و یک طبقه‌بند استدلالیِ شرطی‌شده با سیاست در مقیاس ۱۲۰ میلیارد. چکیده پژوهش جزئیات بیشتری درباره این پیکربندی‌ها ارائه نمی‌کند.

یافته‌ها چه می‌گویند؟

با ثابت نگه‌داشتن نرخ مثبت کاذب، یادآوری حفاظ‌ها برای درخواست‌های قابل‌اجرا ۰٫۲۲ تا ۰٫۳۸ کمتر از یادآوری آن‌ها برای درخواست‌های غیرقابل‌اجرا بود. نرخ مثبت کاذب، سهم مواردی است که حفاظ به‌اشتباه درخواست را خطرناک علامت‌گذاری می‌کند. ثابت نگه‌داشتن این نرخ کمک می‌کند عملکرد حفاظ‌ها در مقایسه، با هزینه مشابه از نظر علامت‌گذاری‌های اشتباه سنجیده شود.

یافته دیگری نشان داد درخواست‌هایی که حفاظ از دست می‌داد، در مقایسه با درخواست‌هایی که حفاظ شناسایی می‌کرد، ۲٫۸ تا ۵٫۶ برابر بیشتر احتمال داشت با پاسخ همراهانه مدل روبه‌رو شوند. به بیان دیگر، خطاهای حفاظ تصادفی نبودند: مواردی که از دید آن پنهان می‌ماندند، بیشتر در دسته درخواست‌هایی قرار داشتند که مدل احتمالاً به آن‌ها پاسخ می‌داد.

به گفته پژوهشگران، این شکاف در هر سه خانواده مدل تکرار شد و حتی در حفاظ‌های صرفاً متنی هم دیده شد؛ ابزارهایی که کاملاً مستقل از مدل هدف هستند. این نتیجه نشان می‌دهد مسئله فقط به استفاده از نشانه‌های درونی یک مدل محدود نیست.

پیامد برای ارزیابی ایمنی

نتیجه اصلی پژوهش این است که یادآوری استاندارد، اگر بدون توجه به رفتار مدل هدف گزارش شود، می‌تواند تصویری خوش‌بینانه از میزان حفاظت ارائه کند. حفاظی که تعداد زیادی از درخواست‌های مضر را علامت‌گذاری می‌کند، الزاماً همان درخواست‌هایی را پیدا نمی‌کند که مدل در عمل به آن‌ها پاسخ خواهد داد.

بر این اساس، پژوهشگران پیشنهاد می‌کنند ارزیابی حفاظ‌ها فقط بر برچسب مضر بودن درخواست تکیه نکند و بررسی کند مدل هدف در برابر همان درخواست‌ها چه رفتاری دارد. چنین رویکردی میان «تشخیص محتوای مضر» و «جلوگیری از پاسخ زیان‌بار» تمایز می‌گذارد؛ دو موضوع مرتبط که لزوماً یکسان نیستند.

این خبر برای چه کسانی اهمیت دارد

این یافته برای تیم‌هایی اهمیت دارد که ایمنی مدل‌های زبانی را با لایه‌های نظارتی می‌سنجند یا از حفاظ‌ها برای غربال درخواست‌های کاربران استفاده می‌کنند. همچنین برای پژوهشگران ارزیابی مدل، یادآور این نکته است که یک معیار کلی ممکن است نشان ندهد خطاهای سامانه در کدام موقعیت‌ها رخ می‌دهد. با این حال، چکیده موجود درباره روش‌های اجرایی دقیق یا راهکار جایگزین مشخصی جز سنجش عملکرد حفاظ در ارتباط با پاسخ واقعی مدل اطلاعاتی ارائه نمی‌کند.