پژوهش: آموزش محدود می‌تواند هم‌ترازی ایمنی را به حوزه‌های دیگر گسترش دهد

هم‌ترازی نوظهور، یعنی گسترش رفتار هم‌راستا با ایمنی به حوزه‌هایی فراتر از مواردی که مدل مستقیماً در آن‌ها آموزش دیده، موضوع پژوهشی تازه در arXiv است. این مطالعه نشان می‌دهد تنظیم دقیق یک مدل روی چند زیرگروه محدود ایمنی می‌تواند رفتار ایمن را در دسته‌های عمومی‌تر نیز تقویت کند؛ اما عملکرد ایمنی به‌تنهایی تصویر کاملی از هم‌ترازی مدل ارائه نمی‌دهد.

از بدهم‌ترازی نوظهور تا رفتار ایمن

پژوهش با طرح بحثی پیشین درباره «بدهم‌ترازی نوظهور» آغاز می‌شود: این پدیده به وضعیتی اشاره دارد که در آن تنظیم دقیق یک مدل زبانی بزرگ برای وظایفی محدود، به شکل‌گیری رفتارهای ناسازگار در حوزه‌های گسترده‌تر می‌انجامد. این مشاهده با فرضیه «انتخاب پرسونا» پیوند دارد؛ بر اساس این فرضیه، مدل‌ها در مرحله پیش‌آموزش شیوه‌های مختلف شخصیت‌پردازی یا دیدگاه‌ها را می‌آموزند و در مراحل بعدی آموزش می‌توان برخی از آن‌ها را فعال و تقویت کرد.

مطالعه جدید، حالت معکوس را بررسی می‌کند: آیا آموزش محدود روی وظایف ایمنی می‌تواند رفتار هم‌راستا را به موقعیت‌های دیگری هم گسترش دهد؟ برای آزمودن این پرسش، پژوهشگران یک مدل «صرفاً کمک‌رسان» را با وظایف ایمنی گسترده و محدود تنظیم دقیق کردند.

آموزش با چهار چارچوب اخلاقی

نمونه‌های آموزش نظارت‌شده با رویکردی برگرفته از Constitutional AI ساخته شدند. در این رویکرد، اصول یا «قانون اساسی» مشخصی برای راهنمایی رفتار مدل به کار می‌رود. پژوهشگران چهار چارچوب را در نظر گرفتند: وظیفه‌گرایی، پیامدگرایی، اخلاق فضیلت و این اصل که هوش مصنوعی باید تابع اقتدار انسان باشد.

طبق نتایج گزارش‌شده، تنظیم دقیق با نمونه‌های ساخته‌شده بر اساس هر چارچوب، وقتی روی دو زیرگروه محدود ایمنی انجام شد، به بروز هم‌ترازی نوظهور در مجموعه‌ای نماینده از دسته‌های عمومی ایمنی انجامید. این اثر در زیرگروه‌های ایمنی‌ای هم مشاهده شد که پژوهشگران آن‌ها را مستقیماً از داده‌های آموزش محدود کنار گذاشته بودند. بنابراین، یافته‌ها نشان می‌دهند رفتار ایمن مدل در این آزمایش‌ها به مواردی محدود نماند که نمونه‌های آموزشی دقیقاً درباره آن‌ها بودند.

پرسونای اخلاقی همیشه به یک اندازه بروز نمی‌کند

برای بررسی دقیق‌تر فرضیه انتخاب پرسونا، پژوهشگران از یک ابزار تشخیصی چندبُعدی برای ارزیابی «پرسونای اخلاقی» استفاده کردند. منظور از این اصطلاح، الگویی از باورها و پاسخ‌هاست که انتظار می‌رود با چارچوب اخلاقی استفاده‌شده در آموزش سازگار باشد.

نتایج، با این انتظار کلی سازگار بود. برای نمونه، مدلی که با نمونه‌های مبتنی بر پیامدگرایی تنظیم دقیق شده بود، در مقایسه با باورهای وظیفه‌گرایانه، هم‌سویی بیشتری با باورهای فایده‌گرایانه نشان داد. بااین‌حال، ارزیابی‌های کلی و دقیق‌تر حاکی از تفاوت چشمگیر میان مدل‌های آموزش‌دیده با روش‌های گسترده یا محدود بود؛ این مدل‌ها در میزان بازتاب‌دادن پرسونا یا امضای اخلاقی مورد انتظار یکسان عمل نکردند.

این خبر برای چه کسانی اهمیت دارد

یافته‌های این مطالعه برای پژوهشگران هم‌ترازی، طراحان مدل‌های زبانی و تیم‌های ارزیابی ایمنی اهمیت دارد. نویسندگان نتیجه می‌گیرند که سنجش مدل‌ها نباید فقط به عملکرد ایمنی در همان حوزه‌هایی محدود شود که مدل در آن‌ها آموزش دیده است. ارزیابی باید هم تعمیم رفتار ایمن به حوزه‌های دیگر را بسنجد و هم بررسی کند که مدل تا چه اندازه دیدگاه اخلاقی مورد انتظار را در پاسخ‌هایش بازتاب می‌دهد.