Anthropic به METR دسترسی داخلی برای ارزیابی خطر مدل‌ها داد

ارزیابی ایمنی هوش مصنوعی در Anthropic وارد مرحله تازه‌ای شده است: این شرکت به گروه غیرانتفاعی METR دسترسی «شبیه کارمندان» داده تا خطرهای مدل‌های خود را بررسی کند. به گزارش Ars Technica، تیمی از این ارزیابان در دفتر سازنده Claude مستقر شده و به سخت‌افزار و سامانه‌های داخلی شرکت دسترسی دارد. این اقدام در پی تعهد Anthropic برای تقویت تدابیر حفاظتی و در واکنش به نگرانی‌ها درباره خطرهای مدل‌های قدرتمندتر انجام شده است.

دسترسی نزدیک‌تر برای ارزیابی مستقل

METR یک نهاد غیرانتفاعی است که پیش‌تر با چند آزمایشگاه بزرگ هوش مصنوعی، از جمله OpenAI، Anthropic، Google و Meta همکاری کرده است. اکنون حضور تیم این نهاد در دفتر Anthropic و دسترسی آن به زیرساخت‌های داخلی شرکت، زمینه‌ای نزدیک‌تر برای ارزیابی مدل‌ها فراهم می‌کند.

منظور از ارزیاب بیرونی، گروهی خارج از شرکت سازنده است که خطرهای فناوری را بررسی می‌کند. در این مورد، دسترسی گزارش‌شده شامل سخت‌افزار و سامانه‌های داخلی است؛ جزئیات بیشتری درباره دامنه یا شیوه کار این تیم در اطلاعات منتشرشده ارائه نشده است.

پاسخ به نگرانی درباره خطرهای مدل‌های پیشرفته

این اقدام در شرایطی انجام می‌شود که نگرانی‌ها درباره پیامدهای مدل‌های توانمندتر افزایش یافته است. به گزارش منبع، این نگرانی‌ها حوزه‌هایی مانند اقتصاد، امنیت سایبری و خطرهای گسترده‌تر برای بشریت را دربرمی‌گیرد.

افزایش نقش ارزیابان مستقل از جمله گام‌های مشخصی است که آزمایشگاه‌های هوش مصنوعی برای پاسخ به این نگرانی‌ها پیشنهاد کرده‌اند. دسترسی METR بخشی از تعهد Anthropic به تقویت تدابیر حفاظتی است؛ اما اطلاعات موجود درباره این اقدام، نتیجه ارزیابی‌ها یا تغییرهای احتمالی در مدل‌ها را مشخص نمی‌کند.

نظارت بیرونی در کنار سازندگان

همکاری نزدیک‌تر با ارزیاب مستقل می‌تواند بررسی خطرها را به محیط و زیرساخت سازنده نزدیک کند. در عین حال، خبر منتشرشده فقط از اعطای دسترسی و استقرار تیم METR خبر می‌دهد و جزئیاتی درباره استقلال عملیاتی تیم یا گزارش‌های حاصل از کار آن ارائه نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

این خبر برای پژوهشگران ایمنی هوش مصنوعی، شرکت‌های سازنده مدل‌های پیشرفته و نهادهایی که پیگیر پاسخ‌گویی این شرکت‌ها هستند اهمیت دارد. همچنین برای کسب‌وکارها و کاربران عمومی مرتبط است، چون خطرهای مورد بحث می‌تواند پیامدهایی فراتر از خود محصولات هوش مصنوعی داشته باشد.