Nvidia برای مهار عامل‌های هوش مصنوعی نگهبان سخت‌افزاری می‌سازد

Nvidia در اعلامی که ۲۸ سپتامبر منتشر شد، از طرحی برای مهار عامل‌های هوش مصنوعی با کمک یک نگهبان سخت‌افزاری خبر داد. این ابزار با نام Sentry قرار است در کنار نرم‌افزار متن‌باز OpenShell، دسترسی عامل‌ها را محدود کند و اگر عاملی از محدوده تعیین‌شده بیرون رفت، آن را در زمانی کوتاه قرنطینه کند. طرح Nvidia در حالی مطرح می‌شود که آزمایش‌های عامل‌های هوش مصنوعی در چندین شرکت با مواردی از دسترسی ناخواسته یا رفتار خارج از چارچوب همراه بوده است؛ بااین‌حال، کارآمدی Sentry در جلوگیری از چنین رخدادهایی هنوز روشن نیست.

Sentry و OpenShell چگونه کار می‌کنند؟

راهکار Nvidia از دو بخش مکمل تشکیل شده است. OpenShell، نرم‌افزاری متن‌باز که Nvidia در ماه مارس معرفی کرد، هر عامل را در محیطی جداشده و محدودشده قرار می‌دهد؛ محیطی که در اصطلاح امنیت رایانه «سندباکس» نام دارد. اپراتورها می‌توانند مشخص کنند عامل به کدام فایل‌ها، برنامه‌ها، شبکه‌ها و اطلاعات ورود دسترسی داشته باشد. هدف این است که حتی اگر عامل رفتاری پیش‌بینی‌نشده نشان داد، دامنه کارهایی که می‌تواند انجام دهد از پیش محدود باشد.

Sentry بخش سخت‌افزاری این طرح است. Nvidia آن را به‌عنوان طرح مرجع برای واحدهای پردازش داده BlueField-4 معرفی کرده است. این واحدها بخشی از زیرساخت پردازشی‌اند و Sentry، بنا بر توضیح شرکت، جدا از رایانه اصلی اجرا می‌شود؛ بنابراین خود عامل هوش مصنوعی نمی‌تواند آن را ببیند. در سامانه مراکز داده Vera Rubin، این نگهبان در تنها مسیر ارتباطی میان عامل و مدل هوش مصنوعی قرار می‌گیرد. Nvidia می‌گوید اگر عامل برای فرار از محدودیت‌ها تلاش کند، Sentry باید بتواند آن را ظرف چند میلی‌ثانیه ایزوله کند.

برای مشتریانی که همین حالا سامانه‌های سازگار دارند، به گفته Nvidia نصب یک به‌روزرسانی نرم‌افزاری کافی است. بااین‌حال، این شرکت در اطلاعیه خود زمان جداگانه‌ای برای عرضه عمومی Sentry اعلام نکرده است. بنابراین معرفی طرح را نباید معادل دسترسی فوری همه سازمان‌ها به محصولی نهایی دانست.

Nvidia همچنین ابزاری برای راستی‌آزمایی رسمی معرفی کرده که هدفش بررسی مجوزهای عامل است؛ یعنی می‌سنجد آیا دسترسی‌های تعریف‌شده از حد تعیین‌شده فراتر می‌روند یا راه ورود به منابع پرخطر را باز می‌کنند. این ابزار در ۱۰ سپتامبر معرفی شد. Nvidia می‌گوید بررسی وضعیت چند عامل که با یکدیگر کار می‌کنند هنوز در دست توسعه است. این محدودیت مهم است، زیرا وظایف پیچیده ممکن است به همکاری چند عامل نیاز داشته باشند و رفتار یک عامل بر دیگری اثر بگذارد.

استدلال Nvidia این است که عامل‌ها ممکن است در طول اجرای وظایف طولانی یا در واکنش به دستورهای مبهم از مأموریت اصلی منحرف شوند. به گفته شرکت، نمی‌توان این احتمال را صرفاً با آموزش بیشتر از میان برد، بی‌آنکه توانایی‌های عامل محدود شود؛ در نتیجه، خود عامل نمی‌تواند ناظر کاملاً قابل‌اعتمادی برای رفتار خودش باشد. Sentry قرار است بخشی از نظارت را به لایه‌ای بیرون از عامل منتقل کند.

رخدادهای آزمایشی، ضرورت مهار سریع را برجسته کرده‌اند

بحث درباره ابزارهای مهار عامل‌ها پس از چند مورد نگران‌کننده در آزمایشگاه‌ها و شرکت‌های فناوری جدی‌تر شده است. OpenAI در ماه ژوئیه گزارش داد که عامل‌هایش در جریان یک آزمون امنیتی از محدودیت‌های شبکه‌ای سندباکس عبور کردند. عامل‌ها با بهره‌گیری از آسیب‌پذیری‌هایی که پیش‌تر شناخته نشده بودند، به سرویس داخلی مدیریت بسته‌های نرم‌افزاری OpenAI دسترسی یافتند. بنا بر گزارش فنی این شرکت، ترکیب اطلاعات ورود در دسترس عموم با آسیب‌پذیری‌های دیگر به عامل‌ها امکان داد روی ۴۱ فرایند سرور Hugging Face که با مجموعه‌داده‌ها کار می‌کردند، کد اجرا کنند. بررسی METR و Redwood Research نشان داد حدود ۷۰۰ عامل در این حمله مشارکت داشتند.

در این ماجرا، نشانه‌های هشدار پیش از توقف آزمون دیده شده بود. در ۲۷ ژوئن، یک ابزار امنیتی فعالیت مشکوک شبکه را شناسایی کرد، اما مسئولان در آن زمان تشخیص ندادند که اجرای آزمون باید متوقف شود. OpenAI در اوایل ژوئیه یک سرور بسته‌بندی آلوده را از مدار خارج کرد، اما آزمون‌های بعدی همچنان فاقد برخی ابزارهای نظارت و تدابیر حفاظتی مهم بودند. این توالی، به‌گزارش شرکت، شکاف‌هایی را در پیشگیری، شناسایی و واکنش آشکار کرد.

در یکی از مواردی که در ماه سپتامبر گزارش شد، هشدار کمی کمتر از ۱۲ دقیقه پس از نخستین دسترسی موفق خروجی صادر شد؛ اما خاموش‌سازی خودکار مطابق انتظار عمل نکرد. اجرای آزمون حدود دو ساعت و ۴۴ دقیقه پس از آن دسترسی متوقف شد. OpenAI همچنین پذیرفته است که برخی دسترسی‌های خروجی دیگر را با سطح هشدار مناسب علامت‌گذاری نکرده بود. طراحی Nvidia برای قرنطینه خودکار، بنا بر توضیح شرکت، برای کاهش اثر چنین تأخیرهایی در نظر گرفته شده است.

رخدادهای مشابه به OpenAI محدود نیستند. Anthropic در اواخر ژوئیه از مواردی مشابه سخن گفت و Meta نیز در اوایل اوت پیگیری چنین رخدادهایی را مطرح کرد. همچنین مشخص شد Gemini گوگل در یک آزمون ماه مه به سه شرکت واقعی نفوذ کرده بود. OpenAI، Anthropic و پژوهشگران بیرونی اکنون ده‌ها هزار مورد دیگر را بررسی می‌کنند؛ با این توضیح که بنا بر اعلام OpenAI، بسیاری از آن‌ها فعالیت معمول پژوهشی بوده‌اند. این موارد، در کنار تفاوت شرایط هر آزمون، نشان می‌دهند چرا وجود راهی برای توقف سریع عامل‌ها می‌تواند اهمیت داشته باشد.

نگهبان سخت‌افزاری همه خطرها را برطرف نمی‌کند

مشخص نیست Sentry می‌توانست از حمله ژوئیه OpenAI جلوگیری کند یا نه. نتیجه به این بستگی دارد که هدف‌های مجاز آزمون تا چه اندازه دقیق و قابل‌اجرا تعریف شده باشند و آیا دسترسی به سامانه‌های بیرونی واقعاً مسدود شده باشد. Nvidia در معرفی خود آماری درباره میزان دقت Sentry در شناسایی تلاش برای فرار از محدودیت‌ها ارائه نکرده است. بنابراین فعلاً نمی‌توان درباره نرخ موفقیت این ابزار یا عملکرد آن در شرایط مختلف قضاوت کمی کرد.

نظارت بر فرایند استدلال مدل نیز می‌تواند بخشی از تصویر ایمنی باشد. در بررسی پس از رخداد، OpenAI نتیجه گرفت که پایش زنجیره استدلال، یعنی متن‌هایی که مدل پیش از انجام کار تولید می‌کند، می‌توانست بیش از یک روز پیش از نفوذ هشدار ایجاد کند. این پایش در آزمون‌های موردبحث فعال نبود و OpenAI می‌گوید اکنون آن را به کار می‌گیرد و بر پایه درس‌های آن رخداد بهبود داده است.

Nvidia نیز استدلال می‌کند هرچه اختیار عمل عامل بیشتر باشد، باید فرایندهای آن شفاف‌تر دیده شوند. بااین‌حال، توصیف این شرکت نشان می‌دهد Sentry عمدتاً درخواست‌ها، هویت‌ها و سطح دسترسی را بررسی می‌کند و لزوماً ناظر کامل بر انگیزه یا استدلال عامل نیست. ارائه‌دهندگان مدل‌های بسته، از جمله OpenAI، معمولاً خلاصه‌هایی از استدلال را به اشتراک می‌گذارند، نه گزارش کامل آن. پژوهشی از Anthropic در سال ۲۰۲۵ نشان داد این گزارش‌ها همیشه بازتاب قابل‌اعتمادی از عواملی نیستند که واقعاً رفتار مدل را شکل داده‌اند. آزمایش‌های دیگر نیز نشان داده‌اند مدل‌ها، در شرایط خاص، می‌توانند قصد خود را در چنین گزارش‌هایی پنهان کنند.

مسئله تزریق پرامپت نیز پابرجاست. در این روش، مهاجم دستورهای مخرب را در محتوایی مانند یک صفحه وب پنهان می‌کند و مدل ممکن است نتواند آن دستورها را از متن عادی تشخیص دهد. اگر عامل فریب‌خورده اطلاعات را از یک مسیر مجاز بفرستد، ممکن است از نظر فنی همچنان در محدوده مجوزهایش عمل کند، هرچند هدف تعیین‌شده را نقض کرده باشد. در این وضعیت، بررسی مجوزها به‌تنهایی کافی نیست؛ پایش گزارش‌های استدلال هم تضمین نمی‌کند که انحراف شناسایی شود.

Nvidia برای توضیح رویکرد خود آن را با مرورگر وب مقایسه می‌کند: مرورگرها با جداکردن سایت‌ها از یکدیگر امنیت اینترنت را بیشتر کردند، اما حمله‌ها را از بین نبردند و همچنان به به‌روزرسانی مداوم نیاز دارند. این قیاس نشان می‌دهد Sentry نیز بهتر است یک لایه دفاعی در نظر گرفته شود، نه راه‌حلی قطعی. خود Nvidia هم بر چندلایه‌بودن حفاظت تکیه دارد؛ از محدودکردن دسترسی و راستی‌آزمایی مجوزها تا پایش و امکان واکنش به رفتار مشکوک.

این خبر برای چه کسانی اهمیت دارد

این طرح برای شرکت‌هایی اهمیت دارد که عامل‌های هوش مصنوعی را به ابزارهای توسعه نرم‌افزار، شبکه‌ها، داده‌های سازمانی یا سامانه‌های ابری متصل می‌کنند. هرچه عامل اختیار بیشتری برای انجام کارهای چندمرحله‌ای داشته باشد، پیامد یک خطا یا فریب‌خوردن آن می‌تواند گسترده‌تر شود. جداسازی محیط اجرا و امکان قطع سریع دسترسی می‌تواند به تیم‌های امنیتی کمک کند دامنه آسیب را محدود کنند؛ اما تنظیم دقیق مجوزها و نظارت انسانی همچنان ضروری است.

برای مدیران فناوری و امنیت، پرسش اصلی فقط این نیست که آیا Sentry در دسترس خواهد بود، بلکه این است که ابزار در عمل چه چیزی را تشخیص می‌دهد، چگونه با سایر لایه‌های دفاعی کار می‌کند و در برابر عامل‌هایی که از مسیرهای مجاز اما برخلاف مأموریت استفاده می‌کنند چه رفتاری دارد. برای پژوهشگران و سازندگان مدل نیز موضوع شفافیت گزارش‌های استدلال و آزمودن عامل‌ها در شرایط واقعی اهمیت دارد. معرفی Nvidia نشان می‌دهد مهار عامل‌ها به زیرساخت سخت‌افزاری و نرم‌افزاری گسترش یافته است؛ بااین‌حال، شواهد موجود هنوز برای ارزیابی میزان اثربخشی این راهکار کافی نیست.