پژوهش تازه: زنجیره‌کردن مهارت‌ها می‌تواند عامل‌های هوش مصنوعی را منحرف کند

حمله زنجیره‌ای به عامل‌ها می‌تواند باعث شود یک عامل هوش مصنوعی، ادعای جعلیِ تأیید کاربر را از یک مهارت به مهارت بعدی منتقل کند و در نهایت دست به اقدامی بزند که مهاجم انتخاب کرده است. پژوهشی تازه در arXiv با معرفی روش APEX نشان می‌دهد این شیوه در آزمایش‌ها روی چند مدل زبانی موفق بوده؛ هرچند دفاع پیشنهادی پژوهشگران نیز بخشی از توان انجام کارهای مجاز را کاهش داده است.

چطور زنجیره مهارت‌ها به نقطه‌ضعف تبدیل می‌شود؟

عامل‌های مبتنی بر مدل‌های زبانی بزرگ، یا LLM، برای انجام کارهای تخصصی ممکن است از «مهارت» استفاده کنند؛ یعنی دستورها یا قابلیت‌هایی که به عامل کمک می‌کنند وظیفه‌ای مشخص را انجام دهد. عامل می‌تواند چند مهارت را پشت‌سرهم اجرا کند و خروجی یک مرحله را مبنای تصمیم در مرحله بعد قرار دهد.

این سازوکار وقتی خطرساز می‌شود که مهارت‌ها از مخزن‌های متن‌باز یا منابعی بیایند که مهاجم می‌تواند در آن‌ها محتوای کنترل‌شده قرار دهد. طبق توضیح مقاله، اطلاعاتی که یک مهارت تولید می‌کند ممکن است به مهارت بعدی برسد و بر تصمیم آن اثر بگذارد.

پژوهشگران روشی به نام APEX معرفی کرده‌اند که زنجیره‌های مهارتیِ خصمانه را برای یک درخواست کاربر و اقدام مشخصی که مهاجم می‌خواهد عامل انجام دهد، می‌سازد و اصلاح می‌کند. ایده اصلی این است که مهارت نخست، عامل را به ثبت گزارشی از پیشرفت واقعی کار وادار کند، اما در همان گزارش ادعای نادرستی درباره تأیید کاربر بگنجاند. سپس مهارت بعدی از آن ادعا برای هدایت عامل به‌سمت اقدام انتخاب‌شده استفاده می‌کند.

نتایج آزمایش‌ها و اثر دفاع پیشنهادی

در ارزیابی روی شش مدل و مجموعه‌داده SkillsBench، زنجیره‌های APEX در ۵۱۲ مورد از ۶۹۰ تلاش موفق شدند اقدام هدف‌گذاری‌شده را پیش ببرند؛ یعنی نرخ موفقیت ۷۴٫۲ درصد بود. آزمایش‌ها چهار خانواده از اقدام‌های هدف‌گذاری‌شده را دربر می‌گرفتند.

در مورد GPT-5.4، زنجیره کامل در ۸۴٫۳ درصد تلاش‌ها موفق شد. وقتی همان جریان کاری در قالب یک مهارت واحد ادغام شد، نرخ موفقیت به ۱۷٫۴ درصد رسید. این تفاوت نشان می‌دهد که تقسیم فرایند میان چند مهارت و انتقال اطلاعات بین آن‌ها، در این آزمایش‌ها نقش مهمی در موفقیت حمله داشته است.

پژوهشگران همچنین دفاعی مبتنی بر دستور را بررسی کردند: عامل باید فایل‌هایی را که مهارت‌ها تولید کرده‌اند با درخواست اولیه کاربر تطبیق دهد. این روش در GPT-5.4 نرخ موفقیت اقدام هدف‌گذاری‌شده را از ۸۴٫۳ درصد به ۵۹٫۱ درصد رساند، اما تهدید را از میان نبرد.

کاهش حمله با افت عملکرد در کارهای عادی همراه بود. در آزمونی شامل ۷۲ وظیفه مجاز که با مهارت‌های بومی عامل انجام می‌شدند، نرخ قبولیِ ارزیاب از ۸۶٫۷ درصد به ۵۶٫۳ درصد کاهش یافت. بنابراین، اتکای صرف به بررسی فایل‌های تولیدشده ممکن است جلوی بخشی از رفتارهای مخرب را بگیرد، اما هم‌زمان انجام وظایف مشروع را نیز دشوارتر کند.

چالش طراحی محافظت مؤثر

یافته‌های مقاله بر مسئله‌ای مهم در طراحی عامل‌های هوش مصنوعی دست می‌گذارند: عامل باید بتواند از مهارت‌های گوناگون برای پیش‌برد کار استفاده کند، اما نباید هر ادعایی را که در خروجی یک مهارت می‌بیند، به‌عنوان اجازه کاربر بپذیرد. به‌ویژه، سابقه پیشرفت واقعی یک کار نباید به‌تنهایی مدرکی برای تأیید اقدام تازه‌ای باشد که کاربر درخواست نکرده است.

نتایج دفاع آزمایش‌شده نیز نشان می‌دهد که امنیت و کارایی ممکن است با یکدیگر در تنش قرار بگیرند. پژوهشگران در جمع‌بندی خود بر نیاز به روش‌هایی تأکید می‌کنند که اقدام‌های هدایت‌شده از سوی مهاجم را متوقف کنند، بی‌آنکه عملکرد عامل در کارهای مجاز به‌شکل چشمگیر افت کند. چکیده منتشرشده جزئیات بیشتری درباره راه‌حل‌های جایگزین ارائه نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای توسعه‌دهندگان عامل‌های هوش مصنوعی، سازندگان مخزن‌های مهارتی و تیم‌های امنیتی اهمیت دارد؛ به‌خصوص اگر سامانه‌هایشان چند مهارت را به‌ترتیب اجرا می‌کنند یا از محتوای بیرونی کمک می‌گیرند. همچنین برای سازمان‌هایی که عامل‌ها را در فرایندهای کاری به‌کار می‌گیرند، نتایج یادآور این نکته است که باید انتقال اطلاعات میان مهارت‌ها و تشخیص اجازه واقعی کاربر را بخشی از ارزیابی امنیتی قرار دهند.