چارچوب SSH برای پیش‌بینی حمله‌های چندمرحله‌ای به عامل‌های هوش مصنوعی

دفاع پیش‌نگر عامل‌ها موضوع چارچوبی تازه در مقاله‌ای منتشرشده در arXiv است که هدفش شناسایی زودهنگام حمله‌های چندمرحله‌ای به عامل‌های هوش مصنوعی است. این روش با نام Speculative Safety Honeypot یا SSH، رفتارهای احتمالی عامل را پیش‌بینی می‌کند و سپس این پیش‌بینی‌ها را با اقدام‌های واقعی او می‌سنجد؛ رویکردی که به گفته نویسندگان می‌تواند زمان هشدار را افزایش دهد و احتمال هشدارهای نادرست را کاهش دهد.

چرا حمله‌های چندمرحله‌ای دشوارند؟

عامل‌های مبتنی بر مدل‌های زبانی بزرگ (LLM) در محیط‌هایی به‌کار گرفته می‌شوند که ممکن است شامل چندین مرحله تعامل و تصمیم‌گیری باشد. در چنین شرایطی، یک رفتار مشکوک همیشه به‌تنهایی نشانه روشنی از حمله نیست؛ نیت مخرب می‌تواند میان چند نوبت تعامل تقسیم شود تا در هر مرحله پنهان بماند.

به گفته مقاله، بسیاری از روش‌های شناسایی فعلی به سابقه تعامل متکی‌اند و پس از مشاهده رفتارها درباره خطر قضاوت می‌کنند. این رویکرد گذشته‌نگر ممکن است برای کشف نیتی که به‌تدریج و در طول چند نوبت آشکار می‌شود کافی نباشد. SSH برای افزودن نگاه پیش‌نگر به این فرایند پیشنهاد شده است.

دفاع پیش‌نگر عامل‌ها با پیش‌بینی مسیر رفتار

SSH از یک سامانه شبیه‌سازی چندعاملی استفاده می‌کند؛ یعنی چند عامل مبتنی بر مدل‌های زبانی کوچک در فرایند بررسی مشارکت دارند. چارچوب در مرحله پیش‌بینی، رفتارهای آینده عامل هدف را برآورد می‌کند و هم‌زمان یک درخت از مسیرهای احتمالی می‌سازد. درخت مسیر، در اینجا، نمایش چند رشته رفتار ممکن است که می‌تواند به آشکارشدن خطرهای بالقوه کمک کند.

ایده کلی این روش از «رمزگشایی گمانه‌زنانه» الهام گرفته است؛ روشی که پیش از قطعی‌شدن خروجی، گزینه‌های محتمل را بررسی می‌کند. مقاله این ایده را به تحلیل کنش‌های عامل گسترش می‌دهد تا سامانه، خطر را فقط بر پایه آخرین پیام یا کنش ارزیابی نکند.

راستی‌آزمایی با اقدام‌های واقعی عامل

پیش‌بینی به‌تنهایی برای تصمیم‌گیری کافی نیست. در مرحله دوم، SSH اقدام‌های واقعی عامل هدف را با مسیرهای پیش‌بینی‌شده مقایسه می‌کند و درخت مسیر را اصلاح یا هرس می‌کند؛ یعنی مسیرهایی را که با رفتار واقعی هم‌خوانی ندارند کنار می‌گذارد. طبق توضیح مقاله، این مرحله برای کاهش مثبت‌های کاذب در نظر گرفته شده است؛ مثبت کاذب زمانی رخ می‌دهد که یک رفتار بی‌خطر به‌اشتباه خطرناک تشخیص داده شود.

نویسندگان SSH را مؤلفه‌ای قابل‌افزودن به آشکارسازهای موجود توصیف می‌کنند. به بیان دیگر، این چارچوب قرار نیست لزوماً سامانه‌های شناسایی فعلی را کنار بگذارد، بلکه می‌تواند اطلاعات بیشتری درباره مسیرهای احتمالی رفتار در اختیار آن‌ها قرار دهد. مقاله همچنین استدلال می‌کند که ارزیابی روند کامل رفتار، وابستگی سامانه به دقت مطلق هر ابزار شناسایی منفرد را کمتر می‌کند. چکیده مقاله جزئیات عددی از میزان بهبود ارائه نمی‌دهد.

این خبر برای چه کسانی اهمیت دارد

این پیشنهاد برای تیم‌هایی اهمیت دارد که عامل‌های هوش مصنوعی را در محیط‌های چندمرحله‌ای به‌کار می‌گیرند و باید رفتارهای پرخطر را پیش از تکمیل یک زنجیره اقدام تشخیص دهند. برای پژوهشگران امنیت هوش مصنوعی نیز SSH نمونه‌ای از حرکت از تحلیل صرفِ سابقه تعامل به پیش‌بینی و بازبینی مسیرهای آینده است. بااین‌حال، مقاله در چکیده خود یک چارچوب پیشنهادی را شرح می‌دهد و نباید آن را به‌تنهایی شاهدی بر عملکرد قطعی در استقرارهای واقعی دانست.