پرش به محتوای اصلی
دوشنبه ۲۷ مهر ۱۴۰۵به‌روزرسانی: ۶ ساعت پیش
کانال تلگرام
اخبار لحظه‌ای

آسیب‌پذیری MCP می‌تواند دستورهای مخرب را میان عامل‌های هوش مصنوعی پخش کند

پژوهشگر مستقلی با آزمایش عامل‌های هوش مصنوعی در چند سازمان، شکاف‌های اعتماد در MCP را بررسی کرده است. این ضعف می‌تواند به انتقال دستورهای مخرب از یک عامل به عامل دیگر منجر شود.

نویا را به منابع منتخبت در گوگل اضافه کن (در زبانه جدید باز می‌شود)
آسیب‌پذیری MCP می‌تواند دستورهای مخرب را میان عامل‌های هوش مصنوعی پخش کند
فهرست مطالب
  1. ۱چگونه یک عامل می‌تواند عامل‌های دیگر را فریب دهد؟
  2. ۲نقش MCP در زنجیره اعتماد
  3. ۳آزمایش عامل‌ها در سازمان‌های مختلف
  4. ۴این خبر برای چه کسانی اهمیت دارد
خلاصه خبر در چند خط
  • MCP راهی برای ارتباط اپلیکیشن‌ها و عامل‌های هوش مصنوعی در شبکه داخلی است.
  • یک عاملِ مورد نفوذ می‌تواند دستورهای مخرب را به عامل‌های دیگر منتقل کند.
  • این حمله به‌جای مدل زبانی، اعتماد میان عامل‌ها را هدف می‌گیرد.
  • پژوهشگر مستقلی عامل‌هایی از چند سازمان را برای بررسی این ضعف آزمایش کرد.

امنیت MCP با افزایش استفاده سازمان‌ها از عامل‌های هوش مصنوعی به مسئله‌ای جدی‌تر تبدیل شده است: ضعف در شیوه اعتماد عامل‌ها به یکدیگر می‌تواند به مهاجمان اجازه دهد دستورهای مخرب را در شبکه داخلی پخش کنند. به گزارش Ars Technica، این دستورها ممکن است عامل‌ها را به اقدام‌هایی مانند استخراج محتوای پایگاه داده یا اطلاعات حساس کاری و شخصی سوق دهند.

چگونه یک عامل می‌تواند عامل‌های دیگر را فریب دهد؟

این حمله شکل ویژه‌ای از «تزریق پرامپت» است؛ روشی که در آن ورودی دست‌کاری‌شده، سامانه هوش مصنوعی را به انجام کاری ناخواسته ترغیب می‌کند. در این مورد، هدف لزوماً خود مدل زبانی نیست، بلکه عاملی مشخص، مانند عامل ترجمه یا تحلیل داده، است.

اگر عامل نخست دستورهای ورودی را به‌درستی بررسی نکند، ممکن است آن‌ها را به عامل بعدی در زنجیره بفرستد. عامل دوم نیز چون به عامل قبلی اعتماد دارد، احتمال دارد دستور را معتبر بداند و دنبال کند. به این ترتیب، مهاجم می‌تواند از ارتباط میان چند عامل برای گسترش دستورهای آسیب‌زا بهره ببرد.

نقش MCP در زنجیره اعتماد

پژوهشگر مستقل Syed Anas Mohiuddin در آزمایش‌های اثبات مفهوم خود، شکاف‌های اعتماد در Model Context Protocol یا MCP را بررسی کرده است. MCP یکی از راه‌هایی است که اپلیکیشن‌ها و عامل‌های هوش مصنوعی برای ارتباط با یکدیگر در شبکه داخلی به کار می‌گیرند.

طبق گزارش Ars Technica، در پنج ماه پیش از انتشار گزارش، Google و چهار سازمان دیگر وجود آسیب‌پذیری‌هایی را پذیرفته‌اند که از یک عامل در شبکه هدف برای رساندن دستورهای مضر به عامل‌های داخلی دیگر سوءاستفاده می‌کنند. این گزارش تأکید می‌کند که محافظ‌های امنیتی در برخی عامل‌ها ضعیف‌اند یا اصلاً وجود ندارند؛ در نتیجه، دستور ممکن است بدون بررسی کافی به بخش بعدی زنجیره منتقل شود.

آزمایش عامل‌ها در سازمان‌های مختلف

Mohiuddin عامل‌هایی را در سازمان‌هایی از جمله Google، JPMorgan Chase، Weaviate و Rapid7 آزمایش کرده است. فهرست آزمایش‌ها همچنین شامل اداره بین‌وزارتی دیجیتال دولت فرانسه و دولت فدرال ایالات متحده می‌شود. این موارد به‌عنوان سازمان‌هایی معرفی شده‌اند که عامل‌هایشان در بررسی پژوهشگر قرار داشته‌اند؛ گزارش، جزئیات بیشتری درباره نتیجه هر آزمایش در متن در دسترس ارائه نمی‌کند.

این یافته‌ها مسئله‌ای فراتر از آسیب‌پذیری یک ابزار منفرد را مطرح می‌کنند: وقتی عامل‌ها به هم متصل می‌شوند، اعتماد میان آن‌ها می‌تواند به سطحی تازه از خطر تبدیل شود. در چنین ساختاری، حتی اگر یک عامل برای کاری محدود طراحی شده باشد، خروجی آن ممکن است بر رفتار عامل‌های دیگر اثر بگذارد.

این خبر برای چه کسانی اهمیت دارد

این موضوع برای سازمان‌هایی اهمیت دارد که عامل‌های هوش مصنوعی را به پایگاه‌های داده، اسناد یا فرایندهای داخلی وصل می‌کنند؛ به‌ویژه اگر چند عامل در یک زنجیره با یکدیگر کار کنند. گزارش نشان می‌دهد که بررسی دستورهای ورودی و خروجی و سنجش میزان اعتماد میان عامل‌ها، بخشی از مسئله امنیتی است و نمی‌توان ارزیابی را فقط به مدل زبانی محدود کرد.

پرسش‌های متداول

MCP چیست؟
Model Context Protocol یا MCP استانداردی برای ارتباط اپلیکیشن‌ها و عامل‌های هوش مصنوعی در شبکه داخلی است.
این حمله چگونه عمل می‌کند؟
مهاجم یک عامل را هدف می‌گیرد تا دستورهای مخرب را به عامل‌های بعدی برساند؛ عامل‌های بعدی ممکن است به فرستنده اعتماد کنند و دستورها را اجرا کنند.
منبع خبرArs Technica — AI
#MCP#امنیت_هوش_مصنوعی#تزریق_پرامپت#عامل‌های_هوش_مصنوعی
درباره نویسندهپژوهشگر اقتصاد دیجیتال

دانش آموخته مدیریت کسب و کار گرایش استراتژی و پژوهشگر ، استراتژیست و توسعه دهنده اقتصاد دیجیتال

مطالب مرتبط

همه اخبار هوش مصنوعیتازه‌ترین خبرهای امروز را در هوش مصنوعی نویا دنبال کنید
این خبر را به اشتراک بگذارید