پژوهش BadRAG: تزریق متن مخرب چگونه پاسخ مدل‌های زبانی را منحرف می‌کند؟

امنیت سامانه‌های RAG با تهدیدی روبه‌رو است که بدون دست‌کاری مدل یا تغییر پرسش کاربر، می‌تواند پاسخ آن را منحرف کند. پژوهشی با عنوان BadRAG در arXiv بررسی می‌کند که مهاجم چگونه با افزودن متن‌های هدفمند به پایگاه دانش بیرونی، محتوای بازیابی‌شده و در نتیجه پاسخ مدل‌های زبانی را تحت تأثیر قرار می‌دهد.

حمله از مسیر پایگاه دانش انجام می‌شود

RAG یا «تولید تقویت‌شده با بازیابی»، روشی است که در آن مدل زبانی پیش از پاسخ‌گویی، اطلاعات مرتبط را از منابع بیرونی پیدا می‌کند و به کار می‌گیرد. این سازوکار می‌تواند پاسخ‌ها را به اطلاعات به‌روزتر و متناسب‌تر با پرسش پیوند دهد؛ اما اتکا به مجموعه‌های بزرگی از داده‌های بیرونی، مانند مخزن‌های پالایش‌نشده، سطح حمله تازه‌ای ایجاد می‌کند.

به گفته نویسندگان مقاله، در BadRAG مهاجم متن‌های مخرب را به پایگاه دانش وارد می‌کند. این متن‌ها طوری طراحی می‌شوند که تنها در صورت حضور واژه‌های محرک مشخص در پرسش کاربر بازیابی شوند. سامانه سپس به محتوای بازیابی‌شده ارجاع می‌دهد و مهاجم می‌تواند پاسخ را جهت‌دهی کند؛ بی‌آنکه ورودی کاربر یا وزن‌های مدل را تغییر دهد.

نتایج آزمایش و پیامدهای امنیتی

روش توصیف‌شده در مقاله دو بخش دارد: نخست، متن‌های مخرب به‌گونه‌ای بهینه می‌شوند که با وجود واژه‌های محرک در پرسش، بازیابی شوند؛ سپس محتوای آن‌ها برای رسیدن به هدف‌های مشخص در تولید پاسخ تنظیم می‌شود. نویسندگان از هدف‌هایی مانند جلوگیری از ارائه خدمت، دست‌کاری لحن احساسی پاسخ، افشای اطلاعات زمینه‌ای و سوءاستفاده از ابزارها نام می‌برند.

طبق نتایج آزمایش‌های گزارش‌شده، افزودن ۱۰ متن مخرب، معادل ۰٫۰۴ درصد از پیکره بیرونی، به نرخ موفقیت بازیابی ۹۸٫۲ درصدی رسید. همچنین در پرسش‌های دارای واژه‌های محرک، نرخ پاسخ‌های منفی از ۰٫۲۲ درصد به ۷۲ درصد افزایش یافت. این ارقام به آزمایش‌های مقاله مربوط‌اند و به‌تنهایی نشان نمی‌دهند که هر سامانه RAG در شرایط واقعی همین میزان آسیب‌پذیری دارد.

یافته اصلی پژوهش این است که امنیت مدل فقط به وزن‌ها و ورودی مستقیم آن محدود نمی‌شود؛ منبعی که مدل برای پاسخ‌گویی از آن اطلاعات می‌گیرد نیز می‌تواند مسیر پاسخ را تغییر دهد. چکیده مقاله جزئیات بیشتری درباره روش آزمایش یا راهکارهای دفاعی ارائه نمی‌کند، اما نتایج، اهمیت بررسی و پاک‌سازی منابع بیرونی را برجسته می‌کند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای سازندگان سامانه‌های RAG، تیم‌های امنیت هوش مصنوعی و سازمان‌هایی اهمیت دارد که مدل‌های زبانی را به پایگاه‌های داده یا جست‌وجوی بیرونی متصل می‌کنند. برای این گروه‌ها، ارزیابی منشأ و کیفیت داده‌های بازیابی‌شده بخشی مهم از سنجش ریسک است؛ زیرا محتوای مخرب ممکن است بدون تغییر خود مدل، بر پاسخ آن اثر بگذارد.