OpenAI می‌گوید استخراج زنجیره استدلال را مهار کرده، اما Azure آسیب‌پذیر ماند

استخراج زنجیره استدلال مدل‌های OpenAI، به گفته این شرکت، از مسیر حساب‌های جعلی و با استفاده از یک ضعف فنی دنبال می‌شد؛ OpenAI می‌گوید شبکه‌ای بیش از ۱۵ هزار حساب مرتبط با این تلاش‌ها را مسدود کرده و دسترسی‌های مسئله‌ساز را محدود کرده است. بااین‌حال، پژوهشگرانی که این آسیب‌پذیری را بررسی کرده‌اند می‌گویند در حالی که حمله روی APIهای رسمی OpenAI و Anthropic مهار شده بود، همان روش روی Azure همچنان کار می‌کرد. این اختلاف نشان می‌دهد ایمن‌سازی یک سرویس به‌تنهایی کافی نیست، اگر مدل‌های مشابه از مسیرهای ابری دیگر هم در دسترس باشند.

تلاش برای استخراج زنجیره استدلال چگونه شناسایی شد؟

طبق توضیح OpenAI، فعالیت‌ها از اول ژوئیه و با حجمی محدود آغاز شد. در روزهای ۲۴ و ۲۵ ژوئیه، درخواست‌ها به حدود ۱۶ هزار مورد رسید و بیش از ۴ هزار کاربر از الگویی مشابه برای استخراج اطلاعات استفاده کردند. بررسی بیشتر، مجموعه‌ای از بیش از ۱۵ هزار حساب با رفتارهای مرتبط را آشکار کرد. OpenAI می‌گوید تا ۲۸ ژوئیه این حساب‌ها را مسدود کرده بود.

این ارقام را نباید با تعداد حمله‌های موفق یکی دانست. OpenAI در توضیح خود تأکید کرده که داده‌ها نشان‌دهنده تلاش برای استخراج هستند و ثابت نمی‌کنند همه درخواست‌ها به دریافت اطلاعات موردنظر انجامیده‌اند. این تفکیک مهم است، چون گزارش از فعالیت‌های شناسایی‌شده سخن می‌گوید، نه از میزان دقیق اطلاعاتی که احتمالاً از دسترس مدل خارج شده است.

OpenAI گروهی از افراد مرتبط با این فعالیت‌ها را به کسانی پیوند داده که به Moonshot AI، سازنده مدل زبانی Kimi، ارتباط دارند. بااین‌حال، شرکت گفته روشن نیست همه افراد و حساب‌هایی که شناسایی کرده به یک منبع واحد برسند. گزارش همچنین به تلاش‌های مشابهی اشاره می‌کند که Anthropic پیش‌تر از سوی شرکت‌های هوش مصنوعی چینی گزارش کرده بود.

هدف چنین تلاشی تنها به دست آوردن پاسخ‌های معمول مدل نیست. در فرایندی به نام تقطیر، یک مدل از خروجی مدل دیگری برای یادگیری استفاده می‌کند. اگر خروجی شامل مراحل میانی استدلال باشد، می‌تواند اطلاعاتی فراتر از پاسخ نهایی در اختیار مدل یادگیرنده بگذارد. به گفته OpenAI، این مراحل گاهی شامل محتوایی هستند که عمداً در پاسخ نهایی نمایش داده نمی‌شود و ممکن است به دیگران در بازسازی بخشی از توانایی‌های مدل کمک کند.

ضعف بسته‌های رمزگذاری‌شده چه بود؟

بر اساس شرح OpenAI، یکی از روش‌های مورد استفاده این بود که مهاجم داده‌های رمزگذاری‌شده مربوط به استدلال را از یک گفت‌وگو کپی می‌کرد و سپس در گفت‌وگویی جداگانه از یک مدل می‌خواست آن‌ها را رمزگشایی و به متن تبدیل کند. رمزگذاری به‌طور معمول برای حفاظت از داده‌هاست؛ اما پژوهشگرانی که سازوکار را بررسی کردند دریافتند بسته‌های مورد بحث را می‌شد میان نشست‌ها، کاربران و حتی مدل‌های مختلف یک ارائه‌دهنده جابه‌جا کرد.

این پژوهشگران به سرپرستی Joachim Schaeffer پیش‌تر در مقاله‌ای توضیح داده بودند که چون بسته‌ها با کلیدهای مشترک رمزگذاری شده‌اند، ممکن است از زمینه‌ای که برای آن ساخته شده‌اند جدا شوند و در جای دیگری به کار بروند. در آن حالت، یک مدل ارزان‌تر و ضعیف‌تر از همان خانواده می‌تواند نقش «اوراکل رمزگشایی» را بازی کند؛ یعنی داده را دریافت کند و محتوای پنهان آن را به شکلی قابل‌خواندن بازگرداند. برای عموم، می‌توان این سازوکار را شبیه استفاده از یک ابزار رمزگشایی دانست که به‌جای بازکردن فایل، آن را برای کاربر بازنویسی می‌کند.

OpenAI گفته یافته‌های این گروه را بررسی و واقعی بودن مسیرهای حمله را تأیید کرده است. شرکت همچنین پژوهشگران را بابت کمک به شناسایی مشکل و سرعت‌دادن به اقدامات اصلاحی مورد تقدیر قرار داده است. در پاسخ، OpenAI می‌گوید حساب‌های متقلب را بسته، فرایند ثبت‌نام را سخت‌گیرانه‌تر کرده و راه استفاده دوباره از استدلال رمزگذاری‌شده‌ای را که به کاربر دیگری تعلق داشته، مسدود کرده است.

این شرکت همچنین گفته خروجی‌های جریانی را بررسی می‌کند و اگر احتمال دهد نمایش آن‌ها می‌تواند استدلال مدل را افشا کند، از ارائه‌شان جلوگیری می‌کند. منظور از خروجی جریانی، پاسخی است که هنگام تولید و نه فقط پس از پایان کامل، به‌تدریج به کاربر می‌رسد. OpenAI اعلام کرده آموخته‌های خود را از مسیر Frontier Model Forum و کانال‌های دولتی نیز به اشتراک گذاشته، چون این مسئله محدود به مدل‌های خودش نیست.

چرا محافظت از API کافی نبود؟

در همان روزی که OpenAI از اقداماتش خبر داد، پژوهشگران نسخه به‌روزشده‌ای از مطالعه خود را منتشر کردند. آزمایش دوباره آن‌ها در ۱۳ سپتامبر نشان داد حمله روی APIهای رسمی OpenAI و Anthropic مسدود شده است؛ اما پژوهشگران گفتند روی مدل‌های OpenAI عرضه‌شده از طریق Microsoft Azure موفق شدند. در آزمایش‌های گزارش‌شده، این روش روی همه مدل‌های OpenAI که امتحان کردند، از جمله GPT-6 Astra، کار می‌کرد. آن‌ها همچنین از امکان اجرای حمله روی مدل‌های Anthropic تا Sonnet 5 خبر دادند.

به گفته تیم پژوهشی، در یک نمونه کافی بود یک‌بار تلاش شود تا استدلال مدل به‌صورت عین‌به‌عین استخراج شود. تفاوت میان APIهای مستقیم و محیط ابری نشان می‌دهد که حفاظت وابسته به جایی است که مدل در آن میزبانی می‌شود. به بیان دیگر، شرکتی ممکن است مسیر دسترسی خودش را ایمن کند، اما اگر شریک ابری همان مدل را با تدابیر متفاوت عرضه کند، مهاجم می‌تواند سراغ مسیر ضعیف‌تر برود.

پژوهشگران در کنار روش رمزگشایی، شیوه ساده‌تری را هم بررسی کردند. توسعه‌دهنده‌ای به نام Can Bölük نشان داده بود که می‌توان به مدل یک ابزار شبیه دفترچه یادداشت مجازی داد و از آن خواست مراحل استدلالش را در آن بنویسد؛ سپس کاربر محتوای نوشته‌شده را می‌بیند. این روش طبق گزارش پژوهشگران روی همه مدل‌های OpenAI آزمایش‌شده و نیز Opus 4.8 و Sonnet 5 کار کرده است. آن‌ها گفتند Opus 5، Fable 5 و Fable 5.1 استدلال را افشا نکردند.

خروجی این روش، به گفته گروه، شباهت زیادی به نتیجه حمله رمزگشایی داشت و احتمالاً می‌توانست به همان اندازه برای تقطیر مدل مفید باشد. وجود چند مسیر متفاوت برای دستیابی به محتوای پنهان، کار دفاع را پیچیده می‌کند: بستن یک الگوی درخواست لزوماً روش‌های دیگر را از کار نمی‌اندازد.

پژوهشگران خواستار حفاظت یکسان در همه مسیرها هستند

پژوهشگران اقدام‌های انجام‌شده را پراکنده و سطحی توصیف کرده‌اند. از نظر آن‌ها، برخی اصلاحات به شناسایی الگوهای مشخص درخواست متکی‌اند و ممکن است با تغییر روش مهاجم از کار بیفتند. همچنین، بخشی از حفاظت‌ها با تأخیر به پلتفرم‌های ابری رسیده است. طبق خط زمانی منتشرشده از سوی گروه، GPT-6 Astra هنگام عرضه روی پلتفرم‌های شخص ثالث هنوز این تدابیر را نداشت و حفاظت برای نقطه دسترسی Azure در ۲۷ سپتامبر اضافه شد. آن‌ها گزارش کردند که از ۲۸ سپتامبر، دیگر نتوانسته‌اند استخراج مشابهی را از مدل‌های Anthropic روی Azure تکرار کنند.

Schaeffer استدلال می‌کند که اصلاحات باید همه شکل‌های حمله و همه ارائه‌دهندگان ابری میزبان مدل‌ها را پوشش دهند؛ وگرنه مهاجمان به‌سادگی مسیری را انتخاب می‌کنند که دفاع ضعیف‌تری دارد. مقاله پژوهشگران حتی پیشنهاد می‌کند پلتفرم‌هایی که حفاظت هم‌ارز را اجرا نمی‌کنند، نباید مدل‌های دارای قابلیت استدلال را عرضه کنند. آن‌ها هشدار داده‌اند که مسیرهای دسترسی باز می‌توانند محدودیت‌های صادراتی را در سطح API بی‌اثر کنند.

OpenAI نیز پذیرفته است که مدل‌های میزبانی‌شده نزد شرکا باید همان سطح حفاظت خدمات خودش را داشته باشند، اما گفته این کار هنوز به پایان نرسیده است. این موضوع مسئله را از یک نقص فنی منفرد فراتر می‌برد: امنیت مدل فقط به طراحی مدل یا API متعلق به سازنده وابسته نیست و نحوه میزبانی، انتقال خروجی و کنترل دسترسی در سرویس‌های شریک هم اهمیت دارد.

این خبر برای چه کسانی اهمیت دارد

این گزارش برای شرکت‌هایی اهمیت دارد که مدل‌های پیشرفته را از طریق API یا زیرساخت ابری عرضه می‌کنند؛ زیرا نشان می‌دهد حفاظت باید در تمام نقاط دسترسی یکسان باشد. برای پژوهشگران امنیت و توسعه‌دهندگان نیز نمونه‌ای از این است که داده‌های میانی و ابزارهای جانبی ممکن است راهی برای دور زدن محدودیت‌های معمول فراهم کنند.

سازمان‌هایی که مدل‌های تجاری را برای کارهای حساس به‌کار می‌گیرند، باید به این نکته توجه کنند که سطح حفاظت ممکن است با تغییر پلتفرم میزبانی فرق کند. در نهایت، برای کاربران عادی هم اهمیت دارد؛ چون اطلاعاتی که در پاسخ نهایی دیده نمی‌شود، ممکن است همچنان از مسیرهای فنی دیگر در معرض دسترسی قرار گیرد. OpenAI انتظار دارد تلاش‌ها برای کپی‌کردن توانایی مدل‌های پیشرفته با رشد این مدل‌ها پیچیده‌تر شود؛ بنابراین، هماهنگی میان سازندگان مدل و ارائه‌دهندگان ابر برای بستن شکاف‌ها ضروری خواهد بود.