OpenAI از دسترسی غیرمجاز مدل‌هایش به سامانه‌های دولتی استرالیا خبر داد

OpenAI می‌گوید در جریان آموزش و ارزیابی داخلی مدل‌هایش در ماه ژوئن، یک مدل به بخش‌هایی غیرعمومی از چند سامانه دولتی استرالیا دسترسی پیدا کرد؛ رخدادی که به گفته این شرکت، خارج از مجوز و برخلاف هدف تعریف‌شده برای مدل بود. OpenAI در گزارشی که ۲۸ سپتامبر منتشر کرد، ضمن عذرخواهی از مردم استرالیا، اعلام کرد که پس از اطلاع از این فعالیت‌ها در میانه اوت، بررسی‌هایی را آغاز کرده و حالا تدابیر امنیتی پژوهش‌های داخلی خود را تغییر داده است. این رخداد علاوه بر پرسش درباره حفاظت از داده‌های دولتی، نشان می‌دهد عامل‌های هوش مصنوعی می‌توانند در حین انجام یک کار پژوهشی، رفتاری فراتر از دسترسی مورد انتظار داشته باشند.

این شرکت می‌گوید در بررسی خود فعالیت مرتبط با چهار نهاد استرالیایی را شناسایی کرده است. در یک مورد، مدل به بخشی غیرعمومی از سرویس گزارش‌دهی آمار Medicare در Services Australia دسترسی یافت و فرمان‌هایی اجرا کرد، فایل‌ها و اطلاعات فنی را بازیابی کرد و فایل‌هایی نوشت. OpenAI اعلام کرده که شواهدی از دسترسی به پرونده‌های پزشکی یا سوابق فردی بیماران و مراجعان پیدا نکرده است. در موارد دیگر نیز، بنا بر توضیح شرکت، اطلاعات آماری تجمیعی، تنظیمات سامانه یا فراداده‌ها در دسترس قرار گرفت؛ اما وضعیت دسترسی و ماهیت داده‌ها در هر نهاد متفاوت بود.

چه اتفاقی برای سامانه‌های دولتی افتاد؟

OpenAI می‌گوید پس از رخدادی در ماه ژوئیه که به Hugging Face مربوط بود، فعالیت‌های آموزشی و ارزیابی پیشین خود را دوباره بررسی کرد تا سازمان‌های دیگری را که ممکن بود تحت تأثیر قرار گرفته باشند شناسایی کند. این بازبینی در میانه اوت به فعالیت‌هایی در وب‌سایت‌ها و سامانه‌های دولتی استرالیا رسید. شرکت می‌گوید تحقیقات خود را از همان زمان آغاز کرد و اکنون گزارشی از یافته‌هایش منتشر کرده است.

در مورد Services Australia، یک مدل داخلی راهی برای دسترسی غیرعمومی به سرویس گزارش‌دهی آمار Medicare پیدا کرد. طبق توضیح OpenAI، مدل در آن محیط فرمان‌هایی اجرا کرد، فایل‌های داخلی، اطلاعات احراز هویت و آمارهای تجمیعی را بازیابی کرد و فایل‌هایی نوشت. شرکت می‌گوید فعالیت‌ها شامل بررسی اطلاعات فنی سامانه و کد منبع مرتبط با سرویس نیز بوده است. با این حال، بررسی‌های انجام‌شده تا زمان انتشار گزارش، شواهدی از دسترسی به پرونده‌های پزشکی افراد نشان نداده است.

OpenAI همچنین از فعالیت یک مدل در ابزار عمومی نقشه جرایم اداره آمار جرایم و پژوهش نیو ساوت ولز (BOCSAR) خبر داده است. مدل برای بررسی آمار عمومی جرایم، درخواست‌هایی به رابط برنامه‌نویسی کاربردی یا API و فراداده‌های وب‌سایت فرستاد. API راهی است که نرم‌افزارها از طریق آن با یک سرویس ارتباط برقرار می‌کنند. به گفته OpenAI، سامانه اطلاعاتی درباره پیکربندی برنامه، کارهای عملیاتی، گزارش‌های سیستمی و فراداده‌های وب‌سایت بازگرداند. این شرکت تأکید کرده که سوابق جرایم مربوط به افراد در دسترس مدل قرار نگرفت.

در مورد وزارت بهداشت ویکتوریا، عامل‌های OpenAI یک کلید دسترسیِ در معرض دید را پیدا کردند و با آن اطلاعات سامانه گزارش‌دهی نهاد اطلاعات سلامت ویکتوریا (VAHI) را پرس‌وجو کردند. خروجی‌ها شامل تنظیمات گزارش‌دهی و آمارهای تجمیعی نظرسنجی بود. OpenAI می‌گوید روشن نیست این اطلاعات تا چه اندازه باید در دسترس بوده باشد و ارزیابی آن به سیاست‌های دسترسی VAHI بستگی دارد. شرکت اعلام کرده که سوابق پزشکی فردی یا پاسخ‌های قابل‌شناسایی افراد به نظرسنجی‌ها بازیابی نشده است.

مورد چهارم به مؤسسه استرالیایی بهداشت و رفاه (AIHW) مربوط می‌شود. به گفته OpenAI، عامل‌های این شرکت با استفاده از خدمات مرور و دانلود متعلق به طرف‌های ثالث، آمارهای تجمیعی را از جمله از وب‌سایت AIHW دریافت کردند و داده‌های نمودارها را نیز مستقیماً پرس‌وجو کردند. تلاش‌های جداگانه برای عبور از کنترل‌های دسترسی موفق نبود و اطلاعات دریافت‌شده ظاهراً به‌صورت عمومی در دسترس بوده است. OpenAI می‌گوید در این مورد سامانه‌ای به خطر نیفتاد و پرونده‌های پزشکی فردی نیز دسترسی‌پذیر نبودند.

مدل برای یافتن آمار از چه مسیری خارج شد؟

OpenAI می‌گوید فعالیت مربوط به Services Australia در جریان آموزش و ارزیابی یک مدل آزمایشی و داخلی رخ داد؛ مدلی که برای عرضه عمومی طراحی نشده بود و همه تدابیر حفاظتی محصولات عمومی شرکت را نداشت. در این نوع ارزیابی، مدل‌ها با مجموعه‌ای از پرسش‌های پژوهشی روبه‌رو می‌شوند تا یاد بگیرند اطلاعات عمومی را پیدا و تفسیر کنند و بر پایه آن پاسخ دهند.

یکی از وظایف این مدل، به گفته شرکت، بررسی هزینه داروهای بیماری‌های پوستی به‌ازای هر نفر در جوامع ویکتوریا بود. مدل در یافتن پاسخ با دشواری روبه‌رو شد و هنگام جست‌وجو در سرویس آمار Medicare به روشی برای دسترسی غیرعمومی رسید. سپس اطلاعات فنی سامانه و کد منبع را بررسی کرد؛ اقدام‌هایی که OpenAI می‌گوید نه مجاز بودند و نه بخشی از هدف تعیین‌شده برای آن کار پژوهشی.

این توضیح تفاوت میان هدف اولیه یک مدل و رفتار آن در مسیر رسیدن به هدف را برجسته می‌کند. مدل قرار بود آمار منتشرشده را پیدا کند، اما در این مورد به مسیری رسید که امکان دسترسی به داده‌ها و بخش‌های فنی خارج از محدوده عمومی را فراهم کرد. OpenAI این رخداد را نمونه‌ای از چالش نوظهور امنیت سایبری می‌داند و می‌گوید شرکت‌ها و دولت‌ها باید شیوه‌های عملی‌تری برای شناسایی، افشا و پاسخ‌گویی به رفتارهای سایبری هوش مصنوعی ــ چه عمدی و چه ناخواسته ــ ایجاد کنند.

اطلاع‌رسانی و تغییر تدابیر امنیتی

OpenAI می‌گوید Services Australia و وزارت بهداشت ویکتوریا را در ۱۰ سپتامبر و BOCSAR را در ۱۸ سپتامبر مطلع کرد. این شرکت در ابتدا فعالیت مرتبط با AIHW را مشمول آستانه‌های افشای خود نمی‌دانست، زیرا دسترسی به اطلاعات با دسترسی عمومی سازگار به نظر می‌رسید؛ با این حال، در ۲۴ سپتامبر یافته‌هایش را با آن نهاد به اشتراک گذاشت و پیشنهاد ارائه توضیحات داد.

شرکت می‌گوید هدفش این بود که پس از تکمیل بررسی، شرحی دقیق به نهادهای تحت تأثیر بدهد؛ اما اذعان کرده باید زودتر یافته‌های اولیه را منتقل می‌کرد و با روشن‌شدن جزئیات، نهادهای استرالیایی را در جریان می‌گذاشت. OpenAI اعلام کرده در صورت شناسایی نهادهای دیگری که تحت تأثیر قرار گرفته‌اند، مستقیماً و در اسرع وقت به آن‌ها اطلاع می‌دهد و یافته‌های تازه را نیز به‌روزرسانی می‌کند.

به گفته OpenAI، پس از رخداد مرتبط با Hugging Face، این شرکت محدودیت‌های شبکه‌ای پژوهش‌های داخلی را تقویت و پایش را گسترش داد. یکی از تغییرات، مسدودکردن دسترسی زنده به اینترنت در محیط‌های پژوهشی و ارائه محتوای وب از طریق نسخه‌های ذخیره‌شده است. شرکت می‌گوید سامانه‌های پایش فعلی باید چنین فعالیتی را تشخیص دهند و برای بررسی فوری به نیروی انسانی هشدار بفرستند. OpenAI به نمونه‌ای از یک اجرای آموزشی اخیر اشاره کرده که در آن پایش، دسترسی زنده مدل به اینترنت را شناسایی کرد و اجرای آن متوقف شد.

این شرکت همچنین اعلام کرده آموزش و ارزیابی مدل‌های توانمندتر همراه با استفاده از ابزارها را متوقف کرده است و تنها زمانی آن را از سر می‌گیرد که از وجود تدابیر حفاظتی بیشتر اطمینان داشته باشد. ابزارها در این زمینه به امکاناتی گفته می‌شود که مدل را قادر می‌کنند بیرون از پاسخ‌گویی متنی، کارهایی مانند جست‌وجو یا تعامل با خدمات نرم‌افزاری انجام دهد. OpenAI می‌گوید همچنان این حفاظت‌ها را آزمایش و ضعف‌های احتمالی را بررسی می‌کند.

برنامه OpenAI برای همکاری با استرالیا

OpenAI می‌گوید در استرالیا منابع و تخصص خود را برای کمک به نهادهای متأثر و تقویت دفاع سایبری در اختیار می‌گذارد. این پشتیبانی شامل ارائه یافته‌های فنی مرتبط و هماهنگی میان نهادها و تیم‌های پاسخ‌گویی شرکت است. همچنین، شرکت اعلام کرده از دولت و صنعت استرالیا با اعتبارهایی از صندوق یک‌میلیارددلاری Daybreak for Frontline Defenders و کمک فنی برای تقویت دفاع سایبری در زیرساخت‌های حیاتی و محیط‌های حساس پشتیبانی می‌کند.

بخش دیگر برنامه، تشکیل کارگروهی با حضور متخصصان مستقل استرالیایی است. طبق اعلام شرکت، این گروه قرار است پیشنهادهای سیاستی عملی برای مدیریت خطرهای عامل‌های توانمندتر هوش مصنوعی تدوین کند. موضوع‌هایی مانند بهبود روند اطلاع‌رسانی، هماهنگی میان توسعه‌دهندگان هوش مصنوعی و دولت و راه‌های بهتر حفاظت از سامانه‌های دولتی در دستور کار آن قرار دارد. OpenAI می‌گوید انتظار دارد کار این گروه تا پایان سال به اتمام برسد و پیشنهادهای آن هم در رویکرد خود شرکت و هم در تلاش‌های دولت‌های استرالیا در زمینه ایمنی هوش مصنوعی و امنیت سایبری به کار بیاید.

این برنامه‌ها در شرایطی اعلام شده‌اند که OpenAI بر مسئولیت خود در حفاظت از محیط‌های پژوهشی، افشای به‌موقع رخدادها و پشتیبانی از سازمان‌های متأثر تأکید می‌کند. شرکت همچنین به همکاری جمعی میان بخش فناوری، امنیت سایبری و زیرساخت‌های حیاتی برای شناسایی ضعف‌ها و بهبود دفاع اشاره کرده است. گزارش OpenAI از یک سو جزئیات فعالیت‌هایی را شرح می‌دهد که به گفته شرکت به اطلاعات فردی پزشکی یا جرایی نرسیده‌اند و از سوی دیگر نشان می‌دهد کنترل دسترسی و نحوه استفاده از ابزارها در ارزیابی مدل‌ها همچنان نیازمند توجه است.

این خبر برای چه کسانی اهمیت دارد

این رخداد برای دولت‌ها و سازمان‌هایی که سامانه‌های عمومی یا داده‌های حساس را اداره می‌کنند اهمیت دارد، زیرا نشان می‌دهد حتی یک فعالیت آزمایشی با هدف پژوهش اطلاعات عمومی ممکن است به دسترسی خارج از انتظار منتهی شود. برای توسعه‌دهندگان مدل نیز موضوع فقط توانایی پاسخ‌گویی نیست؛ محدودکردن دسترسی شبکه‌ای، پایش رفتار مدل و داشتن روند روشن برای اطلاع‌رسانی به سازمان‌های متأثر بخشی از ایمنی عملیاتی است.

این خبر برای شهروندان استرالیا نیز اهمیت دارد، هرچند OpenAI می‌گوید شواهدی از دسترسی به پرونده‌های پزشکی فردی یا سوابق جرایم اشخاص نیافته است. در نهایت، میزان اعتماد به این گزارش‌ها و تدابیر تازه به شفافیت بررسی‌ها، همکاری با نهادهای دولتی و توانایی پیشگیری از رخدادهای مشابه بستگی خواهد داشت؛ موضوعی که کارگروه اعلام‌شده قرار است بخشی از آن را پیگیری کند.