Google آموزش فدرال Gboard را به محیط‌های امن پردازشی می‌برد

یادگیری فدرال امن در Gboard حالا با سامانه‌ای تازه از Google Research انجام می‌شود؛ روشی که بنا بر اعلام این تیم، امکان بررسی بیرونی تضمین‌های حریم خصوصی تفاضلی را فراهم می‌کند. Google می‌گوید این سامانه برای آموزش مدل‌های پیش‌بینی واژه بعدی به زبان‌های انگلیسی و ژاپنی در Gboard به کار رفته و هم‌زمان حریم خصوصی قوی‌تر و دقت بهتر را برای این مدل‌ها به همراه داشته است. اهمیت تغییر در این است که بررسی نحوه پردازش داده‌ها دیگر فقط به وعده اپراتور سامانه وابسته نیست.

یادگیری فدرال امن چه مشکلی را هدف می‌گیرد؟

یادگیری فدرال روشی برای آموزش مدل است که در آن داده‌ها روی دستگاه کاربران باقی می‌مانند و دستگاه‌ها به‌جای فرستادن مجموعه داده خام، اطلاعات لازم برای آموزش را ارسال می‌کنند. Google این روش را در سال ۲۰۱۷ معرفی کرد. این فناوری در قابلیت‌هایی مانند پیشنهاد واژه بعدی و Smart Compose در Gboard، پیشنهاد پاسخ در Google Messages و انتخاب هوشمند متن در Android استفاده شده است.

با وجود این مزیت، در سامانه‌های قبلی یک شکاف اعتماد وجود داشت: دستگاه‌ها داده را برای تجمیع به سرور می‌فرستادند، اما افراد بیرون از Google راهی برای اطمینان از این‌که داده‌ها ثبت یا بررسی نشده‌اند، نداشتند. «تجمیع امن» با استفاده از رمزنگاری از داده‌ها محافظت می‌کرد، اما به گفته Google با الگوریتم‌های پیشرفته حریم خصوصی تفاضلی مرکزی، از جمله DP-FTRL مبتنی بر فاکتورگیری ماتریسی، سازگار نبود. همچنین کاربران باید به خود Google اعتماد می‌کردند که نویز لازم را به‌درستی به داده‌های آموزشی اضافه کند.

حریم خصوصی تفاضلی یا DP روشی آماری است که با افزودن نویز کنترل‌شده، احتمال اثرگذاری داده یک فرد بر خروجی مدل را محدود می‌کند. Google می‌گوید طراحی جدید این تضمین‌ها را با پردازش قابل‌بررسی ترکیب می‌کند: محاسبه گرادیان‌های سمت کاربر به سرور منتقل می‌شود و منطق اجرایی سرور در محیطی قرار می‌گیرد که بتوان آن را تأیید کرد.

محیط‌های اجرای مورد اعتماد چگونه کار می‌کنند؟

پایه سامانه، محیط اجرای مورد اعتماد یا TEE است؛ بخشی ایزوله از زیرساخت پردازشی که می‌تواند کد و داده را در برابر دسترسی‌های خارج از محیط محافظت کند. طرح Google چهار بخش اصلی دارد. نخست، دستگاه داده آموزشی را به‌صورت محلی رمزگذاری می‌کند و پیش از بارگذاری، سیاست دسترسی مشخصی را می‌پذیرد. این سیاست تعیین می‌کند کدام محاسبات در TEE اجازه پردازش داده را دارند.

سیاست‌ها در Rekor، دفتر ثبت عمومی و شفافیت متعلق به Sigstore، ثبت می‌شوند. در گام بعد، سامانه مدیریت کلید یا KMS کلیدهای رمزگشایی را فقط در اختیار پردازش‌هایی می‌گذارد که با سیاست مجاز مطابقت داشته باشند. این KMS خود از TEEهایی استفاده می‌کند که پروتکل اجماع RAFT را اجرا می‌کنند؛ سازوکاری برای هماهنگ‌کردن تصمیم‌ها در سامانه توزیع‌شده.

در مرحله آموزش، یک TEE اصلی حلقه آموزشی Python را اجرا می‌کند و وظایف فرعی را به TEEهای دیگر می‌سپارد. هماهنگی کارها با استفاده از Federated Language انجام می‌شود؛ زبانی که بر پایه TensorFlow Federated ساخته شده است. طبق توضیح Google، خروجی قابل‌انتشار فقط وزن‌های مدلِ دارای حریم خصوصی تفاضلی است. در صورت ازکارافتادن TEE اصلی یا یکی از TEEهای پردازشی نیز هر دور آموزش یک وضعیت بازیابی رمزگذاری‌شده ذخیره می‌کند.

ممیزی‌پذیری و دستاوردهای گزارش‌شده برای Gboard

ثبت عمومی سیاست‌ها به ممیزان بیرونی امکان می‌دهد پردازش‌هایی را که داده یک دستگاه ممکن است در اختیارشان قرار گیرد دنبال کنند. Google همچنین می‌گوید کد اجرایی KMS و پردازش داده را می‌توان از کد منبع باز به‌صورت بازتولیدپذیر ساخت؛ یعنی می‌توان بررسی کرد فایل اجرایی با همان کد منتشرشده ساخته شده است. سیاست‌ها مستقیماً برنامه آموزشی Python را توصیف می‌کنند، اما برای محافظت از معماری اختصاصی مدل، TEE می‌تواند منطق سریال‌شده را هنگام اجرا بارگذاری کند. به گفته شرکت، بخش‌های مرتبط با حریم خصوصی باید در برنامه تأییدشده از پیش تعریف شده باشند.

اپراتورهای سامانه به گفته Google فقط معیارهای عملکرد و وزن‌های مدلِ دارای حریم خصوصی تفاضلی را می‌بینند. داده رمزگذاری‌شده نیز تنها برای مدتی محدود پس از بارگذاری قابل رمزگشایی است. این محدودیت‌ها در کنار دفتر ثبت عمومی، برای آن طراحی شده‌اند که بررسی رعایت سیاست‌ها به اعتماد صرف به گرداننده سامانه وابسته نباشد.

Google برای مقایسه منحنی‌های توازن میان حریم خصوصی و کارایی، یک مدل انگلیسی را در ۵۰۰۰ دور آموزش و با گروه‌هایی شامل ۶۵۰۰ دستگاه بررسی کرده است. شرکت می‌گوید در طراحی جدید همه بارگذاری‌ها پیش از آغاز آموزش سمت سرور گردآوری می‌شوند. در نتیجه، تغییرهای روزانه در دسترس‌بودن دستگاه‌ها دیگر روند آموزش را کند نمی‌کند و برنامه می‌تواند زمان‌بندی مشارکت و پارامترهای DP را تنظیم کند.

انتقال گلوگاه از دستگاه‌ها به سرور نیز امکان اجرای موازی آموزش روی چندین ماشین را فراهم می‌کند؛ محدودیت اصلی، بنا بر توضیح Google، دسترسی به منابع TEE است. مدل‌های پیشین یادگیری فدرال هرکدام یک تا دو ماه برای آموزش زمان می‌بردند. شرکت از کاهش چشمگیر زمان محاسبات در سامانه تازه خبر داده، اما رقم مشخصی برای سرعت‌بخشی منتشر نکرده است.

این خبر برای چه کسانی اهمیت دارد

این تغییر برای کاربران Gboard و دیگر محصولات مبتنی بر یادگیری فدرال اهمیت دارد، چون سازوکار ادعاشده برای حفاظت از داده‌ها را به فرایندی قابل‌پیگیری‌تر پیوند می‌دهد. برای پژوهشگران حریم خصوصی و ممیزان نیز ثبت عمومی سیاست‌ها و امکان بازبینی کد، ابزارهای تازه‌ای برای ارزیابی ادعاهای فنی فراهم می‌کند. با این حال، جزئیات منتشرشده به‌تنهایی اثبات مستقل عملکرد سامانه نیست و Google نیز رقم دقیقی از بهبود سرعت یا دقت ارائه نکرده است؛ بنابراین ارزش عملی این رویکرد به شفافیت پیاده‌سازی و امکان ارزیابی آن وابسته خواهد بود.