در یادگیری فدرال، تشخیص داده معیوب به نوع خرابی بستگی دارد

پژوهشی که در ۲۸ سپتامبر ۲۰۲۶ در arXiv منتشر شده، نشان می‌دهد برای شناسایی داده‌های معیوب در یادگیری فدرال نمی‌توان همیشه به یک نشانه واحد تکیه کرد: خطای پیش‌بینی برای یافتن برچسب‌های نادرست بهتر عمل می‌کند، در حالی که عدم‌قطعیت مبتنی بر آنتروپی برای تشخیص نویز تصویر مناسب‌تر است. این تفاوت می‌تواند به ارزیابی دقیق‌تر کیفیت داده در سامانه‌هایی کمک کند که مدل را با داده‌های پراکنده میان چند مشارکت‌کننده آموزش می‌دهند.

دو معیار برای دو نوع خرابی

یادگیری فدرال روشی برای آموزش مدل است که در آن داده‌ها نزد مشارکت‌کنندگان باقی می‌مانند و آموزش میان آن‌ها انجام می‌شود. در چنین محیطی، کیفیت داده‌های هر مشارکت‌کننده ممکن است متفاوت باشد. پژوهشگران بررسی کرده‌اند که آیا دو معیار رایج، یعنی عدم‌قطعیت مدل و خطای پیش‌بینی نسبت به برچسب داده، می‌توانند خرابی‌های گوناگون را به یک اندازه آشکار کنند یا نه.

عدم‌قطعیت در این مطالعه با چند روش سنجیده شد: برآورد واریانس ذاتی داده، واریانس حاصل از روش «دراپ‌اوت مونت‌کارلو» و معیارهای مبتنی بر آنتروپی. دراپ‌اوت مونت‌کارلو با اجرای چندباره مدل و مقایسه پیش‌بینی‌ها، برآوردی از میزان اطمینان مدل به دست می‌دهد. معیار دیگر، خطای پیش‌بینی در برابر برچسبی است که همراه نمونه ارائه شده؛ بنابراین اگر تصویر درست باشد اما برچسب آن غلط ثبت شده باشد، این خطا ممکن است افزایش یابد.

برچسب‌های غلط و نویز تصویر

آزمایش‌ها با مدل ResNet-20 و مجموعه‌داده‌های تصویری CIFAR-10 و SVHN انجام شدند. داده‌ها میان کلاینت‌ها با تقسیم‌بندی دیریکله توزیع شده بودند؛ روشی که در اینجا به ایجاد توزیع‌های ناهمسان و غیریکسان در میان مشارکت‌کنندگان می‌انجامد. پژوهش دو نوع خرابی را سنجید: برچسب‌هایی که به‌طور تصادفی و پایدار تغییر کرده بودند و نویز افزوده‌شده به ورودی تصویر.

برای برچسب‌های غلط، خطای پیش‌بینی نسبت به برچسب ثبت‌شده توانست نمونه‌های خراب را از نمونه‌های سالم جدا کند. مساحت زیر منحنی ROC، معیاری برای سنجش توان تفکیک دو گروه، برای این معیار در CIFAR-10 برابر با ۰٫۸۵ و در SVHN برابر با ۰٫۹۵ گزارش شد. در مقابل، همه برآوردگرهای عدم‌قطعیت در همین آزمایش نزدیک به عملکرد تصادفی بودند و امتیازهایی میان ۰٫۴۹ تا ۰٫۵۰ داشتند.

به گفته پژوهشگران، این تفاوت با رفتاری سازگار است که در آن مدل، با وجود برچسب نادرست، همچنان به تصویر اصلی اطمینان دارد. در نتیجه، سنجش عدم‌قطعیت لزوماً خطای برچسب را آشکار نمی‌کند.

الگوی نویز تصویر متفاوت بود. عدم‌قطعیت مبتنی بر آنتروپی در CIFAR-10 امتیاز ۰٫۶۷ و در SVHN امتیاز ۰٫۶۶ گرفت. خطای پیش‌بینی نیز برای هر دو مجموعه‌داده امتیاز ۰٫۶۴ داشت. بنابراین هر دو معیار در تشخیص نویز از شانس بهتر بودند، اما آنتروپی در این آزمایش‌ها اندکی عملکرد بالاتری نشان داد.

انتخاب معیار باید با نوع خرابی هماهنگ باشد

جمع‌بندی مقاله این است که «عدم‌قطعیت» به‌تنهایی معیار جامعی برای ارزیابی کیفیت داده در یادگیری فدرال نیست. اگر مسئله برچسب‌های نادرست باشد، خطای پیش‌بینی نسبت به برچسب ارائه‌شده نشانه قوی‌تری است؛ اگر ورودی‌ها نویز داشته باشند، عدم‌قطعیت مبتنی بر آنتروپی می‌تواند اطلاعات مفیدتری فراهم کند. پژوهش همچنین گزارش می‌کند که برتری این معیار عدم‌قطعیت برای نویز تصویر، با افزایش شیوع خرابی در کل فدراسیون آشکارتر می‌شود.

این نتایج به دو مجموعه‌داده و پیکربندی مشخص آزمایش مربوط‌اند و مقاله در خلاصه منتشرشده نتیجه‌ای فراتر از آن‌ها ارائه نمی‌کند. بااین‌حال، یافته اصلی روشن است: سامانه‌های پایش کیفیت داده باید نوع خرابی موردنظر را در انتخاب ابزار تشخیص در نظر بگیرند، نه اینکه همه خطاها را با یک شاخص بسنجند.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگران یادگیری فدرال و تیم‌هایی که مدل را با داده‌های توزیع‌شده آموزش می‌دهند اهمیت دارد. در چنین کاربردهایی، تشخیص جداگانه خطای برچسب و خرابی ورودی می‌تواند به ارزیابی هدفمندتر داده‌ها کمک کند. برای خوانندگان عمومی‌تر نیز پیام ساده است: میزان اطمینان یک مدل و میزان خطای آن دو سنجه متفاوت‌اند و هیچ‌کدام به‌تنهایی همه انواع داده معیوب را آشکار نمی‌کنند.