روش PLES برآورد قوانین مقیاس‌بندی ابرپارامترها را کم‌هزینه‌تر می‌کند

قوانین مقیاس‌بندی ابرپارامترها برای آموزش مدل‌های زبانی بزرگ می‌تواند به پژوهشگران کمک کند تنظیمات مناسب را برای مدل‌ها و مجموعه‌داده‌های بزرگ‌تر پیش‌بینی کنند. مقاله‌ای که روز شنبه ۲۵ مهر ۱۴۰۵ در arXiv منتشر شده، روشی به نام Power-Law Entropy Search یا PLES را معرفی می‌کند که با انتخاب هدفمند آزمایش‌ها می‌کوشد هزینه محاسباتی برآورد این قوانین را کاهش دهد.

قوانین مقیاس‌بندی ابرپارامترها چگونه برآورد می‌شوند؟

ابرپارامترها تنظیماتی هستند که فرایند آموزش مدل را کنترل می‌کنند؛ برای نمونه، پژوهشگران باید پیکربندی‌های مختلف را بیازمایند تا تنظیمات مناسب را پیدا کنند. طبق مقاله، برآورد سنتی تغییر این تنظیمات با بزرگ‌شدن مدل و داده معمولاً به جست‌وجوی شبکه‌ای گسترده نیاز دارد؛ روشی که تعداد زیادی آزمایش آموزشی اجرا می‌کند و منابع محاسباتی زیادی مصرف می‌کند.

هدف این قوانین آن است که بهترین تنظیمات در مقیاس‌های مختلف پیش‌بینی‌پذیر شوند، بی‌آنکه لازم باشد هر بار آزمایش‌های پرهزینه در اندازه نهایی اجرا شود.

PLES به‌جای یک هدف، عدم‌قطعیت را جست‌وجو می‌کند

Power-Law Entropy Search بر بهینه‌سازی بیزی چندوفاداری تکیه دارد. بهینه‌سازی بیزی روشی برای انتخاب آزمایش بعدی بر اساس اطلاعاتی است که از آزمایش‌های قبلی به دست آمده؛ «چندوفاداری» نیز به استفاده از آزمایش‌هایی با هزینه و دقت متفاوت اشاره دارد.

نوآوری اصلی PLES، بنا بر توضیح مقاله، انتخاب آزمایشی است که عدم‌قطعیت در برآورد کلی قانون مقیاس‌بندی را بیش از همه کاهش دهد. روش در هر مرحله میزان این کاهش را در برابر هزینه محاسباتی می‌سنجد. به این ترتیب، آزمایش‌های کوچک‌تر و کم‌هزینه‌تر ممکن است در اولویت قرار گیرند، اگر اطلاعات مفیدی برای برآورد نهایی فراهم کنند.

نتایج ارزیابی روش PLES

پژوهشگران PLES را روی آزمون‌های مصنوعی، مدل‌های جانشینِ برازش‌شده به داده‌های واقعی آموزش مدل‌های زبانی بزرگ و اجرای واقعی پیش‌آموزش این مدل‌ها ارزیابی کرده‌اند. مدل جانشین، تقریب محاسباتی کم‌هزینه‌تری از رفتار سامانه اصلی است که برای آزمایش و برآورد به کار می‌رود.

طبق چکیده مقاله، در همه این ارزیابی‌ها PLES با کمتر از یک‌دهم بودجه محاسباتی موردنیاز جست‌وجوی شبکه‌ای متعارف و دیگر روش‌های مبنا به قوانین مقیاس‌بندی بهینه‌ای با دقت بالا رسید. این نتیجه به ارزیابی‌های گزارش‌شده در مقاله مربوط است و به‌تنهایی نشان نمی‌دهد که میزان صرفه‌جویی در هر پروژه یا شرایط آموزشی یکسان خواهد بود.

این خبر برای چه کسانی اهمیت دارد

این روش برای پژوهشگران و تیم‌هایی اهمیت دارد که تنظیم ابرپارامترهای آموزش مدل‌های بزرگ برایشان مستلزم اجرای آزمایش‌های متعدد است. اگر انتخاب تطبیقی آزمایش‌ها بتواند در پروژه‌های مختلف همان‌طور که مقاله گزارش می‌کند هزینه را پایین بیاورد، امکان بررسی گزینه‌های بیشتر با بودجه محاسباتی محدودتر فراهم می‌شود. با این حال، چکیده منتشرشده جزئیات کافی برای مقایسه عملکرد روش در سناریوهای گوناگون ارائه نمی‌کند.