GPart روشی ایزومتریک برای ریزتنظیم کم‌هزینه مدل‌ها معرفی کرد

روش GPart رویکردی تازه برای ریزتنظیم کم‌هزینه مدل‌های بزرگ پیشنهاد می‌کند: به‌جای ساخت تغییرات وزن از مسیر کم‌رتبه LoRA، یک بردار قابل‌آموزش را مستقیماً به فضای کامل وزن‌های مدل نگاشت می‌کند. نویسندگان مقاله می‌گویند این طراحی در بودجه‌های پارامتری بسیار پایین، در چند دسته بنچمارک با روش‌های موجود رقابت می‌کند.

روش GPart چگونه کار می‌کند؟

ریزتنظیم پارامترکارآمد یا PEFT روشی برای سازگارکردن مدل با یک کار تازه است که به‌جای آموزش دوباره همه پارامترها، تنها بخش کوچکی از آن‌ها را تغییر می‌دهد. LoRA یکی از روش‌های رایج این خانواده است و تغییر وزن‌ها را با پارامترسازی کم‌رتبه می‌سازد.

به‌گفته نویسندگان، این پارامترسازی دوسطحی می‌تواند هندسه‌ای وابسته به پارامترها ایجاد کند؛ یعنی فاصله میان تغییرات در پارامترهای آموزش‌دیده لزوماً با فاصله میان تغییرات متناظر در وزن‌های مدل برابر نیست. GPart این مرحله بازسازی کم‌رتبه را حذف می‌کند و یک بردار d‌بعدی را با استفاده از ماتریسی تنک و ایزومتریک به فضای کامل وزن‌ها می‌فرستد. ایزومتریک در این‌جا به معنای حفظ فاصله‌ها در این نگاشت است.

چک‌پوینت کوچک و نتایج گزارش‌شده

GPart یک پیش‌فرض ثابت برای اشتراک پارامترها در سراسر مدل حفظ می‌کند و، طبق چکیده مقاله، تنها یک ابرپارامتر اصلی دارد: d، یعنی بُعد بردار قابل‌آموزش. نمایش چک‌پوینت نیز به همان بردار آموزش‌دیده و یک seed تصادفی محدود می‌شود؛ seed برای بازسازی ماتریس به‌کار می‌رود.

نویسندگان عملکرد روش را در بنچمارک‌های درک زبان طبیعی، بینایی رایانه‌ای و استدلال ریاضی ارزیابی کرده‌اند. آن‌ها گزارش می‌کنند که GPart با بودجه‌های پارامتری بسیار پایین، با روش‌های PEFT موجود برابری می‌کند یا از آن‌ها بهتر است. چکیده مقاله جزئیات عددی این ارزیابی‌ها را ارائه نمی‌کند.

تفاوت با روش‌های مبتنی بر LoRA

برخی روش‌های مرتبط، از جمله Uni-LoRA که در مقاله به آن اشاره شده، یک بردار کم‌بعد را به فضای پارامترهای LoRA می‌فرستند؛ اما مرحله دوسطحی LoRA همچنان باقی می‌ماند. بنا بر توضیح نویسندگان، GPart با نگاشت مستقیم به فضای وزن‌ها از این بازسازی اضافه دوری می‌کند و در نتیجه، رابطه میان پارامترهای قابل‌آموزش و تغییر وزن‌ها را قابل‌پیش‌بینی‌تر می‌سازد.

نویسندگان همچنین می‌گویند این پارامترسازی خطی می‌تواند انتخاب مدل را ساده‌تر کند و زمینه را برای ترکیب آداپترهای کم‌حجم فراهم آورد. با این حال، اطلاعات موجود در چکیده برای ارزیابی جزئی عملکرد روی هر بنچمارک یا مقایسه هزینه محاسباتی کافی نیست.

این خبر برای چه کسانی اهمیت دارد

GPart برای پژوهشگرانی که روی ریزتنظیم مدل‌های بزرگ با منابع محدود کار می‌کنند، گزینه‌ای پژوهشی در کنار روش‌هایی مانند LoRA است. ویژگی محوری آن، نگاشت مستقیم و ایزومتریک و چک‌پوینت کم‌حجم است؛ اما سنجش دامنه کاربرد آن به جزئیات آزمایش‌ها و ارزیابی مستقل وابسته خواهد بود.