Ai2 چارچوب Olmo-core 3 را برای آموزش کارآمدتر مدل‌های MoE منتشر کرد

آموزش مدل‌های MoE ممکن است با چارچوب تازه Olmo-core 3 کارآمدتر شود؛ Allen Institute for AI یا Ai2 این ابزار را برای آموزش مدل‌های زبانی بزرگ از نوع «ترکیب متخصصان» معرفی کرده است. طبق گزارش SiliconANGLE در ۲ اکتبر ۲۰۲۶، Ai2 می‌گوید این چارچوب می‌تواند مدل‌هایی با بیش از یک تریلیون پارامتر را آموزش دهد، بی‌آنکه برای هر بخش از مدل همه محاسبات به‌طور هم‌زمان فعال شوند. اهمیت این رویکرد در آن است که افزایش اندازه مدل‌های زبانی را با محدودیت‌های حافظه و هزینه پردازش پیوند می‌دهد؛ چالش‌هایی که می‌توانند دسترسی پژوهشگران به آموزش مدل‌های بسیار بزرگ را دشوار کنند.

آموزش مدل‌های MoE و تفاوت آن با مدل‌های متراکم

مدل‌های زبانی بزرگ یا LLMها برای پردازش و تولید متن از مجموعه‌ای از پارامترها استفاده می‌کنند؛ پارامترها را می‌توان تنظیماتی دانست که در جریان آموزش شکل می‌گیرند و بر رفتار مدل اثر می‌گذارند. در مدل متراکم، همه بخش‌های مدل هنگام تولید متن در محاسبه مشارکت می‌کنند. اما در معماری MoE، محاسبه میان بخش‌هایی تخصصی‌تر توزیع می‌شود و برای هر توکن فقط تعدادی از آن بخش‌ها فعال می‌شوند.

توکن کوچک‌ترین واحدی است که مدل با آن متن را می‌خواند یا تولید می‌کند؛ این واحد ممکن است یک واژه کامل یا بخشی از یک واژه باشد. بنابراین، یک مدل MoE می‌تواند در مجموع پارامترهای بیشتری از یک مدل متراکم داشته باشد، اما برای پردازش هر توکن فقط از بخشی از آن ظرفیت استفاده کند. این انتخاب می‌تواند میزان محاسبات لازم برای هر توکن را کاهش دهد.

با این حال، کاهش محاسبه به‌تنهایی همه هزینه‌ها را از بین نمی‌برد. کل مدل همچنان باید در حافظه GPUها نگهداری شود و در زمان آموزش، هماهنگی شبکه‌ای میان متخصصان نیز منابع مصرف می‌کند. Ai2 می‌گوید Olmo-core 3 برای نزدیک‌کردن آموزش مدل‌های متراکم و MoE طراحی شده است: هدف این است که مجموعه متخصصان رشد کند، اما لازم نباشد همه آن‌ها برای هر توکن فعال باشند.

افزایش تعداد متخصصان بدون فعال‌کردن همه آن‌ها

بر اساس توضیح Ai2، Olmo-core 3 امکان می‌دهد مجموعه متخصصان مدل از ۸ متخصص به ۱۲۸ متخصص گسترش یابد. با وجود این افزایش، برای پردازش هر توکن تنها ۴ متخصص انتخاب می‌شوند. این جداسازی میان تعداد کل متخصصان و تعداد متخصصان فعال، محور اصلی طراحی چارچوب است: مدل می‌تواند ظرفیت کلی بزرگ‌تری داشته باشد، در حالی که در هر مرحله فقط بخشی از آن در محاسبه مشارکت می‌کند.

Ai2 می‌گوید با استفاده از همان زیرساخت، مدل‌های زبانی می‌توانند به بیش از یک تریلیون پارامتر برسند. این عدد به ظرفیت کلی مدل اشاره دارد و به‌معنای فعال‌شدن همه پارامترها برای هر توکن نیست. چارچوب تلاش می‌کند افزایش ظرفیت را با مدیریت بهتر حافظه و توزیع محاسبات همراه کند؛ مسئله‌ای مهم برای آموزش مدل‌هایی که نگهداری کامل آن‌ها روی هر پردازنده گرافیکی دشوار است.

در معماری MoE، انتخاب این‌که کدام متخصصان یک توکن را پردازش کنند، بخشی از شیوه کار مدل است. Ai2 می‌گوید Olmo-core 3 به پژوهشگران اجازه می‌دهد در کنار مقیاس‌دادن مدل، درباره مسیریابی و موازی‌سازی نیز آزمایش کنند. مسیریابی در اینجا به فرایند هدایت هر توکن به متخصصان انتخاب‌شده اشاره دارد؛ موازی‌سازی هم تقسیم کار مدل میان چند GPU است.

نتایج آزمون و روش‌های کاهش فشار بر GPU

Ai2 در آزمون‌های خود گزارش کرده است که Olmo-core 3 برای یک مدل ۴۷ میلیارد پارامتری روی GPUهای Nvidia B3000 به سرعت ۵۲ هزار توکن در ثانیه رسیده است. این شرکت نتیجه را با معماری آموزشی Megatron-core از Nvidia مقایسه می‌کند؛ گزینه‌ای شناخته‌شده برای آموزش مدل‌های MoE که در آزمون مورد اشاره، سرعت آن حدود ۱۹ هزار و ۴۰۰ توکن در ثانیه بوده است. بر پایه همین ارقام، Ai2 از افزایش حدود ۲٫۷ برابری توان عملیاتی خبر می‌دهد.

توان عملیاتی، در این مقایسه، تعداد توکن‌هایی است که سامانه در یک بازه زمانی پردازش می‌کند. این شاخص تصویری از سرعت پردازش در آزمون می‌دهد، اما به‌تنهایی همه جنبه‌های هزینه یا عملکرد مدل را توضیح نمی‌دهد. ارقام منتشرشده نتیجه آزمون‌های اعلام‌شده از سوی Ai2 هستند و گزارش SiliconANGLE جزئیات بیشتری برای ارزیابی مستقل یا مقایسه شرایط آزمون ارائه نمی‌کند.

در مقاله فنی پروژه، Ai2 چند سازوکار را برای کنترل نیاز حافظه شرح داده است. یکی از آن‌ها «موازی‌سازی متخصصان» است: متخصصان میان چند GPU تقسیم می‌شوند تا هر کارت فقط بخشی از مجموعه کامل را نگه دارد. چارچوب همچنین لایه‌های مدل، یعنی مراحل متوالی پردازش، را میان گروه‌هایی از GPUها پخش می‌کند تا مقدار کمتری از مدل روی حافظه هر کارت باقی بماند.

روش دیگر، توزیع وضعیت بهینه‌ساز است. بهینه‌ساز در آموزش از داده‌های اضافی برای محاسبه و اعمال تغییرات مدل استفاده می‌کند. طبق توضیح Ai2، به‌جای آن‌که نسخه کامل این وضعیت روی هر GPU ذخیره شود، آن را میان چند GPU پخش می‌کنند. در مجموع، این تصمیم‌ها می‌توانند فشار حافظه را هنگام بزرگ‌شدن مدل کاهش دهند، چون لازم نیست کل مدل و تمام وضعیت آموزشی آن یک‌جا در حافظه هر پردازنده قرار بگیرد.

Ai2 همچنین از MXFP8 پشتیبانی می‌کند؛ قالبی عددی که برخی مقادیر را با بیت‌های کمتر نمایش می‌دهد. استفاده از چنین قالبی می‌تواند مقدار محاسبه و داده‌ای را که میان GPUها جابه‌جا می‌شود کاهش دهد. اثر آن در چارچوب، بخشی از تلاش گسترده‌تر برای استفاده کارآمدتر از منابع محاسباتی است؛ به‌ویژه زمانی که آموزش میان چندین پردازنده گرافیکی توزیع می‌شود.

دسترسی متن‌باز و پیامدها برای پژوهشگران

Ai2 می‌گوید هدف این پروژه فراهم‌کردن ابزارهایی برای پژوهشگرانی است که می‌خواهند مدل‌های بزرگ‌تری بسازند و آموزش دهند. مدل‌های یک‌تریلیون‌پارامتری، طبق توضیح شرکت، اغلب به زیرساخت‌های دولتی یا سازمانی وابسته‌اند و برای گروه‌هایی که به چنین منابعی دسترسی ندارند، خارج از دسترس می‌مانند. بهبود بهره‌وری در آموزش می‌تواند این مانع را هدف بگیرد؛ هرچند خود چارچوب همچنان برای اجرا به زیرساخت محاسباتی نیاز دارد.

قابلیت آزمایش با سخت‌افزارهای مختلف، مسیریابی و روش‌های موازی‌سازی نیز بخشی از برنامه اعلام‌شده Ai2 است. این انعطاف‌پذیری می‌تواند به پژوهشگران امکان دهد اجزای سامانه را متناسب با نیازهای خود تغییر دهند و شیوه‌های متفاوت آموزش MoE را بررسی کنند. شرکت همچنین از شکل‌گیری یک اکوسیستم تازه برای این نوع آموزش سخن گفته است، اما گزارش منتشرشده جزئیاتی درباره میزان پذیرش ابزار یا پروژه‌های استفاده‌کننده از آن ارائه نمی‌کند.

پروژه Olmo-core 3 و سیستم‌های مرتبط، بنا بر گزارش SiliconANGLE، برای توسعه‌دهندگان و جامعه متن‌باز در GitHub در دسترس قرار گرفته‌اند. انتشار کد می‌تواند بررسی و سازگارکردن چارچوب را برای دیگران ممکن کند، اما دسترسی به کد به‌تنهایی به معنای دسترسی رایگان به توان محاسباتی مورد نیاز برای آموزش مدل‌های بسیار بزرگ نیست.

این خبر برای چه کسانی اهمیت دارد

Olmo-core 3 بیش از آن‌که محصولی برای کاربران عادی باشد، ابزاری زیرساختی برای پژوهشگران، توسعه‌دهندگان مدل‌های زبانی و تیم‌هایی است که روی آموزش مدل‌های MoE کار می‌کنند. برای این گروه‌ها، نحوه تقسیم متخصصان، لایه‌ها و وضعیت بهینه‌ساز میان GPUها می‌تواند بر اندازه مدلی که امکان آموزش آن را دارند اثر بگذارد. ارقام اعلام‌شده از سوی Ai2 نیز نشانه‌ای از عملکرد این چارچوب در یک آزمون مشخص است، نه تضمینی برای رسیدن به همان سرعت در هر سخت‌افزار یا پروژه‌ای.

در سطح گسترده‌تر، این انتشار نشان می‌دهد که مقیاس‌دادن مدل‌های زبانی فقط به افزودن پارامترهای بیشتر وابسته نیست؛ مدیریت حافظه، ارتباط میان پردازنده‌ها و انتخاب بخش‌های فعال مدل نیز اهمیت دارد. اگر ابزارهایی مانند Olmo-core 3 بتوانند استفاده از منابع را بهبود دهند، ممکن است پژوهشگران بیشتری بتوانند معماری‌های بزرگ‌تر را بررسی کنند. میزان اثرگذاری نهایی آن به کارایی در محیط‌های متفاوت و استفاده عملی جامعه توسعه‌دهندگان بستگی خواهد داشت.