Aleph Alpha مدل بازوزن Kolibri را با پنجره زمینه یک‌میلیون‌توکنی منتشر کرد

مدل Kolibri شرکت Aleph Alpha با وزن‌های قابل‌دریافت و پشتیبانی از زمینه‌ای تا یک‌میلیون توکن معرفی شده است؛ این مدل دوزبانه انگلیسی‌ـ‌آلمانی برای استفاده در دولت و صنایع قانون‌مند طراحی شده و قرار است سازمان‌ها بتوانند آن را روی زیرساخت خود اجرا کنند. شرکت آلمانی می‌گوید انتشار وزن‌ها با مجوز Apache 2.0 به مشتریان امکان می‌دهد داده‌های داخلی را به سرویس استنتاج یک ارائه‌دهنده بیرونی نفرستند؛ موضوعی مهم برای نهادهایی که بر کنترل داده و محل پردازش آن حساس‌اند.

مدل Kolibri برای استقرار سازمانی ساخته شده است

طبق اعلام Aleph Alpha، Kolibri از نوع Mixture-of-Experts یا «ترکیب متخصصان» است؛ معماری‌ای که در هر مرحله فقط بخشی از شبکه را برای پردازش فعال می‌کند. این مدل در مجموع ۷۸٫۱ میلیارد پارامتر دارد، اما برای تولید هر توکن به‌طور میانگین ۳٫۴۶ میلیارد پارامتر را فعال می‌کند. توکن واحدهای کوچک متنی هستند که مدل برای خواندن و تولید زبان به کار می‌برد.

وزن‌های کامل Kolibri در Hugging Face و تحت مجوز Apache 2.0 عرضه شده‌اند. دسترسی به وزن‌ها، یعنی مقادیر آموخته‌شده در جریان آموزش، به سازمان‌ها امکان می‌دهد مدل را در محیط خود اجرا یا برای نیازهایشان تنظیم کنند. بااین‌حال، انتشار وزن‌ها به‌تنهایی به معنی ساده‌بودن راه‌اندازی نیست: شرکت برای استقرار مدل، بسته استنتاج Aleph Alpha و افزونه اختصاصی Kolibri برای vLLM را معرفی کرده است.

Aleph Alpha می‌گوید این محصول بر پایه Kolibri Origin و سامانه خودکار Model Factory ساخته شده است. هدف اعلام‌شده، پاسخ‌گویی به نیازهای «حاکمیت هوش مصنوعی» است؛ مفهومی که در اینجا به توانایی سازمان‌ها برای کنترل داده، آموزش، ارزیابی و محل اجرای مدل اشاره دارد.

معماری و آموزش؛ از ۷۶۸ پردازنده تا زمینه بلند

به گفته شرکت، آموزش Kolibri با استفاده از ۷۶۸ پردازنده گرافیکی B200 انجام شد. مرحله آغازین آموزش طی ۲۱ روز و با ۲۰ تریلیون توکن پیش رفت و پس از آن، آموزش میانی و سازگارسازی برای پردازش متن‌های بلند انجام شد. مجموع داده‌های پردازشی این مراحل نزدیک به ۲۴ تریلیون توکن اعلام شده است.

معماری مدل از ۳۸۴ متخصص تشکیل شده که در هر توکن شش متخصص فعال می‌شوند. از ۵۰ لایه مدل، ۱۰ لایه از سازوکار توجه کامل استفاده می‌کنند؛ سازوکاری که به مدل کمک می‌کند بخش‌های مختلف ورودی را به هم مرتبط کند. در ۴۰ لایه دیگر، پنجره لغزان ۵۱۲ توکنی به کار می‌رود. این محدودکردن محدوده توجه، بنا بر توضیح شرکت، برای کنترل هزینه استنتاج انجام شده است؛ استنتاج همان مرحله‌ای است که مدل پس از آموزش به درخواست کاربر پاسخ می‌دهد.

شرکت می‌گوید سازگارسازی زمینه بلند تا ۲۵۶ هزار توکن انجام شده، اما تنظیمات سرویس‌دهی امکان ارائه مدل با زمینه‌ای تا ۱٬۰۴۸٬۵۷۶ توکن را فراهم می‌کند. بنابراین، اندازه زمینه قابل‌استفاده در سرویس‌دهی با طولی که در فرایند سازگارسازی آموزش داده شده یکسان نیست. زمینه بلند می‌تواند برای تحلیل مجموعه‌ای از اسناد یا متنی طولانی‌تر از ورودی‌های معمول کاربرد داشته باشد، هرچند منبع درباره هزینه یا سرعت اجرای آن جزئیاتی ارائه نمی‌کند.

تمرکز دوزبانه و ارزیابی‌های اعلام‌شده

Kolibri برای انگلیسی و آلمانی ساخته شده است. طبق اطلاعات منتشرشده، زبان آلمانی ۲۱٫۳ درصد از توکن‌های پیش‌آموزش را تشکیل داده و مدل از واژگان دوزبانه‌ای با ۱۲۸ هزار مدخل استفاده می‌کند. شرکت می‌گوید توکن‌ساز آن برای حفظ ترکیب‌های واژگانی زبان آلمانی طراحی شده است. توکن‌ساز بخشی از سامانه زبانی مدل است که متن را به واحدهای قابل‌پردازش تقسیم می‌کند.

Aleph Alpha می‌گوید مدل را برای زبان آلمانی، ریاضی، برنامه‌نویسی، کار با زمینه بلند و وظایف عامل‌محور تخصصی کرده است. «عامل‌محور» به کارهایی گفته می‌شود که مدل در آن‌ها می‌تواند برای رسیدن به هدف، ابزارها را فراخوانی یا چند مرحله را دنبال کند. Kolibri چهار سطح استدلال دارد: none، low، medium و high؛ همچنین از فراخوانی ابزار پشتیبانی می‌کند.

در ارزیابی‌های اعلام‌شده از سوی شرکت، امتیاز کلی مدل در انگلیسی ۷۵٫۵ و در آلمانی ۷۰٫۸ بوده است. Kolibri در AIME 2025 امتیاز ۹۶٫۹، در LiveCodeBench v6 امتیاز ۸۵٫۹ و در ارزیابی کلی BFCL v4 امتیاز ۶۱٫۴ ثبت کرده است. Aleph Alpha همچنین می‌گوید مدل در انگلیسی و آلمانی در مرز مصالحه میان کیفیت و هزینه سرویس‌دهی قرار می‌گیرد و در برخی وظایف می‌تواند با مدل‌هایی رقابت کند که تا چهار برابر پارامتر فعال بیشتری دارند.

این اعداد را باید در چارچوب روش ارزیابی شرکت خواند: طبق متن منتشرشده، نتایج با ابزارهای داخلی Aleph Alpha و در موارد لازم با بالاترین سطح استدلال در دسترس به دست آمده‌اند. بنابراین، این امتیازها به‌تنهایی مقایسه مستقلی با همه مدل‌های دیگر به شمار نمی‌روند.

پاسخ‌ندادن در نبود شواهد و پیامدهای حاکمیتی

یکی از محورهای معرفی Kolibri، کاهش پاسخ‌های بی‌پشتوانه است. Aleph Alpha می‌گوید مدل را با نمونه‌هایی آموزش داده که در آن‌ها باید از پاسخ‌دادن خودداری کند، و از روشی به نام Merlin-Arthur برای پیوند دادن پاسخ به شواهد استفاده کرده است. هدف چنین رویکردی آن است که مدل وقتی اطلاعات کافی در اختیار ندارد، به‌جای ساختن پاسخ، محدودیت خود را نشان دهد.

در آزمون AA-Omniscience شرکت، Kolibri در ۴۴ درصد موارد از ارائه پاسخ نادرست پرهیز کرده است؛ این رقم برای Kolibri Origin برابر با ۱۴٫۸ درصد گزارش شده. مدل همچنین در امتیاز اختصاصی M/A grounding عدد ۰٫۲۳ را کسب کرده است. این سنجه‌ها را خود Aleph Alpha معرفی کرده و در متن، مقایسه‌ای مستقل برای آن‌ها ارائه نشده است.

شرکت می‌گوید مدل در آلمان ساخته و در آلمان و فنلاند آموزش داده شده است. این شرکت کنترل گردآوری داده، آموزش، ارزیابی، وزن‌ها و استقرار را بخشی از رویکرد خود برای پاسخ‌گویی به الزامات حاکمیت و انطباق اروپایی می‌داند. همچنین برای ارزیابی‌های بخشی، مجموعه‌هایی در حوزه‌های مدیریت عمومی، خودرو، نیمه‌رساناها، فناوری صنعتی و هوافضا ساخته شده که به گفته شرکت از داده مشتریان استفاده نمی‌کنند.

انتشار Kolibri در ۳ اکتبر ۲۰۲۶ انجام شده است. اهمیت عملی این خبر به توانایی سازمان‌ها برای اجرای واقعی مدل و سنجش آن در محیط خود بستگی دارد؛ درحالی‌که اطلاعات منتشرشده درباره هزینه زیرساخت موردنیاز، سرعت پاسخ‌گویی و نتایج ارزیابی مستقل جزئیاتی ارائه نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

Kolibri بیش از همه برای نهادهای دولتی و شرکت‌هایی اهمیت دارد که با داده‌های حساس کار می‌کنند و می‌خواهند مدل زبانی را در زیرساخت تحت کنترل خود اجرا کنند. پشتیبانی از آلمانی، زمینه بسیار بلند و مجوز قابل‌استفاده، آن را به گزینه‌ای برای بررسی در سازمان‌های اروپایی تبدیل می‌کند؛ اما تصمیم‌گیری درباره به‌کارگیری آن به آزمایش عملی، بررسی هزینه اجرا و سنجش کیفیت در برابر نیازهای واقعی هر سازمان وابسته است. برای توسعه‌دهندگان نیز دسترسی به وزن‌ها و پشتیبانی از فراخوانی ابزار، امکان آزمودن قابلیت‌های مدل را فراهم می‌کند.