Kyutai مدل رباتیک REKI را با حافظه کم‌هزینه منتشر کرد

مدل رباتیک REKI، محصول Kyutai با همکاری Inria و École des Ponts، روز شنبه ۲۵ مهر ۱۴۰۵ منتشر شد؛ مدلی با ۲٫۴ میلیارد پارامتر که برای هدایت بازوهای رباتیک در کارهایی مانند جابه‌جایی اشیا طراحی شده است. ویژگی متمایز آن حافظه‌ای سبک از فریم‌های اخیر دوربین است؛ رویکردی که به‌گفته سازندگان می‌تواند نوسان ربات میان دو وضعیت را کاهش دهد، بی‌آنکه بار محاسباتی زیادی به فرایند اجرا اضافه کند. وزن‌های مدل در Hugging Face در دسترس قرار گرفته‌اند، اما مجوز انتشار استفاده تجاری را مجاز نمی‌داند.

مدل رباتیک REKI چگونه تصویر را به حرکت تبدیل می‌کند؟

REKI از دسته مدل‌های بینایی‌ـ‌زبان‌ـ‌کنش، یا VLA، است. این مدل تصویر دوربین‌ها را همراه با دستور زبانی دریافت می‌کند و در پاسخ، کنش‌هایی برای ربات می‌سازد. برای نمونه، دستور «کاسه را روی بشقاب بگذار» به‌همراه تصویر محیط و وضعیت بازو می‌تواند مبنای تولید حرکت باشد.

ساختار مدل از یک بخش بینایی‌ـ‌زبانی Qwen3.5-2B با حدود ۲٫۲ میلیارد پارامتر و یک بخش تخصصی تولید کنش با ۲۰۰ میلیون پارامتر تشکیل شده است. بخش دوم، به‌جای پیش‌بینی مستقیم یک حرکت منفرد، مجموعه‌ای از حرکت‌ها را در قالب «تکه‌های کنش» تولید می‌کند. برای این کار از روش flow matching استفاده می‌شود؛ روشی که با چند گام محاسباتی به خروجی نهایی می‌رسد. طبق توضیحات فنی پروژه، تولید هر تکه کنش در ۱۰ گام Euler انجام می‌شود.

این دو بخش برای دریافت اطلاعات مربوط به وضعیت ربات و زمان تولید حرکت نیز سازوکارهایی دارند. وضعیت ربات، مانند داده‌های مربوط به مفصل‌ها، از طریق شبکه‌های کوچک به مدل وارد می‌شود. این طراحی به REKI امکان می‌دهد تصویر و دستور را با شرایط حرکتی همان ربات مرتبط کند.

حافظه سه‌فریمی با هزینه اندک

بسیاری از مدل‌های رباتیک در هر نوبت فقط فریم فعلی را می‌بینند. این محدودیت ممکن است تشخیص روند حرکت را دشوار کند: دو تصویر مشابه لزوماً نشان نمی‌دهند ربات یا شیء از کدام مسیر به آن وضعیت رسیده است. چنین ابهامی که Kyutai آن را نمونه‌ای از «هم‌ارزی ادراکی» می‌داند، می‌تواند به رفت‌وبرگشت بازو میان چند وضعیت منجر شود.

REKI برای حفظ بخشی از سابقه، ۳۲ توکن ثبت‌شده را به هر فریم اختصاص می‌دهد. این توکن‌ها ویژگی‌های تصویر و دستور همان فریم را دریافت می‌کنند و می‌توانند به توکن‌های ثبت‌شده فریم‌های قبلی نیز توجه کنند؛ اما به توکن‌های کنش دسترسی ندارند. در نتیجه، حافظه بر پایه مشاهده‌ها ساخته می‌شود، نه وضعیت ربات یا فرایند تولید حرکت. اطلاعات هر فریم یک‌بار محاسبه و در پنجره‌ای لغزان از سه فریم نگهداری می‌شود.

بر اساس داده‌های پروژه، خواندن این حافظه زمان تولید هر تکه کنش را فقط ۰٫۱ میلی‌ثانیه افزایش می‌دهد؛ زمان کل ثبت‌شده برای هر تکه ۲۱٫۸ میلی‌ثانیه است. حافظه هر فریم گذشته نیز حدود ۲ مگابایت از حافظه GPU مصرف می‌کند. Kyutai می‌گوید در آزمایش RoboTwin، سهم اپیزودهایی که بازو در آن‌ها میان دو وضعیت نوسان می‌کرد از ۱۸٫۶ درصد به ۴٫۱ درصد کاهش یافت.

نتایج بنچمارک‌ها؛ عملکرد قوی، اما نه در همه آزمون‌ها

Kyutai گزارش کرده است که REKI پس از پیش‌آموزش، برای هر بنچمارک جداگانه تنظیم دقیق شده است؛ بنابراین ارقام منتشرشده نتیجه یک مدل خام و بدون سازگارسازی با آزمون نیستند. در مقایسه این شرکت، REKI در LIBERO-Plus به امتیاز ۹۰٫۴ درصد رسیده است؛ بالاتر از Qwen-RobotManip با ۸۹ درصد و π0.5 با ۸۵٫۷ درصد.

در RoboTwin Clean2Rand، امتیاز REKI برابر با ۶۵٫۸ درصد بوده و پس از Qwen-RobotManip با ۶۸٫۵ درصد قرار گرفته است. در RoboCasa365، نتیجه به ۳۸٫۴ درصد رسیده؛ بهتر از RLDX-1 با ۳۶ درصد و Qwen-RobotManip با ۳۵٫۹ درصد، اما پایین‌تر از Xiaomi-Robotics-1 که ۵۷٫۴ درصد گرفته است. این اختلاف نشان می‌دهد عملکرد مدل به نوع محیط و وظیفه وابسته است و امتیاز بالای یک آزمون به‌تنهایی تضمین‌کننده برتری در همه سناریوها نیست.

در آزمون‌های دیگر، Kyutai برای REKI امتیاز ۹۷٫۶ درصد در چهار مجموعه LIBERO و ۸۵٫۹ و ۸۴٫۶ درصد در سطوح آسان و دشوار RoboTwin 2.0 گزارش کرده است. به گفته این شرکت، پیش‌آموزش در شرایط خارج از توزیع داده‌های معمول اهمیت ویژه‌ای دارد: این مرحله در Clean2Rand امتیاز را ۱۳٫۸ واحد و در شرایط شلوغ ۳۰٫۳ واحد افزایش داده است. حافظه نیز در LIBERO-Plus و RoboCasa365 به‌ترتیب ۱٫۵ و ۵٫۴ واحد به امتیاز افزوده است.

داده‌های آموزشی، سرعت اجرا و مجوز انتشار

طبق اطلاعات منتشرشده، مجموعه پیش‌آموزش REKI شامل یک میلیارد فریم و ۱۲٫۲ میلیون نمونه بینایی‌ـ‌زبان است. از میان فریم‌ها، ۶۳۹٫۸ میلیون فریم از کنترل از راه دور ربات‌های واقعی، ۱۹۳٫۹ میلیون از شبیه‌سازی و ۱۷۰٫۹ میلیون از ویدئوهای اول‌شخص انسان‌ها آمده است. DROID، BridgeData V2، AgiBot World، EgoDex و EgoVerse از منابع داده نام‌برده‌شده‌اند. پیش‌آموزش به‌مدت ۲۰۰ هزار گام روی ۳۲ پردازنده NVIDIA H100 انجام شده است.

در آزمون اجرا روی یک NVIDIA H100، مدل با دو دوربین با وضوح ۲۵۶ در ۲۵۶ پیکسل، پس از کامپایل، هر تکه کنش را در ۲۱٫۸ میلی‌ثانیه پردازش کرده است. Kyutai شش نقطه‌وارسی را فهرست کرده: نسخه پایه پیش‌آموزش‌دیده و نسخه‌هایی که برای LIBERO، دو گونه RoboTwin، RoboCasa365 و RoboCasa-GR1 تنظیم شده‌اند. برای استفاده روی بازوی واقعی، پروژه از پروتکل استنتاج ناهمگام gRPC در LeRobot پشتیبانی می‌کند. در یک نمونه، REKI روی بازوی UR5 برای هر وظیفه با ۵۰ نمایش و سه هزار گام تنظیم دقیق شده است.

وزن‌ها با مجوز CC BY-NC-SA 4.0 منتشر شده‌اند؛ مجوزی که استفاده غیرتجاری را پوشش می‌دهد و استفاده تجاری را مجاز نمی‌کند. بنابراین در دسترس بودن وزن‌ها به‌معنای آزادبودن استفاده از مدل برای هر نوع محصول یا کسب‌وکار نیست.

این خبر برای چه کسانی اهمیت دارد

REKI برای پژوهشگران رباتیک و سازندگان سامانه‌های دست‌کاری اشیا نمونه‌ای از افزودن حافظه کوتاه‌مدت به مدل‌های VLA است؛ آن هم با هزینه زمانی اندک در آزمایش‌های گزارش‌شده. نتایج آن در چند بنچمارک قابل توجه است، اما نتیجه پایین‌تر در RoboCasa365 و محدودیت مجوز، ارزیابی کاربرد واقعی را ضروری می‌کند. برای تیم‌هایی که به استقرار تجاری فکر می‌کنند، شرط غیرتجاری مجوز به‌اندازه عملکرد فنی اهمیت دارد.