V-JEPA Policy برای پیوند پیش‌بینی تصویر و کنش ربات

مدل‌های جهان‌ـ‌عمل با چارچوب تازه V-JEPA Policy می‌توانند پیش‌بینی حالت تصویری آینده را به تولید کنش ربات پیوند دهند؛ پژوهشگران این روش را در مقاله‌ای منتشرشده در arXiv در ۳۰ سپتامبر ۲۰۲۶ معرفی کرده‌اند. ایده اصلی آن است که برای آموزش چنین مدلی، به‌جای تکیه بر یک مدل مولد تصویری کامل، از بازنمایی‌های پیش‌بینانه‌ای استفاده شود که پیش‌تر از ویدئوها آموخته شده‌اند.

ساخت مدل کنش بر پایه بازنمایی تصویری

مدل‌های جهان‌ـ‌عمل، یا WAM، هم درباره وضعیت دیداری آینده پیش‌بینی می‌کنند و هم کنش‌هایی را برای رسیدن به آن وضعیت تولید می‌کنند. به گفته پژوهشگران، برخی روش‌های پیشین با اقتباس از مدل‌های تولید ویدئو یا ویرایش تصویر ساخته می‌شوند و در نتیجه، دانش پیش‌بینی و ساختار همان مدل‌های ازپیش‌آموزش‌دیده را به ارث می‌برند.

V-JEPA Policy مسیر دیگری را دنبال می‌کند. این چارچوب از فضای نهفته یک رمزگذار V-JEPA 2.1 استفاده می‌کند؛ رمزگذار، شبکه‌ای است که ورودی تصویری را به بازنمایی فشرده‌تری تبدیل می‌کند. این بخش در زمان آموزش مدل جدید ثابت می‌ماند. سپس یک پیش‌بینِ آینده نهفته که از دستور متنی هم آگاه است و یک بخش تولیدکننده کنش، با هم و از ابتدا در مرحله آموزش اختصاصی یاد می‌گیرند.

در این طراحی، حالت‌های زمینه‌ای پیش‌بین که از اطلاعات مربوط به آینده بهره می‌برند، تولید کنش را هدایت می‌کنند. بخش تولید کنش با روشی به نام «تطبیق جریان» آموزش می‌بیند؛ روشی که در این پژوهش برای یادگیری تولید کنش به کار رفته است.

نتایج ارزیابی و آزمون تغییر داده

طبق گزارش مقاله، V-JEPA Policy در سه معیار LIBERO، LIBERO-Plus و RoboCasa-GR1 به عملکردی رقابتی در مقایسه با چند مدل جهان‌ـ‌عمل و مدل‌های بینایی‌ـ‌زبان‌ـ‌کنش رسید. خلاصه منتشرشده از پژوهش، عددهای دقیق عملکرد را ارائه نمی‌کند؛ بنابراین نمی‌توان از آن میزان برتری یا اختلاف مدل‌ها را تعیین کرد.

پژوهشگران همچنین پایه‌های بینایی مختلف را در چارچوب و بودجه آموزشی یکسان مقایسه کردند. در این مقایسه، بازنمایی‌های V-JEPA از گزینه‌های متمایزکننده، بازسازی‌محور و متمرکز بر فهم ویدئو مؤثرتر گزارش شدند؛ تفاوت به‌ویژه در شرایطی برجسته بود که داده‌های آزمون با توزیع داده‌های آموزش یکسان نبودند.

یادگیری از ویدئوهای بدون برچسب کنش

در بخش دیگری از آزمایش‌ها، پژوهشگران پیش‌بین را با جفت‌های ویدئو و دستور از مجموعه DROID پیش‌آموزش دادند؛ این داده‌ها برچسب کنش نداشتند. سپس آن را به یک مدل جهان‌ـ‌عمل تبدیل کردند. به گزارش مقاله، این انتقال به بهبود چشمگیر کنترل در وظایف بعدی و تعمیم بهتر به موقعیت‌های خارج از توزیع داده‌های آموزش انجامید.

این نتیجه نشان می‌دهد، بر اساس آزمایش‌های نویسندگان، اطلاعات مربوط به پیش‌بینی آینده در ویدئوهای گسترده‌تر می‌تواند برای آموزش کنترل ربات مفید باشد؛ حتی اگر در مرحله پیش‌آموزش، کنش‌های رباتی برچسب‌گذاری نشده باشند. مدل نهایی ۰٫۹ میلیارد پارامتر دارد و ۰٫۶ میلیارد پارامتر آن آموزش‌پذیر است.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای گروه‌هایی اهمیت دارد که روی کنترل ربات، یادگیری از ویدئو و مدل‌های چندوجهی کار می‌کنند. نتیجه‌ها بررسی می‌کنند آیا بازنمایی‌های پیش‌بینانه تصویری می‌توانند جایگزینی برای استفاده از مدل مولد کامل در ساخت مدل‌های جهان‌ـ‌عمل باشند. بااین‌حال، یافته‌های گزارش‌شده به معیارها و آزمایش‌های همین مقاله محدود است و خلاصه موجود جزئیات عددی یا ارزیابی مستقل دیگری ارائه نمی‌کند.