آموزش ساخت خط لوله یادگیری رباتیک با Cosmos3-DROID بدون دانلود کامل داده‌ها

یادگیری رباتیک با مجموعه‌داده‌های بزرگ، معمولاً با مانعی عملی روبه‌رو است: پژوهشگر برای شروع کار باید حجم زیادی از داده را دریافت و ذخیره کند. آموزشی که MarkTechPost در ۵ اکتبر ۲۰۲۶ منتشر کرده، رویکرد دیگری را برای کار با NVIDIA Cosmos3-DROID پیشنهاد می‌دهد؛ مجموعه‌داده‌ای ۷۰۷ گیگابایتی که در این روش به‌طور کامل دانلود نمی‌شود. خط لوله پیشنهادی، داده‌های جدولی و بخش‌های لازم ویدئو را به‌صورت گزینشی می‌خواند، سپس از آن‌ها برای آموزش و ارزیابی یک سیاست کنترلی ربات استفاده می‌کند.

این آموزش فقط به بررسی ساختار داده‌ها محدود نیست. مسیر کار از شناسایی فراداده و انتخاب اپیزودها آغاز می‌شود و به ساخت مجموعه‌داده آموزشی، آموزش یک مدل چندوجهی و سنجش پیش‌بینی‌های آن می‌رسد. چنین نمونه‌ای نشان می‌دهد که دسترسی به مجموعه‌های حجیم رباتیک لزوماً به دریافت کل مخزن وابسته نیست؛ هرچند خروجی آن همچنان به داده‌های قابل‌دسترسی و تنظیمات انتخاب‌شده بستگی دارد.

یادگیری رباتیک بدون دریافت کامل مجموعه‌داده

پایه این خط لوله، نسخه ۳٫۰ قالب LeRobotDataset است. آموزش ابتدا ساختار مخزن را بررسی می‌کند و اطلاعات را از فایل‌هایی مانند info.json، فراداده وظایف، جدول‌های اپیزود و آمار مجموعه‌داده کنار هم می‌گذارد. به این ترتیب، پیش از خواندن نمونه‌های آموزشی، تصویری از سازمان‌دهی داده‌ها، ویژگی‌های ثبت‌شده و مسیر فایل‌ها ساخته می‌شود.

در اینجا «اپیزود» به یک توالی ثبت‌شده از تعامل ربات با یک وظیفه اشاره دارد. اطلاعات اپیزودها کمک می‌کند نمونه‌های مربوط به حرکت، وضعیت ربات و کنش‌های آن از بخش‌های مناسب داده پیدا شوند. کد آموزشی برای شروع، پوشه مربوط به نمونه‌های موفق را هدف می‌گیرد و پارامترهایش ۴۸ اپیزود را برای پردازش مشخص می‌کند؛ این مقدار تنظیم آزمایش است، نه شمار کل اپیزودهای مجموعه‌داده.

برای خواندن داده‌های جدولی، از درخواست HTTP بازه‌ای استفاده می‌شود؛ روشی که به‌جای دریافت کل فایل، بایت‌های لازم را از محل ذخیره‌سازی می‌گیرد. ابزار PyArrow فایل‌های Parquet را بررسی می‌کند و امکان خواندن گروه‌های ردیفی و ستون‌های انتخاب‌شده را فراهم می‌آورد. فایل Parquet قالبی ستونی برای ذخیره داده است و گروه ردیفی بخشی از جدول درون آن به شمار می‌رود. در نتیجه، خط لوله می‌تواند به اطلاعات موردنیاز دسترسی داشته باشد، بی‌آنکه همه داده‌های مخزن را محلی کند.

از داده‌های حرکتی تا ویدئوهای منتخب

پس از انتخاب اپیزودها، آموزش داده‌ها را به توالی‌هایی از وضعیت و کنش تبدیل می‌کند. سپس حرکت مفصل‌ها، رویدادهای باز و بسته‌شدن گیره، مسیر دکارتی انتهای بازوی ربات و طیف فرکانسی کنش‌ها بررسی می‌شود. مسیر دکارتی، حرکت نقطه انتهایی بازو را در فضای سه‌بعدی توصیف می‌کند؛ بررسی این ویژگی‌ها به توصیف رفتار ثبت‌شده در داده کمک می‌کند.

بخش ویدئویی خط لوله نیز به دریافت کامل فایل‌ها متکی نیست. آموزش برای ویدئوهای AV1 از دسترسی مبتنی بر جست‌وجو استفاده می‌کند و فقط پنجره‌های زمانی موردنیاز را با PyAV و FFmpeg رمزگشایی می‌کند. این کار در کنار خواندن بازه‌ای فایل‌های جدولی، مسیر را برای ساخت یک مجموعه آموزشی از داده‌های چندوجهی فراهم می‌کند؛ یعنی داده‌هایی که می‌توانند هم اطلاعات عددی و هم تصویر را در بر بگیرند.

در نمونه کد، نرخ ویدئو ۱۵ فریم‌برثانیه تنظیم شده و استفاده از ورودی تصویری اختیاری است. کد همچنین شش اپیزود را برای بخش تصویری در نظر می‌گیرد و اندازه تصویر را ۹۶ پیکسل مشخص می‌کند. این اعداد به پیکربندی همان آموزش تعلق دارند و به‌تنهایی معیاری از عملکرد نهایی سیاست نیستند.

آموزش سیاست و سنجش پیش‌بینی‌ها

پیش از آموزش، مشاهده‌ها و کنش‌ها با استفاده از آمار مجموعه‌داده نرمال می‌شوند. نرمال‌سازی، مقیاس متغیرها را برای استفاده در مدل همسان‌تر می‌کند. سپس داده‌ها در قالبی مبتنی بر ACT، با توالی‌های تکه‌بندی‌شده از کنش‌ها، به یک مدل PyTorch داده می‌شوند. ACT در اینجا به رویکردی برای پیش‌بینی چند کنش در یک قطعه زمانی اشاره دارد؛ شرط‌دهی تصویری نیز در پیکربندی آموزش اختیاری است.

کد، افق پیش‌بینی را ۸ کنش و تاریخچه مشاهده را ۲ گام تنظیم می‌کند و آموزش را با ۱۲ دوره و دسته‌های ۲۵۶تایی پیکربندی می‌کند. دوره یعنی یک گذر کامل از داده‌های انتخاب‌شده و اندازه دسته تعداد نمونه‌هایی است که در یک مرحله پردازش می‌شوند. این تنظیم‌ها جزئیات اجرای نمونه‌اند؛ متن منتشرشده نتیجه‌ای عددی برای کیفیت نهایی سیاست گزارش نمی‌کند.

ارزیابی با اجرای باز انجام می‌شود: سیاست کنش‌های آینده را پیش‌بینی می‌کند، بی‌آنکه در هر گام با مشاهده تازه در جریان اجرا اصلاح شود. برای پیوسته‌تر شدن کنش‌های پیش‌بینی‌شده، آموزش از ترکیب زمانی قطعه‌های کنش استفاده می‌کند. سپس خطای میانگین مربعات و ضریب تعیین R² برای هر مفصل گزارش می‌شود و نتایج با خط پایه‌ای مقایسه می‌شوند که کنش میانگین را پیش‌بینی می‌کند. پیش‌بینی‌ها در کنار کنش‌های واقعی نیز ترسیم و نقطه‌وار ذخیره می‌شوند.

این خبر برای چه کسانی اهمیت دارد

این روش برای پژوهشگران رباتیک و یادگیری ماشین که می‌خواهند داده‌های حجیم را بدون دریافت کامل محلی بررسی کنند، نمونه‌ای کاربردی از طراحی خط لوله است. دسترسی گزینشی به فایل‌های جدولی و ویدئویی می‌تواند نیاز به فضای ذخیره‌سازی محلی را کاهش دهد، اما آموزش همچنان به دسترسی شبکه‌ای و پردازش داده نیاز دارد. برای تیم‌هایی که رفتار ربات را با تقلید از نمونه‌های ثبت‌شده می‌آموزند، این آموزش همچنین الگویی از مسیر تبدیل داده خام به سیاست قابل ارزیابی ارائه می‌کند؛ بدون آنکه به‌تنهایی درباره برتری یا آمادگی کاربردی سیاست نتیجه‌گیری کند.