Metro-WM برای برنامه‌ریزی بلندمدت، زیرهدف‌ها را از تجربه واقعی برمی‌گزیند

پژوهشگران در مقاله‌ای که ۲۹ سپتامبر ۲۰۲۶ در arXiv منتشر شده، چارچوبی به نام Metro-WM را برای برنامه‌ریزی بلندمدت معرفی کرده‌اند؛ روشی که زیرهدف‌هایش را از حالت‌های واقعی ثبت‌شده در تجربه‌های قبلی انتخاب می‌کند، نه از بردارهای نهفته‌ای که ممکن است در جهان فیزیکی قابل تحقق نباشند. به گفته نویسندگان، آزمایش‌ها نشان می‌دهد این رویکرد در برخی سنجه‌ها از روش‌های سلسله‌مراتبی پیشین موفق‌تر است و به محاسبات آفلاین کمتری نیاز دارد.

چرا برنامه‌ریزی کوتاه‌مدت به‌تنهایی کافی نیست؟

مقاله، کار خود را بر پایه کنترل پیش‌بینانه مدل‌محور با معماری‌های پیش‌بینی تعبیه مشترک، یا JEPA، قرار می‌دهد. کنترل پیش‌بینانه به سامانه امکان می‌دهد پیامد کنش‌های احتمالی را پیش‌بینی و بر مبنای آن‌ها مسیر حرکت به سوی هدف را انتخاب کند. به گفته پژوهشگران، این ترکیب می‌تواند بدون آموزش ویژه برای هر هدف، برنامه‌ریز توانمندی باشد؛ اما در افق‌های کوتاه بهتر عمل می‌کند و برای رسیدن به هدف‌های دورتر با محدودیت روبه‌رو است.

برای گسترش افق برنامه‌ریزی، روش‌های سلسله‌مراتبی معمولاً یک برنامه‌ریز کلان را به کار می‌گیرند. این بخش، زیرهدف‌های میانی را پیش‌بینی می‌کند تا برنامه‌ریز خرد بتواند در هر مرحله به یکی از آن‌ها برسد. مسئله‌ای که مقاله برجسته می‌کند، نحوه ساخت همین زیرهدف‌هاست: اگر برنامه‌ریز کلان آن‌ها را آزادانه در فضای نهفته تولید کند، ممکن است نتیجه با حالت‌هایی که سامانه واقعاً می‌تواند به آن‌ها برسد تطابق نداشته باشد.

به‌جای تولید زیرهدف، بازیابی از تجربه

نویسندگان می‌گویند ارزیابی دقیق آن‌ها نشان داده است که یک برنامه‌ریز کلان پیشرفته، بارها زیرهدف‌هایی پیشنهاد می‌کند که از نظر فیزیکی دست‌یافتنی نیستند. در مقابل، Metro-WM زیرهدف‌ها را از میان حالت‌های مشاهده‌شده در داده‌های قبلی بازیابی می‌کند. به این ترتیب، نقطه‌های میانی مسیر به تجربه‌های ثبت‌شده متصل می‌مانند، نه صرفاً به پیش‌بینی‌هایی در فضای نهفته.

چارچوب، گرافی می‌سازد که رأس‌های آن از فریم‌های مشاهده‌شده در دو نوع داده تشکیل می‌شوند: نمایش‌های آفلاینِ عامل خبره و مسیرهایی که با کنش‌های تصادفی به دست آمده‌اند. فریم‌ها حتی اگر متعلق به اجراهای جداگانه باشند، می‌توانند در گراف به هم متصل شوند. سپس Metro-WM از این ارتباط‌ها برای ساخت مسیر به سوی هدف استفاده می‌کند.

بازبرنامه‌ریزی و نتایج آزمایش‌ها

یکی از ویژگی‌هایی که مقاله برای این روش مطرح می‌کند، بازبرنامه‌ریزی در صورت خطای اجراست. اگر برنامه‌ریز خرد از مسیر مورد انتظار منحرف شود، Metro-WM می‌تواند از حالت فعلی مسیر تازه‌ای در گراف پیدا کند. طبق چکیده مقاله، جست‌وجو در گراف کامل باعث می‌شود سامانه پس از چنین انحرافی بتواند مسیر بهینه تازه‌ای را بیابد.

در آزمایش‌های گزارش‌شده، Metro-WM در موفقیت بلندمدت تا ۳۷٫۳۳ واحد درصد از نزدیک‌ترین روش سلسله‌مراتبی بهتر بوده و در برخی مقایسه‌ها تا ۱۰٫۹ برابر سریع‌تر عمل کرده است. نویسندگان همچنین می‌گویند این چارچوب به ۱۳ تا ۵۶ برابر محاسبات آفلاین کمتری نیاز دارد و تعداد ابرپارامترهای قابل تنظیم آن کمتر است. ابرپارامترها مقادیری هستند که هنگام طراحی یا آموزش روش تعیین می‌شوند و بر رفتار آن اثر می‌گذارند.

بررسی‌های بیشتر مقاله نشان می‌دهد مسیرهای پیدا‌شده با Metro-WM از مسیرهای نمایش‌های آفلاین کوتاه‌تر بوده‌اند. روش همچنین در مقایسه با یک مرجع آرمانی که از نمایش مربوط به همان پرس‌وجو استفاده می‌کند، عملکرد بهتری داشته و در شرایطی که داده‌های موجود بسیار پراکنده‌اند نیز عملکرد پایداری نشان داده است. این نتایج همگی به آزمایش‌های گزارش‌شده در مقاله مربوط‌اند و چکیده، جزئیات بیشتری درباره دامنه کاربرد یا محدودیت‌های آن ارائه نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

پژوهش برای افرادی اهمیت دارد که روی عامل‌های هوشمند، مدل‌های جهان و سامانه‌های کنترل مبتنی بر یادگیری کار می‌کنند؛ به‌ویژه کسانی که می‌خواهند عامل را از تصمیم‌های کوتاه‌مدت به برنامه‌ریزی چندمرحله‌ای برسانند. ایده اصلی Metro-WM این است که برای ساخت مسیرهای بلند، زیرهدف‌های میانی باید به حالت‌هایی تکیه کنند که از تجربه واقعی به دست آمده‌اند. نتایج مقاله نشان می‌دهد این انتخاب می‌تواند هم به دست‌یافتنی‌بودن مسیرها کمک کند و هم هزینه محاسباتی برنامه‌ریزی را کاهش دهد.