آزمون تازه نشان می‌دهد مدل‌های رباتیک گاهی پس از فرض نادرست به کار ادامه می‌دهند

پژوهشگران در مقاله‌ای که ۲۹ سپتامبر ۲۰۲۶ در arXiv منتشر شده، معیار تازه‌ای به نام ConflictVLA-Bench معرفی کرده‌اند تا واکنش مدل‌های بینایی‌ـ‌زبان‌ـ‌کنش را به دستورهایی با پیش‌فرض‌های نامعتبر بسنجند. نتیجه بررسی ۲٬۸۲۶ وظیفه نشان می‌دهد مدل‌ها گاهی پس از مواجهه با تعارض، همچنان هدف اولیه را دنبال می‌کنند؛ بنابراین شکست نهایی به‌تنهایی روشن نمی‌کند که مدل از ادامه کار دست کشیده یا در مسیر اجرای هدف نامعتبر دچار خطا شده است.

چرا نتیجه نهایی برای ارزیابی کافی نیست؟

مدل‌های بینایی‌ـ‌زبان‌ـ‌کنش یا VLA، اطلاعات دیداری و دستورهای زبانی را برای انجام کنش‌هایی مانند دست‌کاری اشیا به کار می‌گیرند. به گفته پژوهشگران، این مدل‌ها در وظایف دست‌کاری عملکرد خوبی دارند، اما واکنش آن‌ها به دستورهایی که بر پایه یک فرض نادرست نوشته شده‌اند، کمتر بررسی شده است.

برای نمونه، ممکن است دستور انجام کاری را بخواهد که پیش‌فرض آن با وضعیت موجود سازگار نیست. اگر مدل در پایان وظیفه را انجام ندهد، صرفاً از روی نتیجه نمی‌توان فهمید که تعارض را تشخیص داده و از ادامه کار خودداری کرده، یا همچنان هدف را دنبال کرده و هنگام اجرا شکست خورده است. پژوهشگران حالت دوم را «تداوم ناموفق» نامیده‌اند.

این تمایز در ارزیابی رفتار مدل‌ها اهمیت دارد: شکست در خروجی، به‌تنهایی نشانه انصراف آگاهانه یا رد دستور نیست. برای بررسی بهتر، باید مسیر عمل مدل نیز در کنار نتیجه نهایی دیده شود.

ساختار آزمون ConflictVLA-Bench

این معیار بر پایه LIBERO ساخته شده و در مجموع ۲٬۸۲۶ وظیفه دارد. پژوهشگران برای هر وظیفه متعارض، یک نمونه مرجع با پیش‌فرض سازگار در نظر گرفته‌اند تا بتوانند رفتار مدل را در دو وضعیت مقایسه کنند: زمانی که دستور با شرایط سازگار است و زمانی که پیش‌فرض دستور با آن‌ها تعارض دارد.

طبق چکیده مقاله، وظایف آزمون در چهار خانواده تعارض، چهار پیکربندی ساختاری و دو وضعیت دستوری دسته‌بندی شده‌اند. چکیده درباره جزئیات این دسته‌ها توضیح بیشتری نمی‌دهد. ارزیابی نیز تنها به موفقیت یا شکست نهایی محدود نیست و فرایند اجرای وظیفه را هم بررسی می‌کند.

افت موفقیت و ادامه حرکت به‌سوی هدف

در هر هشت مدل VLA ارزیابی‌شده، وجود پیش‌فرض نامعتبر میزان تکمیل هدف اصلی را دست‌کم ۱۷٫۳ واحد درصد کاهش داد. بیشترین افت گزارش‌شده به OpenVLA مربوط بود و به ۵۶٫۲ واحد درصد رسید.

اما نکته اصلی پژوهش فقط کاهش موفقیت نیست. نویسندگان می‌گویند مدل‌ها در بسیاری از موارد، با وجود موفقیت در وظیفه مرجع و شکست در نمونه متعارض، همچنان به هدف اولیه نزدیک می‌شدند. آن‌ها همچنین بخشی از ساختار ابتدایی مسیر حرکت را حفظ می‌کردند و شدت کنش‌هایشان را به میزان زیادی کاهش نمی‌دادند.

بر اساس این مشاهده‌ها، «تداوم ناموفق» در مدل‌های بررسی‌شده تکرار می‌شود. پژوهشگران همچنین گزارش می‌کنند که درخواست صریح برای بررسی پیش‌فرض، همواره به تغییر رفتاری هماهنگ و متناسب با تعارض منجر نمی‌شود. بنابراین نمی‌توان فرض کرد که افزودن چنین درخواستی به دستور، به‌تنهایی پاسخ مدل را قابل اتکاتر می‌کند.

پیامدها برای سنجش مدل‌های کنش‌محور

یافته مقاله بر محدودیت ارزیابی‌هایی تأکید دارد که فقط بررسی می‌کنند مدل در پایان به نتیجه مطلوب رسیده است یا نه. در آزمون‌هایی از این نوع، ممکن است دو رفتار متفاوت—کنارگذاشتن هدف و ادامه‌دادن ناموفق آن—در یک گروه «شکست» قرار بگیرند، در حالی که معنای رفتاری یکسانی ندارند.

ConflictVLA-Bench با مقایسه نمونه‌های متعارض و مرجع و بررسی روند اجرای آن‌ها، راهی برای دیدن این تفاوت فراهم می‌کند. با این حال، نتایج گزارش‌شده به مدل‌ها و وظایف همین ارزیابی مربوط است و چکیده، درباره عملکرد آن‌ها در دیگر محیط‌ها یا موقعیت‌های واقعی ادعایی مطرح نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای محققانی که مدل‌های رباتیک و VLA را توسعه یا ارزیابی می‌کنند، اهمیت دارد؛ به‌ویژه کسانی که می‌خواهند بدانند مدل در برابر دستور ناسازگار چه رفتاری نشان می‌دهد. طراحان آزمون‌های هوش مصنوعی نیز می‌توانند از آن یادآوری بگیرند که سنجش نتیجه نهایی، بدون بررسی مسیر رسیدن به آن، تصویر کاملی از رفتار مدل ارائه نمی‌دهد.

برای استفاده‌کنندگان از این مدل‌ها نیز نکته اصلی این است که شکست یک وظیفه لزوماً نشان نمی‌دهد سیستم تعارض را فهمیده و از اجرای دستور منصرف شده است. مقاله با معرفی ConflictVLA-Bench بر ضرورت ارزیابی هم‌زمان نتیجه و فرایند کنش تأکید می‌کند.