معیار DriveHierarchy توانایی‌های رانندگی مدل‌های بینایی‌ـ‌زبانی را می‌سنجد

پژوهشگران در مقاله‌ای که ۲۹ سپتامبر ۲۰۲۶ در arXiv منتشر شده، DriveHierarchy را معرفی کرده‌اند؛ چارچوبی برای ارزیابی توانایی مدل‌های بینایی‌ـ‌زبانی در رانندگی خودکار. این معیار مهارت‌ها را از تشخیص عناصر جاده تا تصمیم‌گیری و اجرای رانندگی در محیط تعاملی دسته‌بندی می‌کند تا ارزیابی فقط به پاسخ‌گویی درباره تصاویر محدود نماند.

چهار سطح برای سنجش توانایی رانندگی

به گفته نویسندگان، رانندگی خودکار به مجموعه‌ای از توانایی‌های مرتبط نیاز دارد: شناسایی کاربران جاده و خطرها، ترکیب اطلاعات در طول زمان و از نماهای مختلف، پیش‌بینی تغییرات آینده و انتخاب رفتار مناسب هنگام تعامل با محیط. DriveHierarchy این توانایی‌ها را در چهار سطح سازمان می‌دهد: جای‌دهی و تشخیص عناصر صحنه، حافظه زمینه‌ای، استدلال درباره وضعیت و اجرای رانندگی در حلقه بسته.

مدل بینایی‌ـ‌زبانی یا VLM سامانه‌ای است که می‌تواند ورودی تصویری را در کنار زبان پردازش کند. در ارزیابی «حلقه باز»، مدل معمولاً بر اساس داده‌های ثبت‌شده درباره صحنه پاسخ می‌دهد؛ اما در «حلقه بسته»، تصمیم‌های آن در محیط شبیه‌سازی‌شده با پیامدهای تعاملی روبه‌رو می‌شود. این دو نوع آزمون، جنبه‌های متفاوتی از توانایی رانندگی را می‌سنجند.

ترکیب داده‌های موجود با سناریوهای تعاملی

برای ساخت بخش حلقه باز، پژوهشگران چند مجموعه‌داده متن‌باز رانندگی خودکار را در یک معیار یکپارچه گرد آورده‌اند. این بخش شامل ۷۶٬۷۹۸ جفت پرسش‌وپاسخ درباره ۸۴٬۲۷۹ فریم است.

در کنار آن، تیم پژوهش یک بستر شبیه‌سازی حلقه بسته توسعه داده و ۱۰۰ سناریوی رانندگی را برای ارزیابی تعاملی انتخاب کرده است. چکیده مقاله می‌گوید این سناریوها با استفاده از شبکه‌ای از جاده‌های واقعی و امکان ساخت سناریوهای تعاملی فراهم شده‌اند.

هدف: تشخیص دقیق‌تر توانایی‌ها و کاستی‌ها

نویسندگان DriveHierarchy را روی ۱۵ مدل بینایی‌ـ‌زبانی آزمایش کرده‌اند. طبق گزارش آن‌ها، نتایج تفاوت‌های ساختاری میان توانایی مدل‌ها را نشان می‌دهد؛ به این معنا که عملکرد در بخش‌های مختلف معیار یکسان یا تکراری نیست. پژوهش همچنین رابطه‌ای میان درک در آزمون‌های حلقه باز و رانندگی در آزمون‌های حلقه بسته گزارش می‌کند.

از نگاه پژوهشگران، کنار هم قرار گرفتن این دو نوع ارزیابی می‌تواند به تشخیص نقاط قوت و ضعف مدل‌ها کمک کند و مبنایی برای بهبود آن‌ها بر اساس نتایج معیار فراهم آورد. با این حال، چکیده منتشرشده جزئیات رتبه‌بندی مدل‌ها یا نتایج عددی مقایسه‌ها را ارائه نمی‌کند. نسخه‌ای ناشناس از پروژه نیز منتشر شده است.

این خبر برای چه کسانی اهمیت دارد

DriveHierarchy برای پژوهشگران رانندگی خودکار و تیم‌هایی که مدل‌های بینایی‌ـ‌زبانی را برای کاربردهای جاده‌ای ارزیابی می‌کنند اهمیت دارد؛ زیرا چارچوبی برای بررسی پیوسته‌تر مهارت‌های ادراکی، استدلالی و اجرایی پیشنهاد می‌کند. این معیار همچنین برای خوانندگانی مفید است که می‌خواهند تفاوت میان پاسخ‌گویی به داده‌های ثبت‌شده و عملکرد تعاملی در شبیه‌سازی را در ارزیابی سامانه‌های رانندگی هوشمند درک کنند.