ExceptionDrive؛ بنچمارکی برای آزمون خطرهای نادر در رانندگی خودران

بنچمارک رانندگی خودران ExceptionDrive برای سنجش واکنش برنامه‌ریزهای خودرو به خطرهای نادر و ایمنی‌حساس معرفی شده است؛ موقعیت‌هایی که عملکرد خوب در آزمون‌های معمول رانندگی، به‌تنهایی ایمنی سامانه را در آن‌ها تضمین نمی‌کند. این پژوهش با افزودن خطر به صحنه‌های واقعی رانندگی، مجموعه‌ای از آزمون‌ها و معیارهای ارزیابی را پیشنهاد می‌کند و عملکرد هفت برنامه‌ریز را می‌سنجد.

چرا آزمون‌های معمول کافی نیستند؟

به گزارش مقاله منتشرشده در arXiv، میانگین عملکرد در بنچمارک‌های متداول رانندگی، لزوماً نشان نمی‌دهد که یک برنامه‌ریز در برابر رویدادهای نادر و خطرناک چگونه عمل خواهد کرد. برنامه‌ریز در خودرو خودران بخشی از سامانه است که بر پایه وضعیت مشاهده‌شده، مسیر یا اقدام بعدی خودرو را تعیین می‌کند.

برای بررسی این شکاف، پژوهشگران ExceptionDrive را طراحی کرده‌اند؛ بنچمارکی خلاف‌واقع که در آن، خطرهایی به صحنه‌های واقعی مجموعه‌داده nuScenes افزوده می‌شوند. «خلاف‌واقع» در اینجا یعنی صحنه‌ای واقعی با تغییری هدفمند بازسازی می‌شود تا بتوان واکنش برنامه‌ریز را در وضعیتی متفاوت از رخداد ثبت‌شده سنجید.

ساخت صحنه‌های خطر در ExceptionDrive

فرایند ساخت آزمون‌ها از غربالگری با کمک مدل بینایی‌ـ‌زبان (VLM) آغاز می‌شود. این مدل‌ها اطلاعات تصویری و زبانی را با هم پردازش می‌کنند. سپس خطرها به‌صورت موضعی و با ویرایش چندنمایی به صحنه‌ها افزوده می‌شوند؛ در این روش، چند نمای تصویری از محیط برای ایجاد تغییر به کار می‌رود و تلاش می‌شود زمینه اصلی صحنه حفظ شود. مقاله همچنین از ممیزی کیفیت برای بررسی صحنه‌های ویرایش‌شده خبر می‌دهد.

مجموعه معرفی‌شده ۲۱ وظیفه را در شش خانواده ایمنی در بر می‌گیرد. هر وظیفه محدوده خطر یا تعارض، قیدهای ایمنی محلی و پاسخ‌های قابل‌قبول را مشخص می‌کند. خلاصه مقاله نام خانواده‌های ایمنی یا جزئیات هر وظیفه را بیان نمی‌کند.

معیارهای ارزیابی و یافته‌های اولیه

افزودن خطر می‌تواند مسیر رانندگی ثبت‌شده توسط انسان را نامعتبر کند؛ برای مثال، مسیر اصلی ممکن است دیگر پاسخ مناسبی به صحنه تغییر‌یافته نباشد. به همین دلیل، ExceptionDrive از پروتکلی بدون مرجع ثابت استفاده می‌کند و به‌جای مقایسه پیش‌بینی با یک مسیر انسانی ازپیش‌ثبت‌شده، چهار معیار را می‌سنجد:

• Unsafe Rate (UR): میزان ورود به محدوده اصلی خطر.
• Hazard Clearance Compliance (HCC): رعایت الزامات فاصله‌گیری از خطر.
• Hazard Proximity Response (HPR): ارزیابی فاصله از خطر در مقایسه با حاشیه ایمنی تعیین‌شده.
• Counterfactual Trajectory Shift (CTS): میزان تغییر مسیر پیش‌بینی‌شده در واکنش به تغییر خلاف‌واقع صحنه.

طبق نتایج گزارش‌شده، هفت برنامه‌ریز نماینده در بسیاری از موارد وارد محدوده خطر شدند یا فاصله کافی از آن نگرفتند. مقاله عددی برای فراوانی این خطاها ارائه نمی‌کند؛ بنابراین نمی‌توان از این خلاصه، رتبه‌بندی یا مقایسه کمّی میان برنامه‌ریزها به دست آورد.

عامل یادآور چه کمکی می‌کند؟

پژوهشگران همچنین عاملی به نام Reminder Agent ساخته‌اند. این عامل بدون دریافت برچسب اختصاصی هر وظیفه، شواهد دیداری را همراه با طبقه‌بندی مشترک خطرها به رکوردهایی ساختاریافته تبدیل می‌کند. رکوردها می‌توانند وجود خطر، نوع آن و راهبرد کلی پیشنهادی را مشخص کنند.

این عامل مسیر حرکت را پیش‌بینی نمی‌کند و کنترل خودرو را بر عهده ندارد؛ اطلاعات آن در اختیار یک عامل تصمیم‌گیری مبتنی بر VLM قرار می‌گیرد. در آزمایش‌های صفرنمونه، یعنی بدون آموزش اختصاصی روی نمونه‌های همان وظیفه، استفاده از یادآورها دقت راهبرد را افزایش داده و هشدار ناکافی را کاهش داده است. خلاصه مقاله اندازه این بهبود را مشخص نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

ExceptionDrive برای پژوهشگران رانندگی خودران و ارزیابان ایمنی هوش مصنوعی اهمیت دارد، چون توجه را از عملکرد متوسط در موقعیت‌های روزمره به رفتار سامانه در برابر خطرهای کم‌تکرار اما حساس منتقل می‌کند. خودروسازان و تیم‌های توسعه نیز می‌توانند از چنین شیوه‌ای برای بررسی این پرسش بهره ببرند که آیا برنامه‌ریز در صحنه‌ای تغییر‌یافته، خطر را تشخیص می‌دهد و فاصله مناسب را حفظ می‌کند یا نه. بااین‌حال، یافته‌های مقاله به آزمون‌های معرفی‌شده محدود است و به‌تنهایی تضمینی درباره عملکرد خودرو در شرایط واقعی فراهم نمی‌کند.