ActionLens ضعف مدل‌های ویدئویی در تشخیص «چه کسی، چه کاری، چه زمانی» را می‌سنجد

پژوهشی که در ۲۹ سپتامبر ۲۰۲۶ در arXiv منتشر شده، بنچمارک ActionLens را برای سنجش یکی از ضعف‌های مدل‌های بینایی‌ـ‌زبانیِ ویدئومحور معرفی می‌کند: تشخیص این‌که کدام فرد، چه کاری را در چه زمانی انجام داده است. ارزیابی ۲۰ مدل نشان می‌دهد حتی مدل پیشتاز هم در کل پرسش‌ها به امتیاز ۶۸٫۸ درصد رسیده است؛ نتیجه‌ای که فاصله میان عملکرد این مدل‌ها و مرجع انسانی را برجسته می‌کند.

سنجش پیوند میان فرد، کنش و زمان

مدل بینایی‌ـ‌زبانی می‌تواند تصویر یا ویدئو را دریافت و درباره محتوای آن پاسخ تولید کند. با این حال، توانایی تشخیص کلی آنچه در ویدئو دیده می‌شود لزوماً به معنای شناسایی دقیق کنش هر فرد در هر لحظه نیست. برای نمونه، مدل باید بتواند در صحنه‌ای با چند نفر، کنش را به بازیگر درست نسبت دهد و تغییر آن را در طول زمان دنبال کند.

ActionLens برای بررسی همین مسئله طراحی شده است. این مجموعه ۶۷۰۱ پرسش چندگزینه‌ای ویدئویی دارد و پنج نوع ارزیابی را پوشش می‌دهد: تشخیص تغییر کنش، شناسایی کنشگر مشخص، پیوند دادن کنش‌های هم‌زمان به افراد، استدلال درباره تعامل‌های جهت‌دار و تشخیص جهت نگاه.

پاسخ‌های مرجع این پرسش‌ها از ۱٫۵۸ میلیون حاشیه‌نویسیِ ثانیه‌به‌ثانیه برای افراد حاضر در ویدئوها استخراج شده‌اند. به گفته نویسندگان، این حاشیه‌نویسی‌ها مبنایی برای تعیین پاسخ درست فراهم می‌کنند و امکان مقایسه منظم مدل‌ها را به وجود می‌آورند.

بازبینی انسانی و فاصله با عملکرد مدل‌ها

در ساخت مجموعه، شفافیت پرسش‌ها نیز بررسی شده است. نویسندگان می‌گویند ۱۴ دور اصلاح و کنترل کیفیت با مشارکت انسان انجام داده‌اند. پس از این فرایند، دقت انسان در پاسخ به پرسش‌ها از ۵۳ درصد به بیش از ۹۰ درصد رسید؛ تغییری که نشان می‌دهد صورت‌بندی پرسش‌ها در ابتدا برای پاسخ‌گویی روشن نبوده است.

در ارزیابی ۲۰ مدل بینایی‌ـ‌زبانی، بالاترین امتیاز در کل مجموعه ۶۸٫۸ درصد بود. در زیرمجموعه‌ای که انسان‌ها بازبینی کرده بودند، بهترین مدل به ۶۵٫۹ درصد رسید؛ در مقابل، مرجع انسانیِ تجمیع‌شده در همان بخش دقت ۹۱ درصدی داشت. این اختلاف نشان می‌دهد پاسخ‌گویی به پرسش‌های مشخص درباره کنش‌ها و افراد، همچنان برای مدل‌ها دشوار است.

تشخیص نگاه یکی از ضعف‌های برجسته بود: عملکرد مدل‌ها در این بخش نزدیک به حد شانس گزارش شد، در حالی که دقت انسانی به ۸۹٫۶ درصد رسید. بنابراین، موفقیت در معیارهای رایج یا درک کلی صحنه به‌تنهایی تضمین نمی‌کند که مدل بتواند جزئیات کنش و توجه افراد را به‌درستی تحلیل کند.

اشتباه در تشخیص کنشگر و محدودیت روش‌های ورودی

تحلیل پژوهش نشان می‌دهد مدل‌ها گاهی کنش فرد اشتباه را انتخاب می‌کنند؛ مسئله‌ای که نویسندگان آن را در بررسی «دام‌های پیوند» آشکار کرده‌اند. این خطا از اشتباه ساده در تشخیص خود کنش متفاوت است: مدل ممکن است رویداد را در ویدئو ببیند، اما آن را به شخص نادرست نسبت دهد.

پژوهش همچنین شیوه‌های مختلف معرفی افراد به مدل را مقایسه می‌کند. در آزمون‌های مربوط به رفع ابهام میان کنشگران، توصیف‌های رابطه‌ای نسبت به مختصات ثابت، امتیاز مدل‌ها را ۵٫۵۵ تا ۱۳٫۲۵ واحد افزایش دادند. نویسندگان این تفاوت را نشانه‌ای از جریمه ناشی از دشواری پردازش عددی می‌دانند. با این حال، ارائه جعبه‌های مشخص‌کننده افراد در تصویر همچنان در همه مدل‌ها ۱٫۱۵ تا ۶٫۵۰ واحد بهتر از روش‌های دیگر بود؛ یافته‌ای که به گفته پژوهشگران، از باقی‌ماندن ضعف در شناسایی کنشگر بدون نشانه‌گذاری تصویری حکایت دارد.

ActionLens برای مقایسه مستقیم انواع و اندازه‌های مختلف مدل‌ها طراحی شده است. نویسندگان اعلام کرده‌اند داده‌ها، کد و اسکریپت‌های ارزیابی را نیز منتشر می‌کنند. نتایج این بنچمارک به‌جای ارائه یک امتیاز کلی، چند منشأ متفاوت خطا را جدا می‌کند؛ از تشخیص تغییر و نگاه تا نسبت‌دادن کنش به فرد درست.

این خبر برای چه کسانی اهمیت دارد

ActionLens برای پژوهشگرانی اهمیت دارد که توانایی مدل‌های ویدئویی را ارزیابی می‌کنند، زیرا نشان می‌دهد معیارهای کلی ممکن است ضعف در نسبت‌دادن کنش به افراد را پنهان کنند. سازندگان مدل‌های بینایی‌ـ‌زبانی نیز می‌توانند از تفکیک خطاها برای شناسایی بخش‌هایی مانند تشخیص نگاه یا رفع ابهام میان کنشگران استفاده کنند. برای کاربران این مدل‌ها، یافته اصلی این است که پاسخ‌گویی درست درباره محتوای کلی یک ویدئو هنوز به معنای درک دقیق این نیست که چه کسی، در چه زمانی، چه کاری انجام داده است.