آموزش هدفمند ترجیحی می‌تواند توهم مدل‌های بینایی‌ـ‌زبانی را کاهش دهد

پژوهشی که در ۲۹ سپتامبر ۲۰۲۶ در arXiv منتشر شده، روشی برای کاهش پاسخ‌های بی‌پشتوانه در مدل‌های بینایی‌ـ‌زبانی بررسی می‌کند: آموزش مدل با نمونه‌هایی که در آن‌ها دو پاسخ از نظر معنا به هم نزدیک‌اند، اما فقط یکی با شواهد قابل‌مشاهده در تصویر سازگار است. به گزارش پژوهشگران، این روش در چند معیار ارزیابی و بررسی داوران زبانی نتیجه بهتری از نسخه اولیه مدل به دست آورده است؛ با این حال، یافته‌ها به معنای رفع کامل توهم یا بهبود همه توانایی‌های این مدل‌ها نیست.

تمرکز بر مرز میان پاسخ درست و پاسخ بی‌پشتوانه

مدل‌های بینایی‌ـ‌زبانی یا VLMها، متن و تصویر را با هم پردازش می‌کنند. یکی از خطاهای آن‌ها زمانی رخ می‌دهد که پاسخی روان و از نظر زبانی باورپذیر تولید می‌کنند، بی‌آن‌که تصویر واقعاً آن را تأیید کند. پژوهش تازه بررسی می‌کند که آیا می‌توان با متمرکزکردن آموزش پس از مرحله آموزش اولیه بر چنین موارد دشواری، استفاده از شواهد تصویری را تقویت کرد یا نه.

در روش پیشنهادی، پژوهشگران ابتدا با یادگیری نظارت‌شده یا SFT رفتار عمومی مدل در کارهای چندوجهی را شکل می‌دهند. سپس جفت‌هایی از پاسخ‌های نزدیک به هم می‌سازند: یکی پاسخ ترجیحی و دیگری پاسخ ردشده است و تفاوت مهم میان آن‌ها میزان اتکای هر پاسخ به شواهد موجود در تصویر است. این نمونه‌ها برای مرحله DPO به کار می‌روند؛ روشی برای تنظیم مدل بر اساس ترجیح میان پاسخ‌ها.

به گفته پژوهشگران، این جفت‌های دشوار برای آموزش توانایی‌هایی مانند استفاده از شواهد، تنظیم میزان اطمینان پاسخ و حفظ سازگاری با تصویر طراحی شده‌اند. نمونه‌ها حوزه‌هایی از جمله تشخیص جزئیات، استدلال مکانی، خواندن متن در تصویر، روبه‌روشدن با شواهد مبهم یا ناکافی و تشخیص پرسش‌هایی را در بر می‌گیرند که از یک پیش‌فرض نادرست شروع می‌شوند.

نتایج گزارش‌شده در معیارها و ارزیابی داوران

طبق چکیده مقاله، مدل حاصل از DPO در چهار معیار DocVQA، TextVQA، MMBench و VQAv2 به‌طور پیوسته از نسخه‌ای که فقط با SFT آماده شده بود بهتر عمل کرد. این مقایسه، بهبود نسبت به همان نقطه شروع آموزشی را نشان می‌دهد و به‌تنهایی ثابت نمی‌کند که مدل در همه موقعیت‌ها یا در مقایسه با همه مدل‌های دیگر برتری دارد.

پژوهشگران همچنین مدل را روی حدود ۸۳۹ نمونه چندوجهی دیگر ارزیابی کردند. در این بررسی، سه داور مستقل مبتنی بر مدل‌های زبانی پاسخ‌ها را مقایسه کردند و نرخ برد جفتی مدل آموزش‌دیده ۶٫۲ تا ۸٫۲ واحد درصد بالاتر بود. این عدد بیانگر تفاوت در نتیجه مقایسه پاسخ‌ها در آن ارزیابی است، نه کاهش هم‌اندازه در همه انواع خطا یا تضمین پاسخ‌گویی درست در کاربردهای واقعی.

تنظیم بخش زبانی با ثابت نگه‌داشتن مسیر تصویری

یکی از نکته‌های روش، ثابت نگه‌داشتن رمزگذار تصویری و مسیر هم‌ترازی میان تصویر و متن در زمان آموزش است. رمزگذار تصویری بخشی از سامانه است که تصویر را به بازنمایی قابل‌استفاده برای مدل تبدیل می‌کند؛ هم‌ترازی نیز به انتقال این اطلاعات به بخش زبانی کمک می‌کند. در این آزمایش، تغییر اصلی در سازگارسازی بخش رمزگشای مدل انجام شده است.

پژوهشگران نتیجه می‌گیرند که تنظیم بخش رمزگشا، حتی با ثابت‌ماندن این اجزای چندوجهی، می‌تواند بخشی از خطاهای مربوط به اتکا به تصویر را بهبود دهد و در عین حال توانایی‌های عمومی چندوجهی را حفظ کند. این نتیجه محدود به چارچوب و ارزیابی گزارش‌شده در مقاله است و چکیده جزئیاتی درباره میزان بهبود در هر معیار یا عملکرد مدل در سناریوهای دیگر ارائه نمی‌کند.

همراه این پژوهش، مجموعه‌داده HardVQA-DPO نیز معرفی شده است. این منبع بیش از ۳ هزار نمونه SFT با تمرکز بر اتصال پاسخ به شواهد تصویری دارد و مجموعه اولیه‌ای از جفت‌های ترجیحی DPO را هم در بر می‌گیرد. پژوهشگران آن را منبعی در حال گسترش توصیف می‌کنند؛ بنابراین، ارزش آن می‌تواند به توسعه و ارزیابی روش‌های مشابه برای آموزش مدل‌های بینایی‌ـ‌زبانی کمک کند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای تیم‌هایی که مدل‌های بینایی‌ـ‌زبانی را آموزش می‌دهند یا خطاهای آن‌ها را ارزیابی می‌کنند، رویکردی مشخص برای تمرکز بر پاسخ‌های ظاهراً معقول اما فاقد پشتوانه تصویری ارائه می‌کند. برای کاربران این مدل‌ها نیز پیام اصلی آن است که بهبود در معیارهای مشخص، به‌تنهایی تضمین نمی‌کند هر پاسخ با تصویر سازگار باشد؛ به‌ویژه وقتی شواهد مبهم یا ناکافی است.