چارچوب VPS جست‌وجوی تصویرهای بزرگ را موازی می‌کند

جست‌وجوی موازی بصری در چارچوبی پژوهشی به نام VPS قرار است به مدل‌های چندوجهی کمک کند شواهد کوچک و پراکنده را در تصویرهای با وضوح بالا پیدا کنند. مقاله‌ای که در ۳۰ سپتامبر ۲۰۲۶ در arXiv منتشر شده، روشی را توصیف می‌کند که ابتدا بخش‌های مختلف تصویر را هم‌زمان وارسی می‌کند و بعد، در صورت نیاز، به بزرگ‌نمایی تطبیقی روی بخش‌های منتخب می‌پردازد. هدف این طراحی، کاهش خطاهایی است که وقتی مدل بدون داشتن نمای کلی مطمئن سراغ بزرگ‌نمایی یک ناحیه می‌رود، ممکن است رخ دهد.

جست‌وجوی موازی بصری چگونه کار می‌کند؟

در پاسخ‌گویی بصری، یا VQA، مدل باید با تکیه بر تصویر به پرسش کاربر جواب دهد. در تصاویر با وضوح بالا، اطلاعات لازم ممکن است در جزئیاتی کوچک و مکانی مشخص باشد؛ برای مثال، شیئی در گوشه تصویر یا نوشته‌ای در بخشی محدود. طبق توضیح مقاله، مدل‌های چندوجهی گاهی این شواهد موضعی را به دست نمی‌آورند و در نتیجه پاسخ نادرست می‌دهند.

روش متداول بزرگ‌نمایی پیاپی می‌تواند جزئیات را آشکار کند، اما پیش از بزرگ‌نمایی باید ناحیه‌ای انتخاب شود. VPS این فرایند را با گام دیگری آغاز می‌کند: عامل اصلی ابزار grid_search را به کار می‌گیرد تا تصویر را به کاشی‌ها، یعنی بخش‌های کوچک‌تر، تقسیم کند. سپس عامل‌های فرعی که هرکدام با پرسش کاربر جهت‌دهی شده‌اند، این بخش‌ها را به‌طور موازی بررسی می‌کنند.

پس از این وارسی اولیه، عامل اصلی می‌تواند به‌صورت تطبیقی از zoom_in استفاده کند و بخش‌های نیازمند بررسی دقیق‌تر را بزرگ‌نمایی کند. به این ترتیب، روش تلاش می‌کند میان یافتن نمای کلی و خواندن جزئیات محلی تعادل برقرار کند؛ بدون آن‌که از ابتدا انتخاب یک ناحیه نامطمئن را مبنای جست‌وجو قرار دهد.

نتایج مقایسه با روش بزرگ‌نمایی تنها

طبق نتایج گزارش‌شده در چکیده، VPS در ۱۴ مورد از ۱۵ مقایسه‌ای که با همان مدل‌ها انجام شده، دقت میانگین را نسبت به جست‌وجوی صرفاً مبتنی بر بزرگ‌نمایی افزایش داده است. بیشترین افزایش در این مقایسه‌ها ۸ امتیاز بوده و بهبودها برای مدل‌های اصلی کوچک‌تر برجسته‌تر گزارش شده‌اند.

در معیار ZoomBench نیز پژوهشگران از افزایش حدود ۳٫۲ امتیازی در همه اندازه‌های آزمایش‌شده خبر داده‌اند. این نتیجه نشان می‌دهد که بهبود گزارش‌شده فقط به یک اندازه مشخص از مدل محدود نبوده است؛ با این حال، چکیده جزئیات کامل آزمایش‌ها یا ارقام مربوط به هر اندازه را ارائه نمی‌کند.

پژوهشگران VPS را یک چارچوب زمان اجرا برای گردآوری شواهد بصری توصیف می‌کنند. منظور از چارچوب زمان اجرا، روشی است که هنگام پاسخ‌گویی مدل به پرسش، ابزارها و مراحل جست‌وجو را به کار می‌اندازد؛ نه یک مدل تازه که جایگزین مدل چندوجهی اصلی شود.

آموزش نقش‌ها و محدودیت نتایج

مقاله علاوه بر روش جست‌وجو، سازوکاری برای آموزش نقش‌های مختلف در این فرایند پیشنهاد می‌کند: نقش کنترل‌کننده که تصمیم می‌گیرد کجا جست‌وجو شود، و نقش خواننده کاشی که شواهد را از بخش‌های تصویر استخراج می‌کند. در خط لوله آموزشی معرفی‌شده، از راستی‌آزمایی بدون راهنما و روشی مبتنی بر GRPO برای آموزش جداگانه این نقش‌ها استفاده شده است.

بر اساس چکیده، تنظیم نظارت‌شده یا SFT دقت مشاهده‌شده را در هر پنج بخش معیار بهبود داده است. یکی از نمونه‌های ذکرشده، افزایش ۴٫۱۷ امتیازی در HR-Bench 4K است. این عدد به همان ارزیابی گزارش‌شده در مقاله مربوط است و نباید آن را به همه کاربردهای تصویری تعمیم داد.

نتایج یادگیری تقویتی تصویر پیچیده‌تری دارند. در یک ارزیابی داخلی با چهار پاسخ برای هر مورد، آموزش تقویتیِ نقش عامل اصلی میانگین استفاده از ابزار را از ۲٫۶۵ به ۲٫۱۱ کاهش داده، در حالی که عملکرد pass@1 تقریباً مشابه مانده است. pass@1 به موفقیت در نخستین پاسخ اشاره دارد. در مقابل، تغییر دقت در ارزیابی‌های بیرونی یکدست نبوده است. مقاله همچنین از تفاوت میان مهارت خواندن شواهد محلی و کنترل جست‌وجوی کلی سخن می‌گوید؛ دو توانایی که ممکن است به آموزش یکسانی نیاز نداشته باشند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای تیم‌هایی که روی مدل‌های چندوجهی، پرسش‌وپاسخ تصویری و تحلیل تصویرهای پرجزئیات کار می‌کنند اهمیت دارد؛ به‌ویژه چون نشان می‌دهد جست‌وجوی موازی می‌تواند مکمل بزرگ‌نمایی مرحله‌ای باشد. برای کاربران نهایی، نتیجه فعلاً یک روش پژوهشی است، نه قابلیتی که مقاله از عرضه عمومی آن خبر داده باشد. همچنین، با توجه به این‌که چکیده نتایج بیرونی یادگیری تقویتی را ترکیبی توصیف می‌کند، ارزیابی VPS در کاربردها و معیارهای بیشتر برای سنجش میزان تعمیم‌پذیری آن ضروری خواهد بود.