UniFGVC رویکردی بدون آموزش برای تشخیص ریزدانه تصاویر معرفی کرد

طبقه‌بندی ریزدانه تصاویر با چارچوب UniFGVC به‌جای تنظیم مدل‌های چندوجهی با نمونه‌های محدود، به مسئله‌ای مبتنی بر بازیابی تبدیل می‌شود؛ رویکردی که به گفته پژوهشگران می‌تواند از بیش‌برازش و تضعیف توانایی تعمیم مدل جلوگیری کند. چکیده این پژوهش روز شنبه ۲۵ مهر ۱۴۰۵ در arXiv منتشر شد و نتایج آن، طبق گزارش نویسندگان، در ۱۲ مجموعه‌داده ارزیابی شده است.

طبقه‌بندی ریزدانه تصاویر بدون تنظیم مدل

طبقه‌بندی ریزدانه بینایی ماشین به تشخیص دسته‌هایی می‌پردازد که تفاوت ظاهری آن‌ها اندک است؛ برای نمونه، سامانه باید میان گروه‌های بسیار مشابه تمایز بگذارد. این کار زمانی دشوارتر می‌شود که برای هر دسته فقط چند نمونه آموزشی وجود داشته باشد؛ وضعیتی که با عنوان یادگیری چندنمونه‌ای شناخته می‌شود.

به گفته پژوهشگران، تنظیم مستقیم مدل‌های بزرگ چندوجهی زبان و تصویر با چنین داده‌های اندکی ممکن است مدل را به نمونه‌های محدود وابسته کند. در نتیجه، توانایی آن برای شناخت دسته‌های تازه و تعمیم به موقعیت‌های دیگر آسیب می‌بیند. UniFGVC به‌جای تغییر پارامترهای مدل، از روش بازیابی استفاده می‌کند: ویژگی‌های تصویر و متن را استخراج می‌کند و آن‌ها را با قالب‌های ازپیش‌تعریف‌شده برای دسته‌ها می‌سنجد.

شرح ویژگی‌هایی که دسته‌های مشابه را از هم جدا می‌کنند

بخش محوری این چارچوب، ماژولی با نام Category-Discriminative Visual Captioner یا CDV-Captioner است. این ماژول از یک مدل چندوجهی برای تولید توصیف‌های ساختاریافته بهره می‌گیرد؛ توصیف‌هایی که به‌جای بازگویی کلی تصویر، بر ویژگی‌های بصری متمایزکننده میان دسته‌های نزدیک تمرکز دارند.

بر اساس چکیده، این فرایند از استدلال زنجیره‌ای و ارجاع‌های بصری استفاده می‌کند تا احتمال توهم در توصیف‌ها را کاهش دهد و اطلاعات مفیدتری برای تمایز دسته‌ها فراهم کند. به این ترتیب، تصویرها به جفت‌هایی از تصویر و شرح متنیِ غنی‌شده با ویژگی‌ها تبدیل می‌شوند.

بازیابی با رمزگذارهای ازپیش‌آموزش‌دیده

پس از تولید توصیف‌ها، UniFGVC از رمزگذارهای تصویری و متنی ازپیش‌آموزش‌دیده برای استخراج ویژگی‌ها استفاده می‌کند. رمزگذار در اینجا بخشی از سامانه است که تصویر یا متن را به بازنمایی عددی تبدیل می‌کند تا بتوان شباهت میان آن‌ها را محاسبه کرد. پژوهشگران می‌گویند چارچوب می‌تواند با رمزگذارهای مختلف به‌صورت افزونه‌ای به کار گرفته شود.

سامانه سپس میزان شباهت ویژگی‌های استخراج‌شده را با قالب‌های مربوط به همه دسته‌ها می‌سنجد و بر همان اساس دسته‌بندی را انجام می‌دهد. بنابراین، تمرکز روش از آموزش دوباره یا تنظیم یک مدل برای هر مجموعه‌داده، به ساخت توصیف‌های تمایزدهنده و مقایسه آن‌ها با گزینه‌های موجود منتقل می‌شود.

نتایج گزارش‌شده و محدودیت اطلاعات

نویسندگان می‌گویند UniFGVC در آزمایش‌های انجام‌شده روی ۱۲ مجموعه‌داده، از روش‌های چندنمونه‌ای مبتنی بر CLIP بهتر عمل کرده و از چند روش مبتنی بر مدل‌های چندوجهی که با نظارت کامل آموزش دیده‌اند نیز پیشی گرفته است. چکیده، نام مجموعه‌داده‌ها یا جزئیات عددی نتایج را بیان نمی‌کند؛ بنابراین ارزیابی مستقل اندازه این برتری از اطلاعات موجود ممکن نیست.

این پژوهش در مجموع از یک تغییر در شیوه استفاده از مدل‌های چندوجهی برای مسائل کم‌داده دفاع می‌کند: به‌جای سازگارکردن مدل با نمونه‌های اندک، از توانایی‌های ازپیش‌آموخته آن در کنار بازیابی متنی و تصویری بهره گرفته می‌شود. این ادعا بر نتایج گزارش‌شده در چکیده تکیه دارد و جزئیات بیشتر برای سنجش دامنه کاربرد روش لازم است.

این خبر برای چه کسانی اهمیت دارد

این رویکرد برای پژوهشگران بینایی ماشین و تیم‌هایی اهمیت دارد که باید دسته‌های بصری بسیار مشابه را با داده‌های برچسب‌خورده محدود تشخیص دهند. همچنین برای کسانی که از مدل‌های چندوجهی ازپیش‌آموزش‌دیده استفاده می‌کنند، UniFGVC نمونه‌ای از جایگزینی تنظیم مستقیم مدل با بازیابی ویژگی‌های تصویری و متنی است.