OmniAct3D تشخیص سه‌بعدی در تصاویر پانورامایی را بهبود می‌دهد

تشخیص سه‌بعدی پانورامایی با چارچوب پژوهشی OmniAct3D بهبود می‌یابد؛ روشی که برای سازگارکردن آشکارسازهای مبتنی بر مدل‌های بیناییِ آموزش‌دیده با تصاویر معمولی، با تصاویر ۳۶۰ درجه طراحی شده است. این پژوهش که در ۵ اکتبر ۲۰۲۶ در arXiv منتشر شد، به چالشی مهم برای عامل‌های متحرک می‌پردازد: شناسایی دقیق اشیا در تصویری که نمای پیوسته‌ای از محیط اطراف را نشان می‌دهد.

چرا تشخیص در تصاویر ۳۶۰ درجه دشوار است؟

مدل‌های بینایی پایه یا VFMها می‌توانند دانش بصری و هندسی آموخته‌شده را به کارهای تازه منتقل کنند. بااین‌حال، به گفته پژوهشگران، آشکارسازهای سه‌بعدی مبتنی بر این مدل‌ها معمولاً از تصویر تک‌چشمی با میدان دید محدود یا چند نمای پرسپکتیوی جداگانه استفاده می‌کنند. این محدودیت می‌تواند درک پیوسته از محیط پیرامون را دشوار کند.

تصویر با نگاشت استوانه‌ای یا ERP راه دیگری برای نمایش صحنه است: در آن، نمای ۳۶۰ درجه در یک تصویر واحد ثبت می‌شود. اما هندسه و چیدمان اطلاعات بصری در چنین تصویری با تصویر پرسپکتیوی تفاوت دارد. بنابراین، انتقال مستقیم آشکارسازهای آموزش‌دیده با تصاویر معمولی ممکن است نشانه‌های مربوط به اشیا را به‌خوبی مدل‌سازی یا مکان‌یابی نکند.

OmniAct3D چگونه تصویر پانورامایی را تحلیل می‌کند؟

پژوهشگران OmniAct3D را برای سازگارکردن آشکارسازهای VFM با تصاویر ERP پیشنهاد کرده‌اند، با این هدف که دانش بصری و هندسی قابل‌انتقال این مدل‌ها حفظ شود. چارچوب از سه سازوکار استفاده می‌کند که هرکدام بخشی از مسئله را هدف می‌گیرند.

سازوکار ERGA-Ray تفاوت هندسی نمای پانورامایی را با مدل‌کردن پرتوهای دید کروی و ساختار مکانیِ دوره‌ای در نظر می‌گیرد. به زبان ساده، سیستم باید توجه کند که تصویر ۳۶۰ درجه مانند تصویری تخت با لبه‌های معمولی سازمان‌دهی نشده است.

زنجیره استدلال بصری‌ـ‌عملیاتی VARC هر فرضیه درباره یک شیء را به شواهد مرتبط در تصویر پانورامایی پیوند می‌دهد و آن را به یک دستور هندسی ساختاریافته تبدیل می‌کند. همچنین، AGHE بخش‌های مربوط به اشیا را با وضوح بالاتر دوباره رمزگذاری می‌کند تا نشانه‌های محلی ازدست‌رفته در بودجه ثابت توکن‌ها بازیابی شوند. توکن‌ها واحدهایی هستند که مدل برای پردازش ورودی به کار می‌برد. این سازوکار به‌ویژه برای تخمین جهت قرارگیری شیء در نظر گرفته شده است.

نتایج گزارش‌شده در دو مجموعه‌داده

طبق چکیده مقاله، OmniAct3D در مجموعه‌داده Spheriverse نسبت به بهترین آشکارساز سه‌بعدی پیشین ۲٫۹۶ امتیاز NDS بهبود داشته است. در PanoMMOcc نیز عملکرد آن بر پایه معیار mAP، نسبت به خط‌پایه VFM که بدون سازگارسازی به کار رفته بود، ۲۴٫۸۷ امتیاز بیشتر بوده است.

NDS و mAP دو معیار ارزیابی‌اند که برای سنجش عملکرد سامانه‌های تشخیص به کار می‌روند؛ mAP به‌طور کلی دقت تشخیص را در چند سطح از آستانه ارزیابی خلاصه می‌کند. پژوهش همچنین می‌گوید VARC، با سازگارسازی هندسی متناسب با هدف، در پیکربندی‌های حسگری مختلف ۹۵ تا ۹۸ درصد از mAP پیکربندی همسان را حفظ می‌کند. این نتیجه به قابلیت استفاده مجدد از استدلال سه‌بعدی درباره اشیا در شرایط حسگری متفاوت اشاره دارد.

نویسندگان اعلام کرده‌اند که کد این چارچوب را به‌صورت عمومی منتشر خواهند کرد. چکیده در دسترس، جزئیات بیشتری درباره طراحی آزمایش‌ها یا محدودیت‌های روش ارائه نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای گروه‌هایی که روی ربات‌های متحرک و عامل‌های دارای بدن‌مندی کار می‌کنند اهمیت دارد؛ سامانه‌هایی که برای عمل در محیط به تشخیص اشیا و فهم هندسه پیرامون نیاز دارند. همچنین، نتیجه‌ها برای پژوهشگران بینایی ماشین مرتبط است، زیرا راهی برای استفاده از دانش مدل‌های آموزش‌دیده با تصاویر پرسپکتیوی در ورودی‌های ۳۶۰ درجه پیشنهاد می‌کنند. بااین‌حال، یافته‌های فعلی بر نتایج گزارش‌شده در مجموعه‌داده‌های پژوهش تکیه دارند.