عامل‌های هوش مصنوعی صحنه‌های سه‌بعدی می‌سازند، اما دقت خود را نمی‌سنجند

بازسازی سه‌بعدی با هوش مصنوعی در روشی به نام «Image-to-Code» به عامل‌های کدنویس امکان می‌دهد از یک تصویر، صحنه‌ای قابل‌اجرا در نرم‌افزار Blender بسازند؛ اما نتایج یک معیار تازه نشان می‌دهد این عامل‌ها هنوز در تشخیص میزان دقت کار خود مشکل دارند. پژوهشگران برای ارزیابی این توانایی، معیار LEGO-Bench را معرفی کرده‌اند و می‌گویند استفاده از سنجش‌های عینی به‌جای قضاوت خود مدل می‌تواند کیفیت بازسازی را بالا ببرد.

Image-to-Code؛ تبدیل عکس به برنامه سه‌بعدی

در روش Image-to-Code، عامل هوش مصنوعی یک تصویر را دریافت می‌کند و برای ساخت صحنه‌ای مشابه، کد نرم‌افزار Blender را می‌نویسد. Blender ابزاری پرکاربرد برای ساخت و ویرایش محتوای سه‌بعدی است. برخلاف رویکردی که صحنه را یک‌باره تولید می‌کند، عامل در این روش چند مرحله را طی می‌کند: کد می‌نویسد، آن را اجرا می‌کند، خروجی را می‌بیند و سپس برای نزدیک‌ترشدن نتیجه به تصویر اصلی کد را تغییر می‌دهد.

این فرایند یک تفاوت مهم با تولید صرفِ تصویر دارد. خروجی فقط تصویری شبیه عکس ورودی نیست؛ بلکه برنامه‌ای است که اشیا، شکل هندسی، چیدمان و موقعیت دوربین را به‌صورت صریح تعریف می‌کند. از آنجا که صحنه در قالب کد ساخته شده است، می‌توان آن را دوباره اجرا کرد، بررسی کرد یا تغییر داد. به این ترتیب، خروجی بالقوه برای کارهای بعدی در نرم‌افزارهای سه‌بعدی نیز قابل استفاده است.

بااین‌حال، داشتن یک صحنه قابل‌اجرا لزوماً به معنای بازسازی دقیق نیست. ممکن است عامل بتواند برنامه‌ای بسازد که بدون خطا اجرا شود، اما هندسه، جای اشیا یا ظاهر آن با تصویر مرجع تفاوت داشته باشد. پژوهشگران در LEGO-Bench می‌کوشند این فاصله میان «ساختن یک خروجی» و «بازسازی وفادارانه» را جداگانه اندازه‌گیری کنند.

LEGO-Bench چگونه دقت صحنه‌ها را می‌سنجد؟

یکی از دشواری‌های سنجش بازسازی سه‌بعدی از عکس‌های واقعی این است که معمولاً حقیقت مبنای دقیقی در دسترس نیست. در یک عکس واقعی، هندسه کامل محیط، عمق اشیا و بخش‌هایی که دوربین نمی‌بیند مشخص نیست تا بتوان خروجی مدل را با آن‌ها مقایسه کرد. از سوی دیگر، صحنه‌های مصنوعی ساده ممکن است طبیعی به نظر نرسند و در نتیجه معیار مناسبی برای آزمودن مدل‌ها نباشند.

LEGO-Bench راه میانه‌ای را انتخاب می‌کند: تصاویر این مجموعه از صحنه‌های شبیه‌ساز ساخته‌شده به‌صورت حرفه‌ای رندر می‌شوند. به گفته پژوهشگران، ظاهر تصاویر طبیعی است، اما اطلاعات دقیق هندسه، عمق و هویت اشیای هر صحنه پنهان می‌ماند و برای ارزیابی خودکار به‌عنوان پاسخ مرجع استفاده می‌شود. این ساختار امکان می‌دهد مدل با تصویری روبه‌رو شود که ظاهر آن شبیه ورودی‌های واقعی است، درحالی‌که پژوهشگران پاسخ دقیق را برای مقایسه در اختیار دارند.

این معیار ۲۰۸ تصویر از ۱۰۴ صحنه داخلی و بیرونی دارد و از ۴۴۳ دارایی ثبت‌شده استفاده می‌کند. همچنین می‌توان پیچیدگی صحنه‌ها را افزایش داد، بی‌آنکه نورپردازی یا تنظیمات دوربین عوض شود. در نتیجه، ارزیابی می‌تواند دشوارترشدن صحنه را از تغییر شرایط تصویربرداری جدا کند.

LEGO-Bench سه جنبه را می‌سنجد. «اعتبار» بررسی می‌کند که آیا عامل اصلاً یک خروجی قابل‌استفاده تحویل داده است یا نه. «بازسازی» میزان دقت هندسه قابل‌مشاهده را می‌سنجد. در بخش «ظاهر»، صحنه تولیدشده دوباره رندر می‌شود و تصویر حاصل، پیکسل‌به‌پیکسل با تصویر مرجع مقایسه می‌شود تا میزان شباهت ظاهری مشخص شود. این تفکیک مهم است؛ چون موفقیت در ساخت یک فایل اجرایی را با دقت بازسازی یکی نمی‌گیرد.

عملکرد مدل‌ها و مشکل تشخیص پیشرفت

پژوهشگران شش پیکربندی GPT را آزمودند. طبق گزارش آن‌ها، تقریباً همه پیکربندی‌ها در بیشتر موارد توانستند یک صحنه قابل‌اجرا تحویل دهند، اما دقت بازسازی میان مدل‌ها و شرایط مختلف تفاوت زیادی داشت. GPT-6 Astra، بهترین مدل در این آزمون، در صحنه‌های داخلی امتیاز ۵۳٫۴ درصد و در صحنه‌های بیرونی ۳۹٫۶ درصد گرفت. برخی پیکربندی‌های ضعیف‌تر در حدود ۱۵ درصد امتیاز کسب کردند.

پیچیده‌ترشدن صحنه دقت را پایین می‌آورد و صحنه‌های بیرونی برای مدل‌ها دشوارتر از فضاهای داخلی بودند. در مقابل، افزایش بودجه استدلال به بهبود قابل‌توجه چند نسخه GPT انجامید. بودجه استدلال به منابعی اشاره دارد که مدل برای بررسی مسئله و رسیدن به پاسخ در اختیار دارد. در یک زیرمجموعه از آزمون مربوط به دفتر کار، امتیاز Astra با افزایش این بودجه از ۳۲٫۳ به ۶۱٫۸ رسید.

با بررسی مراحل کار عامل‌ها، پژوهشگران سه مشکل رایج را شناسایی کردند: شروع ضعیف، اصلاحاتی که گاهی پیشرفت قبلی را از بین می‌برند، و ارزیابی غیرقابل‌اعتماد مدل از نتیجه خودش. مشکل سوم به‌ویژه در آزمونی آشکار شد که مدل باید از میان دو نسخه صحنه انتخاب می‌کرد کدام‌یک به تصویر اولیه نزدیک‌تر است. قضاوت مدل‌ها درباره هندسه نزدیک به حد شانس یا پایین‌تر از آن بود؛ یعنی عامل در بسیاری از موارد نمی‌توانست با اطمینان تشخیص دهد کدام نسخه بهتر است.

این نتیجه، به گفته پژوهشگران، نشان می‌دهد که تکیه بر قضاوت خود عامل برای اصلاح صحنه کافی نیست. اگر مدل نتواند فرق میان نسخه دقیق‌تر و ضعیف‌تر را تشخیص دهد، ممکن است در چرخه بازبینی نه‌تنها پیشرفت نکند، بلکه اصلاح‌های درست قبلی را هم از بین ببرد. در چنین شرایطی، ارزیابی باید به اندازه‌گیری‌های مشخص و قابل‌بررسی متکی باشد، نه صرفاً برداشت خود مدل از کیفیت خروجی.

LEGO-Plugin و کاربردهای بالقوه صحنه‌های بازسازی‌شده

پژوهشگران برای مقابله با این محدودیت، افزونه LEGO-Plugin را ساخته‌اند؛ ابزاری که به آموزش اضافه مدل نیاز ندارد. این افزونه صحنه اولیه را به تصویر مرجع متصل می‌کند، خودارزیابی نامطمئن عامل را با اندازه‌گیری‌های عینی جایگزین می‌کند و از تغییراتی که پیشرفت درست را به عقب برمی‌گردانند جلوگیری می‌کند.

طبق نتایج گزارش‌شده، LEGO-Plugin عملکرد هر شش مدل را بهتر کرد. عامل‌های ضعیف‌تر بیشترین بهره را بردند و بهبود امتیاز آن‌ها به ۶۲٫۷ درصد رسید. در مقابل، مدل برتر از قبل عملکرد بهتری داشت و افزایش امتیاز آن تنها حدود دو واحد درصد بود. این اختلاف نشان می‌دهد افزودن ابزارهای سنجش و کنترل می‌تواند برای عامل‌هایی که از ابتدا ضعیف‌ترند، اثر بیشتری داشته باشد.

از آنجا که هر صحنه در این روش یک برنامه قابل‌اجراست، پژوهشگران امکان استفاده از آن برای چند وظیفه بینایی ماشین را نیز بررسی کردند: تشخیص اشیا، بخش‌بندی و برآورد عمق. در بخش‌بندی، تصویر به نواحی یا اشیای جدا تقسیم می‌شود؛ برآورد عمق نیز فاصله نسبی نقاط و اشیا از دوربین را تخمین می‌زند. صحنه‌های بازسازی‌شده بدون آموزش اضافه، در هر سه کار نتیجه‌هایی قابل‌استفاده اما متوسط ارائه کردند.

تشخیص اشیا بهترین نتیجه را داشت و عملکرد صحنه‌های بازسازی‌شده به حدود نیمی از عملکرد مدل تخصصی DINO رسید. فاصله در بخش‌بندی و برآورد عمق بیشتر بود؛ در این وظایف، مدل‌های تخصصی مانند SAM 3 و Depth Anything 3 عملکرد بهتری داشتند. بنابراین، پژوهشگران می‌گویند برنامه‌های صحنه‌ای که عامل‌های کدنویس امروز تولید می‌کنند امیدوارکننده‌اند، اما هنوز برای جایگزینی بازسازی دقیق یا مدل‌های ویژه این وظایف آماده نیستند.

در کنار این پژوهش، گزارش به چند مسیر دیگر در ساخت صحنه‌های سه‌بعدی اشاره می‌کند. به گفته پژوهشگر هوش مصنوعی Yoav Artzi، برتری GPT-6 Astra با نشانه‌هایی از پیشرفت در درک فضایی هم‌راستاست و او احتمال می‌دهد این مدل با حجم زیادی از داده‌های سه‌بعدی، از جمله صحنه‌های Blender، آموزش دیده باشد. این برداشت در گزارش به‌عنوان نظر و گمانه‌زنی او مطرح شده است، نه نتیجه‌ای که در LEGO-Bench اثبات شده باشد.

شرکت‌های سازنده ابزارهای سه‌بعدی نیز برای عامل‌های کدنویس آماده می‌شوند. Unity افزونه‌های رسمی برای Claude Code و Codex منتشر کرده است. در رویکردی متفاوت، Atlas، مدل جهان‌ساز World Labs، صحنه‌ها را بدون تکیه بر تولید کد بازسازی می‌کند. Google DeepMind نیز با GenCeption از یک مدل ویدئویی برای برآورد عمق و بخش‌بندی بهره می‌گیرد؛ روشی که طبق گزارش، در این دو کار به عملکرد مدل‌های تخصصی می‌رسد. این نمونه‌ها نشان می‌دهند بازسازی محیط سه‌بعدی به یک مسیر واحد محدود نیست.

جمع‌بندی نتایج LEGO-Bench این است که ساختن یک صحنه سه‌بعدی قابل‌اجرا با بازسازی دقیق آن تفاوت دارد. عامل‌ها در تولید خروجی موفق‌اند، اما دشواری صحنه، ضعف در تشخیص کیفیت خود و خطاهای اصلاحی همچنان مانع رسیدن به وفاداری بالا می‌شود. استفاده از معیارهای بیرونی و قابل‌اندازه‌گیری می‌تواند بخشی از این مشکل را کاهش دهد، اما نتایج آزمون‌های بینایی ماشین نشان می‌دهد فاصله با مدل‌های تخصصی هنوز از میان نرفته است.

این خبر برای چه کسانی اهمیت دارد

این نتایج برای پژوهشگران بینایی ماشین و هوش مصنوعی، توسعه‌دهندگان عامل‌های کدنویس و سازندگان ابزارهای سه‌بعدی اهمیت دارد؛ زیرا نشان می‌دهد ارزیابی خروجی عامل‌ها باید فراتر از بررسی اجرای بی‌خطای کد باشد. برای طراحان و کاربران Blender نیز یافته‌ها تصویری واقع‌بینانه از توانایی فعلی این ابزارها ارائه می‌کند: عامل می‌تواند بخش‌هایی از فرایند ساخت را انجام دهد، اما هنوز نمی‌توان بدون سنجش مستقل، دقت هندسی و وفاداری صحنه را مفروض گرفت.

برای گروه‌هایی که به خروجی دقیق در تشخیص اشیا، بخش‌بندی یا برآورد عمق نیاز دارند، نتایج یادآور می‌شود که صحنه‌های ساخته‌شده با عامل‌های فعلی ممکن است به‌تنهایی جای مدل‌های تخصصی را نگیرند. در عین حال، LEGO-Plugin نمونه‌ای از راهکارهای بدون آموزش اضافه است که با اندازه‌گیری عینی و محافظت از اصلاح‌های درست، می‌تواند عامل‌ها را قابل‌اعتمادتر کند.