CultureScore سنجش وفاداری فرهنگی در ویدئوهای تولیدشده با هوش مصنوعی را پیشنهاد می‌کند

چارچوب «وفاداری فرهنگی ویدئو» به پژوهشگران امکان می‌دهد خروجی مدل‌های تولید ویدئو را از معیاری فراتر از کیفیت تصویر بررسی کنند. پژوهشی که در ۶ اکتبر ۲۰۲۶ در arXiv منتشر شده، CultureScore را معرفی می‌کند؛ روشی برای سنجش این‌که مدل‌های هوش مصنوعی فرهنگ‌های مختلف را تا چه اندازه درست بازنمایی می‌کنند. ارزیابی نویسندگان نشان می‌دهد هیچ‌یک از سه مدل بررسی‌شده در همه ابعاد به نتیجه‌ای رضایت‌بخش نرسیده‌اند.

چرا کیفیت تصویر برای سنجش کافی نیست؟

معیارهای رایج، از جمله VideoScore، کیفیت بصری ویدئو را ارزیابی می‌کنند، اما به‌گفته پژوهشگران سازوکاری برای سنجش وفاداری فرهنگی ندارند. در نتیجه، ممکن است مدلی که در یک موقعیت فرهنگی حرکت «ناماسته» را با دست‌دادن جایگزین می‌کند، امتیازی مشابه مدلی بگیرد که آن حرکت را درست تولید کرده است.

CultureScore برای رفع این کاستی، وفاداری فرهنگی را به سه مؤلفه تقسیم می‌کند: «هویت»، یعنی این‌که چه کسانی در ویدئو بازنمایی شده‌اند؛ «زمینه»، یعنی تناسب محیط و پس‌زمینه با فرهنگ موردنظر؛ و «رفتار»، یعنی درستی حرکات، آداب و تعامل‌های اجتماعی. این تفکیک کمک می‌کند ارزیابان مشخص کنند ضعف یک خروجی در کدام جنبه است.

ارزیابی ۶٬۱۷۴ ویدئو در ۱۰ کشور

پژوهشگران چارچوب خود را در مجموعه‌ای از ارزیابی‌ها به کار گرفتند که ۱۰ کشور و ۶٬۱۷۴ ویدئوی تولیدشده با سه مدل پیشرفته را در بر می‌گرفت. طبق نتایج گزارش‌شده، بالاترین امتیاز کلی CultureScore در میان مدل‌های بررسی‌شده ۵۶٫۸ درصد بود. بُعد رفتار دشوارترین بخش ارزیابی بود و هیچ‌یک از مدل‌ها در آن امتیازی بالاتر از ۵۲٫۱ درصد کسب نکرد.

این اعداد به مجموعه مدل‌ها و ارزیابی همین پژوهش مربوط‌اند و به‌تنهایی درباره عملکرد همه ابزارهای تولید ویدئو حکم نمی‌دهند. بااین‌حال، یافته‌ها نشان می‌دهند تولید تصویری باورپذیر لزوماً به معنای بازنمایی دقیق رفتارها و هنجارهای فرهنگی نیست.

فاصله میان کیفیت بصری و داوری فرهنگی

یکی از نتایج برجسته پژوهش، تفاوت میان رتبه‌بندی کیفیت بصری و قضاوت ارزیابان بومی است. LTX-2 در کیفیت بصری بالاترین امتیاز را گرفت، اما ارزیابان بومی آن را در رتبه آخر قرار دادند. این تفاوت نشان می‌دهد کیفیت فنی تصویر و تناسب فرهنگی، دو معیار جداگانه‌اند و یکی را نمی‌توان جایگزین دیگری کرد.

پژوهشگران همچنین گزارش کردند که بُعد «رفتار» در CultureScore، در میان معیارهای خودکار بررسی‌شده، قوی‌ترین همبستگی مثبت را با قضاوت انسانی درباره فرهنگ داشت. داده‌ها و کدهای این چارچوب نیز به‌صورت عمومی در دسترس قرار گرفته‌اند؛ موضوعی که می‌تواند امکان بررسی و مقایسه‌های بعدی را فراهم کند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای سازندگان مدل‌های ویدئوساز، ارزیابان هوش مصنوعی و گروه‌هایی که خروجی این ابزارها را در بافت‌های فرهنگی گوناگون به کار می‌گیرند اهمیت دارد. پیام اصلی آن این است که سنجش مدل‌ها فقط با وضوح، زیبایی یا انسجام بصری تصویر کامل نمی‌شود؛ بازنمایی درست هویت، محیط و رفتار نیز باید بخشی از ارزیابی باشد.