پژوهش: مدل‌های چندوجهی در تشخیص اخبار جعلی تصویرمحور ضعف دارند

پژوهشی درباره اخبار جعلی چندوجهی که اول اکتبر ۲۰۲۶ در arXiv منتشر شد، بررسی می‌کند آیا مدل‌های زبانی چندوجهی می‌توانند پست‌های خبری جعلیِ باورپذیر بسازند و نمونه‌های جعلی را شناسایی کنند. یافته‌های پژوهش نشان می‌دهد بیشتر مدل‌های آزموده‌شده در تشخیص این محتوا، به‌ویژه در ارزیابی اصالت تصویر، از دقت انسانی پایین‌تر هستند.

چارچوبی برای ساخت پست جعلیِ متن‌و‌تصویر

مدل زبانی چندوجهی یا MLLM سامانه‌ای است که می‌تواند با بیش از یک نوع داده، مانند متن و تصویر، کار کند. پژوهشگران برای بررسی امکان سوءاستفاده از این مدل‌ها، چارچوبی چندعاملی طراحی کردند؛ یعنی چند عامل هوش مصنوعی با نقش‌های متفاوت در یک فرایند با یکدیگر همکاری می‌کنند.

در این چارچوب، یک عامل داستان را می‌سازد، عامل دیگر تصویر را تهیه می‌کند و عامل سوم نقش منتقد را دارد. هدف، تولید پست‌هایی بود که به‌صورت باورپذیر با خبرهای واقعی مخالفت کنند. این روش می‌تواند برای مطالعه خطر استفاده از هوش مصنوعی در کارزارهای گسترده اطلاعات نادرست در شبکه‌های اجتماعی به کار رود.

آزمون بیش از ۹۰۰۰ نمونه و ۱۶ مدل

پژوهشگران با این چارچوب بیش از ۹۰۰۰ جفت پست خبری چندوجهی تولید کردند. نمونه‌ها سه حوزه علم، سلامت و سرگرمی را در بر می‌گرفتند. سپس ۱۶ مدل زبانی چندوجهی، شامل مدل‌های متن‌باز و بسته، برای تشخیص خودکار محتوای جعلی ارزیابی شدند.

طبق چکیده مقاله، بیشتر مدل‌ها به‌طور محسوسی از سطح دقت انسان پایین‌تر بودند. مشکل مهم‌تر، شناسایی اصالت تصویر بود: مدل‌ها در تشخیص این‌که تصویر واقعاً با خبر مرتبط است یا نه، ضعف جدی نشان دادند. پژوهش در خلاصه منتشرشده جزئیات رتبه‌بندی مدل‌ها یا میزان دقت هرکدام را ارائه نمی‌کند.

اهمیت تشخیص تصویر در مقابله با اطلاعات نادرست

نتایج این کار نشان می‌دهد ارزیابی خبر جعلی فقط با خواندن متن کافی نیست. پست‌های شبکه‌های اجتماعی می‌توانند متن و تصویر را کنار هم قرار دهند و سامانه‌های تشخیص باید بتوانند هر دو را بررسی کنند. ضعف در سنجش اصالت تصویر ممکن است باعث شود محتوای گمراه‌کننده‌ای که ظاهری باورپذیر دارد از شناسایی خودکار جان سالم به در ببرد.

نویسندگان، پژوهش خود را مبنایی برای توسعه دفاع‌های مقاوم‌تر در برابر اخبار جعلی شبکه‌های اجتماعی می‌دانند. کد و داده‌های این پژوهش نیز، طبق اعلام مقاله، در دسترس قرار گرفته‌اند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای سازندگان مدل‌های چندوجهی، گروه‌های پژوهشی در حوزه تشخیص اطلاعات نادرست و پلتفرم‌های اجتماعی اهمیت دارد. یافته‌ها بر نیاز به آزمودن هم‌زمان متن و تصویر تأکید می‌کنند؛ هرچند نتایج گزارش‌شده به مجموعه داده و مدل‌های ارزیابی‌شده در همین مطالعه محدود است.