پنج مدل زبانی در بازسازی نظرسنجی انسانی از نکته‌های غیرمنتظره بازماندند

داده مصنوعی نظرسنجی که پنج مدل زبانی تولید کرده‌اند، نتوانست بینش‌های غیرمنتظره در پاسخ‌های انسانی را بازسازی کند؛ نتیجه‌ای که در پژوهشی تازه در arXiv گزارش شده است. پژوهشگران با مقایسه پاسخ‌های واقعی با پاسخ‌های شبیه‌سازی‌شده می‌گویند مدل‌ها می‌توانند به تولید داده‌هایی باورپذیر و هم‌جهت کمک کنند، اما این توانایی به معنای بازتاب دقیق باورهای انسان‌ها نیست.

مقایسه پاسخ‌های انسانی با پنج مدل زبانی

این پژوهش، نتایج یک پیمایش از ۴۲۰ برنامه‌نویس و توسعه‌دهنده در سیلیکون‌ولی را با پاسخ‌های مصنوعی مقایسه کرد. پاسخ‌های مصنوعی را پنج سامانه هوش مصنوعی مولد تهیه کرده بودند: ChatGPT Thinking 5 Pro، Claude Sonnet 4.5 Pro به‌همراه Claude CoWork 1.123، Gemini Advanced 2.5 Pro، Incredible 1.0 و DeepSeek 3.2.

هدف مطالعه بررسی این بود که آیا داده‌های تولیدشده با هوش مصنوعی می‌توانند پاسخ شرکت‌کنندگان انسانی را در پژوهش‌های پیمایشی بازتولید کنند یا نه؛ پرسشی که به‌گفته نویسندگان، برای استفاده از این روش در پژوهش‌های سازمانی اهمیت دارد.

پاسخ‌های باورپذیر، اما بدون بینش‌های خلاف‌انتظار

طبق چکیده مقاله، پاسخ‌های تولیدشده به‌وسیله مدل‌ها از نظر فنی باورپذیر بودند و در مقایسه، بیشتر به تکرارپذیری و هم‌سویی گرایش داشتند. بااین‌حال، هیچ‌یک از مدل‌ها نتوانستند نکته‌های خلاف‌انتظاری را بازتاب دهند که ارزش ویژه‌ای به نتایج پیمایش انسانی داده بود.

یافته دیگر این بود که تفاوت پاسخ‌های مدل‌ها با داده انسانی برای همه مدل‌ها در یک جهت گروه‌بندی می‌شد؛ در نتیجه، داده واقعی در مقایسه با پاسخ‌های مصنوعی بیشتر به‌صورت یک مورد متمایز ظاهر شد. نویسندگان می‌گویند مدل‌ها بیشتر به بازگویی برداشت‌های رایج و هم‌نظر شدن با یکدیگر نزدیک بودند تا آشکار کردن یافته‌های تازه.

داده مصنوعی، مکمل پیمایش انسانی

نویسندگان هشدار می‌دهند افزایش توانایی مدل‌های زبانی در تولید پاسخ‌های شبیه انسان نباید به‌عنوان دلیلی برای جایگزین کردن پاسخ‌دهندگان واقعی تلقی شود. به‌ویژه در موضوعاتی که شواهد پیشین مستندی درباره آن‌ها وجود ندارد، پاسخ مصنوعی به‌گفته پژوهشگران نمی‌تواند باورهای اجتماعی واقعی در محیط‌های سازمانی را به‌طور معنادار مدل‌سازی کند.

در عوض، مقاله استفاده از پاسخ‌های مصنوعی را به‌عنوان ابزاری پیش یا پس از پیمایش می‌بیند: روشی برای شناسایی فرض‌های رایج و انتظارات احتمالی درباره گروه مورد مطالعه. نویسندگان همچنین بر نیاز به روش‌های اعتبارسنجی تکرارپذیرتر و استانداردهای روشن‌تر برای گزارش نحوه استفاده از داده مصنوعی تأکید می‌کنند.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگرانی اهمیت دارد که می‌خواهند پاسخ‌های تولیدشده با مدل‌های زبانی را در مطالعات اجتماعی یا سازمانی به کار بگیرند. پیام اصلی مقاله این است که شباهت ظاهری پاسخ‌های هوش مصنوعی به پاسخ انسان، تضمین نمی‌کند که مدل‌ها دیدگاه‌های واقعی یا نتایج غیرمنتظره را بازتاب دهند. بنابراین، داده مصنوعی می‌تواند برای بررسی فرض‌ها مفید باشد، اما جایگزین روش‌های دقیق گردآوری پاسخ انسانی نیست.