پژوهش: پنل‌های مصنوعی جایگزین نظرسنجی واقعی نیستند

پنل مصنوعی هوش مصنوعی در آزمونی با داده‌های یک نظرسنجی سراسری کره‌جنوبی نتوانست پاسخ‌های واقعی را بدون خطای قابل‌توجه بازسازی کند؛ نتیجه‌ای که نشان می‌دهد شخصیت‌های ساخته‌شده با مدل‌های زبانی فعلاً جایگزین مطمئنی برای شرکت‌کنندگان انسانی نیستند. مقاله‌ای منتشرشده در arXiv در ۲ اکتبر ۲۰۲۶، عملکرد پنلی کره‌ای را در کنار Gemini 3.5 Flash و EXAONE بررسی کرده است.

آزمون شخصیت‌های مصنوعی در برابر داده‌های واقعی

در این مطالعه، پژوهشگران برای هر یک از دو مدل حدود ۸۰۰۰ شخصیت مصنوعی در نظر گرفتند. این شخصیت‌ها به هشت پرسش درباره استفاده از خدمات دیجیتال و هوش مصنوعی و نیز هشت سازه نگرشی پاسخ دادند. سپس نتایج با برآوردهای وزن‌دهی‌شده «پیمایش پنل رسانه‌ای کره» مقایسه شد؛ یعنی داده‌های نظرسنجی برای نزدیک‌تر شدن به ترکیب جمعیت هدف وزن‌دهی شدند.

میانگین خطای مطلق پاسخ‌ها، معیاری برای سنجش فاصله پاسخ‌های مدل از برآوردهای واقعی، بین ۱۴ تا ۱۹ واحد درصد بود. در عین حال، همبستگی میانگین پاسخ‌های دوگزینه‌ای در موج‌های مختلف پیمایش بین ۰٫۷۰ تا ۰٫۹۱ گزارش شد. این همبستگی نشان می‌دهد بعضی الگوهای کلی بازتاب یافته‌اند، اما به‌تنهایی به معنای بازسازی دقیق میزان استفاده یا نگرش گروه‌ها نیست.

خطاها میان مدل‌ها و گروه‌ها تفاوت داشت

خطا فقط در میانگین کل دیده نشد. بررسی پنج محور بخش‌بندی جمعیت، خطای ۱۴ تا ۱۸ واحد درصد را نشان داد. فاصله خطای جهت‌دار میان گروه‌ها نیز برای Gemini و EXAONE به‌ترتیب ۴۹٫۶ و ۳۴٫۷ واحد درصد بود. با کنار گذاشتن گروه‌های نوجوان که مقایسه‌پذیر نبودند، این دامنه به ۳۹٫۵ و ۳۱٫۲ واحد درصد رسید.

به گزارش مقاله، الگوی خطا در دو مدل یکسان نبود: پاسخ‌های Gemini با کلیشه‌سازی درباره سن سازگار بود، در حالی که پاسخ‌های EXAONE سوگیری سطحی همسو با تمایل به موافقت نشان می‌داد. در یکی از موارد، برآورد بیش‌ازحد استفاده از هوش مصنوعی مولد با ناهم‌زمانی داده‌ها و زمینه زمانی مرتبط دانسته شد. کم‌برآوردی استفاده از ویدئوهای کوتاه نیز به نحوه صورت‌بندی پرسش حساس بود و در آزمون با ترتیب تصادفی پرسش‌ها هم ادامه داشت؛ هر دو مشاهده اخیر درباره Gemini گزارش شده‌اند.

کالیبراسیون خطا را کم کرد، اما محدود ماند

پژوهشگران پس از آزمون اولیه، بخشی از داده‌های واقعی را برای کالیبراسیون کنار گذاشتند. کالیبراسیون در این‌جا یعنی اصلاح برآورد پنل با استفاده از نمونه‌ای از پاسخ‌های واقعی. پس از انتخاب روش اصلاح درون همان مجموعه کالیبراسیون، خطای سلولی از ۱۸٫۳ و ۱۵٫۱ واحد درصد به ۴٫۹ و ۴٫۴ واحد درصد برای دو مدل کاهش یافت.

با این حال، برآورد مستقیم از همان زیرنمونه واقعی خطای کمتری داشت: ۳٫۶ واحد درصد. همچنین، برآوردی که اطلاعات پنل مصنوعی را با داده واقعی ترکیب می‌کرد، در بهترین حالت فقط تا ۰٫۷ واحد درصد از نسخه متکی بر داده واقعی بهتر بود. روش اصلاح نیز در موج‌های دیگر پیمایش عملکرد رقابتی خود را حفظ نکرد.

طبق نتایج، مزیت پنل کالیبره‌شده فقط در شرایط محدود باقی می‌ماند: زمانی که تعداد پاسخ‌های واقعی کمتر از حدود ۲۵۰ تا ۸۶۰ نفر باشد، یا برای یکی از مدل‌ها هنگام بررسی گروه‌هایی که در داده‌ها مشاهده نشده‌اند. حتی در وضعیت نخست، برتری نسبت به برآورد ترکیبی متکی بر داده واقعی حداکثر ۲٫۳ واحد درصد بود.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگرانی اهمیت دارد که می‌خواهند از شخصیت‌های ساخته‌شده با مدل‌های زبانی در پیمایش‌ها استفاده کنند، و نیز برای سازمان‌هایی که نتایج نظرسنجی را مبنای تصمیم‌گیری قرار می‌دهند. نتیجه مقاله این نیست که پنل‌های مصنوعی هیچ فایده‌ای ندارند؛ بلکه در این آزمون، کاربرد مناسب‌تر آن‌ها تشخیصی است: کمک به بررسی فرضیه‌ها یا شناسایی الگوهای احتمالی. برای جایگزین کردن داده‌های انسانی، به‌ویژه در مقایسه گروه‌های جمعیتی، شواهد این مطالعه کافی نیست.