کمبود هم‌پوشانی بر تصمیم‌های ارزیابی داورهای زبانی اثر می‌گذارد

پژوهشی منتشرشده در arXiv در ۲۹ سپتامبر ۲۰۲۶ بررسی می‌کند که چگونه کمبود نمونه‌هایی که هم انسان و هم مدل زبانی درباره آن‌ها داوری کرده‌اند، می‌تواند ارزیابی و انتخاب «داورهای» مدل‌محور را به خطا ببرد. نویسندگان می‌گویند در شرایطی که بودجه اجازه برچسب‌گذاری انسانی گسترده را نمی‌دهد، میزان و نحوه تخصیص این نمونه‌های مشترک می‌تواند در تصمیم درباره استقرار یک داور هوش مصنوعی تعیین‌کننده باشد.

هم‌پوشانی کم و خطر تصمیم اشتباه

در روش «مدل زبانی به‌عنوان داور»، یک مدل پاسخ‌ها یا خروجی‌های دیگر را ارزیابی می‌کند. برای سنجش اعتبار آن، معمولاً باید نظر مدل با قضاوت انسان مقایسه شود. اما اگر هر نمونه فقط از سوی انسان یا مدل بررسی شود، امکان اندازه‌گیری توافق میان آن‌ها محدود می‌شود. پژوهش این میزان نمونه‌های مشترک را «هم‌پوشانی» می‌نامد.

طبق چکیده مقاله، پژوهشگران نشان می‌دهند پراکندگی این هم‌پوشانی عامل اصلی در بسیاری از تصمیم‌های نادرست است. در نمونه‌هایی با هم‌پوشانی زوجی پنج‌درصدی، نرخ تصمیم اشتباه به ۲۵ درصد می‌رسد. همچنین احتمال انتخاب داور نامناسب به‌عنوان بهترین گزینه از میان ۱۰ داور، ۶۵ درصد گزارش شده است.

میزان نمونه کافی و شیوه تخصیص آن

مقاله دو اهرم عملی را برای بهبود ارزیابی معرفی می‌کند: افزایش مقدار هم‌پوشانی و بهتر کردن نحوه تخصیص نمونه‌ها. پژوهشگران برای مقدار هم‌پوشانی، فرمولی برای حداقل لازم ارائه می‌کنند و می‌گویند مقدار ۰٫۲۵ برای داورهایی که نتیجه ارزیابی‌شان مرزی نیست، کافی است. اما تشخیص موارد مرزی همچنان دشوار می‌ماند و افزایش داده به‌تنهایی این دشواری را برطرف نمی‌کند.

برای تخصیص نمونه‌ها، پژوهش یک روش طبقه‌بندی‌شده را بررسی می‌کند. در این روش، نمونه‌ها بر اساس گروه‌ها یا ویژگی‌های معنادار به طبقه‌هایی تقسیم می‌شوند و از هر طبقه نمونه‌گیری صورت می‌گیرد. به گفته نویسندگان، اگر این طبقه‌ها اطلاع‌رسان باشند، این شیوه بدون هزینه اضافی نرخ رد نادرست را در مقایسه با نمونه‌گیری تصادفی به نصف می‌رساند.

دامنه ارزیابی پژوهش

پژوهشگران روش خود را روی ۱۰ داور زبانی و چهار ماتریس ارزیابی آزموده‌اند. حوزه‌های بررسی‌شده شامل ارزیابی بصری، استدلال علّی و خلاصه‌سازی بوده است. چکیده مقاله جزئیات بیشتری درباره مدل‌ها یا داده‌های به‌کاررفته ارائه نمی‌کند؛ بنابراین نتایج اعلام‌شده را باید در چارچوب همین دامنه و اطلاعات موجود در خلاصه در نظر گرفت.

یافته‌ها نشان می‌دهد که اعتبارسنجی داورهای زبانی تنها به تعداد برچسب‌های انسانی وابسته نیست؛ این‌که کدام نمونه‌ها برای مقایسه مشترک انتخاب شوند نیز اهمیت دارد. بااین‌حال، مقاله بر دشواری بنیادی موارد مرزی تأکید می‌کند و برای این گروه راه‌حل قطعی معرفی نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای تیم‌هایی اهمیت دارد که از مدل‌های زبانی برای ارزیابی پاسخ‌ها یا مقایسه سیستم‌های هوش مصنوعی استفاده می‌کنند، به‌ویژه اگر بودجه برچسب‌گذاری انسانی آن‌ها محدود باشد. نتایج می‌تواند به طراحان ارزیابی کمک کند نمونه‌های مشترک انسان و مدل را آگاهانه‌تر انتخاب کنند و پیش از استقرار یک داور، خطر انتخاب گزینه نامناسب را در نظر بگیرند.