خواندن توکن اول، سوگیری داورهای زبانی را بزرگ‌نمایی می‌کند

سوگیری داورهای زبانی ممکن است در ارزیابی‌ها بیش از اندازه گزارش شود: پژوهشی تازه در arXiv نشان می‌دهد استخراج حکم یک مدل زبانی بزرگ از نخستین توکن، سوگیری جایگاهی را در همه وضعیت‌های آزمایش‌شده بزرگ‌نمایی می‌کند. این مطالعه که در ۲ اکتبر ۲۰۲۶ منتشر شده، هشدار می‌دهد این روش ارزان و رایج می‌تواند ارزیابیِ رفتار داور را گمراه کند، حتی اگر دقت کلی آن تغییر چندانی نکند.

چرا خواندن توکن اول مشکل‌ساز است؟

برای مقایسه دو پاسخ، گاهی از یک مدل زبانی به‌عنوان «داور» استفاده می‌شود؛ مدل باید تعیین کند کدام پاسخ بهتر است. یک راه کم‌هزینه برای گرفتن نتیجه، بررسی احتمال توکن‌های حکم در نخستین گام تولید است، بی‌آن‌که مدل متنی تولید کند. سامانه‌های رمزگشایی محدود و ارزیابی مبتنی بر امتیازدهی احتمال نیز ممکن است همین خروجی را به کار بگیرند.

اما این روش فرض می‌کند داور از همان ابتدا با یک نشانه روشن، مثلاً گزینه‌ای برای پاسخ اول یا دوم، رأی می‌دهد. طبق پژوهش، این فرض همیشه درست نیست. اگر مدل در نخستین توکن هنوز حکمی نداده باشد، خواندن اجباری همان نقطه می‌تواند پاسخِ قرارگرفته در جایگاه اول را به‌عنوان نتیجه ثبت کند.

نتایج آزمایش روی چند داور زبانی

در آزمایش‌های گزارش‌شده، سه داور Qwen3 در ۱۲ تا ۴۹ درصد جفت‌های پاسخ با توکن نخست به یک حکم نرسیدند. این میزان برای Llama-3.1-8B و Phi-3.5-mini کمتر از ۳ درصد بود؛ بنابراین مسئله در همه مدل‌های بررسی‌شده به یک اندازه دیده نشد.

پژوهشگران ۹۲۴ جفت را بررسی کردند که داور در آن‌ها با توکن اول متعهد به انتخاب نشده بود. وقتی جای دو پاسخ عوض شد، خوانش اجباری در ۸۹٫۷ درصد موارد تغییر کرد. در مقابل، اگر داور فرصت پیدا می‌کرد متن را تولید کند و سپس حکم آن خوانده می‌شد، این تغییر در ۴۷٫۵ درصد موارد رخ می‌داد. اختلاف گزارش‌شده میان دو روش ۰٫۴۲۲ بود و فاصله اطمینان ۹۵ درصدی آن از ۰٫۳۶۵ تا ۰٫۴۶۷ اعلام شد.

سوگیری بیشتر، بدون افت مشابه در دقت

این خطا به گفته پژوهشگران بیش از آن‌که دقت داور را تغییر دهد، سنجش سوگیری جایگاهی را تحت تأثیر قرار می‌دهد. در هفت مورد از ده وضعیت آزمایش‌شده، سنجه سوگیری حدود ۴۲ واحد درصد جابه‌جا شد، اما دقت داور کمتر از یک واحد درصد تغییر کرد. به بیان دیگر، مسئله اصلی ممکن است برای کسانی باشد که رفتار داور را ممیزی می‌کنند، نه لزوماً برای کاربرانی که از خروجی آن استفاده می‌کنند.

مطالعه یک محدودیت دیگر را هم گزارش می‌کند: حتی وقتی داور با توکن نخست حکم می‌دهد، گاهی در ادامه متن استدلال می‌کند و به گزینه مقابل می‌رسد. این ناسازگاری در صفر تا ۵٫۵ درصد جفت‌ها دیده شد و نرخ آن با میزان پیروی مدل از دستور ارتباطی نداشت.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگران و تیم‌هایی اهمیت دارد که مدل‌های زبانی را با کمک داورهای خودکار ارزیابی می‌کنند یا سوگیری آن‌ها را می‌سنجند. پیشنهاد مقاله این است که در کنار هر عدد مربوط به سوگیری جایگاهی، نرخ دفعاتی نیز اعلام شود که داور واقعاً در توکن نخست حکم می‌دهد. به گفته پژوهشگران، محاسبه این نرخ به یک گذر روبه‌جلو نیاز دارد و به برچسب‌گذاری انسانی احتیاج ندارد.