NashEval ارزیابی عامل‌های هوش مصنوعی را به زمینه وابسته می‌کند

پژوهشگران در مقاله‌ای تازه که در ۲۹ سپتامبر ۲۰۲۶ در arXiv منتشر شده، چارچوبی به نام NashEval برای ارزیابی عامل‌های هوش مصنوعی در زمینه‌های متفاوت معرفی کرده‌اند. این روش از بازخوردهای انسانیِ ثبت‌شده استفاده می‌کند و می‌کوشد به‌جای ساختن یک رتبه‌بندی ثابت، مشخص کند کدام عامل‌ها در هر زمینه عملکرد برتری دارند؛ مسئله‌ای مهم وقتی ترجیح انسان‌ها با تغییر وظیفه، دستور یا گروه کاربران عوض می‌شود.

چرا رتبه‌بندی ثابت کافی نیست؟

برخی روش‌های رایج ارزیابی، از جمله مدل Bradley-Terry، ترجیح‌ها را به شکلی مدل می‌کنند که بتوان عامل‌ها را در یک ترتیب خطی قرار داد. چنین ترتیبی فرض می‌کند ترجیح‌ها سازگار و انتقال‌پذیرند؛ اما به گفته نویسندگان، وقتی داوری‌های انسانی ناهمگون باشند، این فرض ممکن است بازتاب‌دهنده ترجیح جمعی نباشد.

برای نمونه، عامل برتر در پاسخ به یک دستور یا برای یک گروه کاربری، لزوماً در زمینه‌ای دیگر بهترین انتخاب نیست. بنابراین ارزیابی باید اطلاعات زمینه‌ای را در نظر بگیرد، نه این‌که برای همه موقعیت‌ها یک امتیاز کلی بسازد.

ارزیابی به‌مثابه یک بازی

NashEval مسئله را با الهام از نظریه انتخاب اجتماعی به شکل یک بازی میان دو بازیکن صورت‌بندی می‌کند. هر بازیکن به‌جای انتخاب تنها یک عامل، توزیعی از عامل‌ها را به‌عنوان راهبرد برمی‌گزیند و هدفش این است که ترجیح جمعی بیشتری از حریف به دست آورد.

در این چارچوب، مجموعه عامل‌هایی که در پشتیبانی تعادل نش قرار می‌گیرند، برندگان متناسب با همان زمینه به شمار می‌آیند. تعادل نش وضعیتی است که در آن هیچ‌یک از بازیکنان با تغییر یک‌جانبه راهبرد خود نمی‌تواند نتیجه بهتری بگیرد. در نتیجه، خروجی ارزیابی لزوماً یک برنده منفرد یا یک فهرست رتبه‌بندی‌شده نیست و می‌تواند مجموعه‌ای از عامل‌های برتر باشد.

یادگیری از بازخوردهای ناقص

چالش اصلی آن است که داده‌های آفلاین معمولاً برای هر زمینه فقط بازخورد درباره بخشی از عامل‌ها را در بر می‌گیرند. به گفته مقاله، اگر این داده‌های محدود مستقیماً برای تخمین ترجیح‌ها به کار روند، برآورد ساده می‌تواند سوگیری داشته باشد؛ یعنی به‌دلیل چگونگی ثبت بازخوردها، تصویر نادرستی از پرداخت‌های بازی ارائه کند.

NashEval ابتدا برآوردهای اصلاح‌شده‌ای از ماتریس پرداخت زمینه‌ای می‌سازد؛ ماتریسی که نتیجه یا ترجیح حاصل از رویارویی راهبردها را نشان می‌دهد. سپس با استفاده از یک تابع زیان متعامد، رابطه میان زمینه و تعادل را یاد می‌گیرد. به‌جای حل یک بازی جداگانه برای هر زمینه، این طراحی مستقیماً نگاشت زمینه به تعادل را هدف می‌گیرد.

نویسندگان همچنین از تحلیل نظری برای بررسی حساسیت روش استفاده کرده‌اند. طبق چکیده مقاله، خطا در برآورد توابع کمکیِ زیربنای ماتریس پرداخت، از طریق جمله‌های مرتبه‌بالاتر بر ریسک روش، یعنی میزان بهره‌برداری‌پذیری از تعادل آموخته‌شده، اثر می‌گذارد. این ویژگی می‌تواند به پایداری یادگیری در برابر برخی خطاهای تخمین کمک کند.

نتایج گزارش‌شده و اهمیت پژوهش

طبق گزارش نویسندگان، آزمایش‌های انجام‌شده در چند مجموعه آزمایشی نشان می‌دهد NashEval پایداری یادگیری تعادل را بهبود می‌دهد و به‌طور پیوسته مجموعه عامل‌های برتر را در زمینه‌های مختلف شناسایی می‌کند. چکیده، جزئیات مجموعه‌داده‌ها یا اندازه بهبود را بیان نمی‌کند؛ بنابراین نمی‌توان از آن درباره برتری روش در کاربردهای مشخص نتیجه‌گیری دقیق‌تری کرد.

این پژوهش رویکردی برای سنجش عامل‌ها پیشنهاد می‌کند که تفاوت میان زمینه‌ها و ناهمگونی داوری انسان‌ها را در مرکز ارزیابی قرار می‌دهد. در صورت کارآمد بودن این روش در کاربردهای عملی، می‌تواند برای مقایسه عامل‌هایی مفید باشد که عملکردشان به نوع وظیفه، متن دستور یا گروه کاربر وابسته است.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای محققان ارزیابی مدل و یادگیری ماشین، و نیز تیم‌هایی که عامل‌های هوش مصنوعی را برای وظایف یا گروه‌های کاربری متفاوت می‌سنجند، اهمیت دارد. پیام اصلی آن این است که ارزیابی عامل‌ها ممکن است به‌جای یک رتبه‌بندی واحد، به برآوردی زمینه‌مند از ترجیح جمعی نیاز داشته باشد.