پژوهش: پوشش بیشتر پاسخ‌ها لزوماً نشانه تخصصی‌سازی هارنس‌های LLM نیست

ارزیابی هارنس‌های مدل زبانی در پژوهشی تازه نشان می‌دهد پوشش بیشتر پاسخ‌ها به‌تنهایی ثابت نمی‌کند که برنامه‌های تولیدشده برای وظایف خاص، تخصصی‌سازی مفیدی ایجاد کرده‌اند. این مطالعه که در arXiv منتشر شده، با بررسی ۳۸۶ مسئله ریاضی نشان می‌دهد بخشی از افزایش پوشش می‌تواند صرفاً حاصل اجرای چندباره یک برنامه یکسان باشد؛ موضوعی که بر شیوه سنجش روش‌های مبتنی بر هارنس اثر می‌گذارد.

چرا پوشش پاسخ با تخصصی‌سازی یکی نیست؟

هارنس در این پژوهش به برنامه‌ای گفته می‌شود که در فرایند اجرای وظیفه با مدل زبانی به کار گرفته می‌شود. تولید هارنس‌های گوناگون ممکن است پاسخ‌های بیشتری را پوشش دهد، اما این نتیجه لزوماً به معنای آن نیست که هر برنامه در نوع مشخصی از مسئله مزیت ویژه و تکرارپذیر دارد.

به گفته پژوهشگران، اجرای چندباره یک برنامه ثابت نیز می‌تواند فرصت بیشتری برای یافتن پاسخ درست فراهم کند. بنابراین، اگر این اثر از تخصصی‌سازی جدا نشود، ممکن است افزایش پوشش به اشتباه به حساب تفاوت‌های مفید میان برنامه‌ها گذاشته شود.

طراحی آزمایش روی ۳۸۶ مسئله

پژوهشگران هشت هارنس تولیدشده را در کنار یک برنامه پایه ارزیابی کردند. برای مقایسه، نه نسخه کاملاً یکسان از برنامه پایه نیز در نظر گرفتند و هر عضو مجموعه را سه بار اجرا کردند. آزمون‌ها روی ۳۸۶ مسئله از مجموعه MATH-500 انجام شد.

این طراحی امکان مقایسه سه موضوع را فراهم می‌کرد: گستره پاسخ‌های پوشش‌داده‌شده، مزیت‌هایی که در اجراهای تکراری باقی می‌مانند و بهبود حاصل از انتخاب برنامه پیش از اجرا. همچنین، ردپاهای پشتیبان از BIRD برای بررسی محل بروز شکست‌ها به کار رفتند؛ پژوهشگران مشکلاتی را در پیاده‌سازی سازوکارها، فعال‌سازی آن‌ها و اعتبار خروجی‌ها شناسایی کردند.

مزیت‌های پایدار بیشتر ضعف‌ها را آشکار کردند

نتایج نشان داد برنامه‌های تولیدشده الگوهای امتیازدهی تکرارپذیرتری دارند، اما این الگوها عمدتاً ضعف‌های ماندگار را نشان می‌دهند. در ۱۰۰ مسئله، افت عملکرد نسبت به برنامه پایه در هر سه اجرای تکراری باقی ماند. در مقابل، برتری پایدار فقط در یک مسئله دیده شد و نتیجه همان مسئله نیز به شیوه استخراج پاسخ حساس بود.

انتخاب‌گری که پیش از اجرا ثابت شده بود، امتیاز را بهبود نداد: افزایش گزارش‌شده صفر واحد درصد بود. همچنین، با ۲۷ اجرای هارنس، جمعیت برنامه‌های تولیدشده و نسخه‌های برنامه پایه هر دو به پوشش ۹۸٫۷۰ درصدی رسیدند. محاسبه اجرای تکراری برنامه پایه نیز ۲٫۱۶ واحد درصد ظرفیت اضافی برای پوشش پاسخ نشان داد.

پژوهشگران می‌گویند با سه تکرار هنوز نمی‌توان درباره مکمل‌بودن پایدار برنامه‌ها نتیجه‌گیری کرد. از دید آن‌ها، صرف مشاهده پوشش بیشتر یا تکرارپذیری امتیازها برای اثبات تخصصی‌سازی سودمند کافی نیست.

ارزیابی هارنس‌های مدل زبانی به چه معیاری نیاز دارد؟

نویسندگان مقاله خواستار معیاری هستند که برتری هر هارنس را در اجراهای متعدد بسنجد، نشان دهد این برتری می‌تواند مبنای تصمیمی قابل‌استفاده باشد و مشخص کند آیا نتیجه از اجرای بیشتر همان برنامه ثابت بهتر است یا نه. مقایسه باید با بودجه استنتاجی یکسان انجام شود؛ یعنی منابع مصرف‌شده برای اجرای روش‌ها هم‌تراز باشد.

این پیشنهاد به مسئله‌ای مهم در ارزیابی سامانه‌های مدل زبانی می‌پردازد: عدد بالاتر در پوشش پاسخ‌ها به‌تنهایی روشن نمی‌کند که برنامه‌ها واقعاً برای کارهای متفاوت تخصص پیدا کرده‌اند یا فقط فرصت‌های بیشتری برای تولید پاسخ داشته‌اند.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگرانی اهمیت دارد که هارنس‌های تولیدشده یا اجرای چندباره مدل‌های زبانی را ارزیابی می‌کنند. همچنین، تیم‌هایی که پیش از اجرا میان چند برنامه انتخاب می‌کنند، می‌توانند از این نتیجه برای جداکردن بهبود واقعی از افزایش پوشش ناشی از تکرار استفاده کنند. مقاله تأکید می‌کند که ادعای تخصصی‌سازی باید با مزیت‌های پایدار و قابل‌استفاده، در مقایسه‌ای هم‌بودجه، پشتیبانی شود.