پژوهش: تنوع عامل‌ها به‌تنهایی مناظره هوش مصنوعی را بهتر نمی‌کند

مناظره چندعاملی در مدل‌های زبانی کوچک، در پژوهشی تازه به‌طور منظم از تنوع میان عامل‌ها سود نبرد؛ یافته‌ای که این پرسش را مطرح می‌کند آیا بهبودهای گزارش‌شده حاصل گفت‌وگوی عامل‌هاست یا صرفاً نتیجه نمونه‌گیری و رأی‌گیری میان پاسخ‌ها. پژوهشگران در مقاله‌ای منتشرشده در arXiv، ۲۳ مدل با وزن‌های باز را در پنج وظیفه آزمودند و دریافتند مناظره گاهی از پاسخ‌گویی تک‌مدلی بهتر است، اما در مقایسه‌ای با بودجه محاسباتی برابر، با نمونه‌گیری چندباره برابری می‌کند یا از آن عقب می‌ماند.

آزمون تنوع در بیش از ۵۵۰۰ اجرا

مناظره چندعاملی یا MAD روشی است که در آن چند عامل هوش مصنوعی پاسخ‌های خود را با یکدیگر به اشتراک می‌گذارند و درباره مسئله بحث می‌کنند. این روش در پژوهش‌های پیشین برای بهبود استدلال و دقت واقعیت‌سنجی پیشنهاد شده بود، اما اغلب عامل‌ها به‌عنوان همتایانی مشابه در نظر گرفته می‌شدند. پژوهش تازه می‌کوشد بررسی کند آیا تفاوت میان عامل‌ها عامل اصلی این بهبود است یا نه.

تیم پژوهش سه نوع تفاوت را آزمایش کرد: شخصیت یا نقشِ داده‌شده به عامل‌ها، دمای نمونه‌گیری که بر میزان تنوع پاسخ‌های تولیدشده اثر می‌گذارد، و استفاده از مدل‌های متفاوت در یک گروه. آزمایش‌ها ۲۳ مدل از ۱۱ خانواده سازنده را دربر گرفت و در مجموع بیش از ۵۵۰۰ اجرای مناظره و کنترل را شامل شد.

برای مقایسه منصفانه‌تر، پژوهشگران هر پیکربندی مناظره را با یک روش رأی‌گیری اکثریت سنجیدند که بودجه تولید متن آن با مناظره برابر بود. در این روش، چند پاسخ تولید می‌شود و پاسخی که بیشترین پشتیبانی را دارد انتخاب می‌شود.

مناظره گاهی بهتر است، اما تنوع عامل‌ها نه

بر اساس چکیده مقاله، مناظره در وظایفی که مدل‌ها هنوز ظرفیت بهبود داشتند، نسبت به استنتاج با یک عامل حدود ۳ تا ۷ واحد درصد عملکرد بهتری داشت. با این حال، وقتی هزینه و بودجه تولید متن نیز وارد مقایسه شد، مناظره با روش «خودسازگاری» برابری کرد یا نتیجه ضعیف‌تری به دست آورد. خودسازگاری در این زمینه یعنی مدل چند پاسخ مستقل می‌سازد و سپس از میان آن‌ها پاسخ نهایی را انتخاب می‌کند.

این اختلاف اهمیت دارد، چون مناظره در مقایسه با نمونه‌گیری خودسازگار حدود ۱٫۶ برابر زمان بیشتری می‌برد و هزینه توکنی آن ۳٫۴ برابر است. توکن واحدی برای اندازه‌گیری بخش‌های متن ورودی و خروجی مدل‌های زبانی است. بنابراین، بهتر بودن از یک اجرای منفرد به‌تنهایی نشان نمی‌دهد که مناظره در برابر روش‌های دیگر، با هزینه برابر، انتخاب کارآمدتری است.

پژوهش فرضیه اصلی خود را در هر سه محور تنوع رد کرد. تیم‌های متشکل از مدل‌های مختلف نیز از رأی‌گیری اکثریت میان همان مدل‌ها بهتر نبودند؛ به‌گزارش پژوهش، دقت بیشتر با توانایی اعضای گروه هم‌راستا بود، نه با میزان تفاوت آن‌ها با یکدیگر.

شخصیت‌دهی می‌تواند هزینه داشته باشد

دادن نقش‌ها یا شخصیت‌های متفاوت به عامل‌ها نیز به‌طور خودکار باعث بهترشدن نتیجه نشد. پژوهشگران گزارش کردند که دستورهای شخصیت‌محور می‌توانند دقت را کاهش دهند. آن‌ها با بررسی ترکیب‌های ممکن شخصیت‌ها برای هر مدل، این افت را «هزینه شخصیت‌دهی» توصیف کردند، نه پیامد مستقیم تنوع.

به‌گفته نویسندگان، شخصیت‌های تکراری بیشترین آسیب را به نتیجه می‌زنند و گروه‌هایی با شخصیت‌های بسیار متفاوت می‌توانند بخشی از افت را جبران کنند. این نتیجه به معنای تأیید برتری کلی تیم‌های متنوع نیست؛ بلکه نشان می‌دهد نوع دستورها و تکراری‌بودن نقش‌ها نیز می‌تواند بر عملکرد اثر بگذارد.

یک یافته دیگر به زمان‌بندی گفت‌وگو مربوط بود: تقریباً همه منفعت مناظره در نخستین تبادل پاسخ‌ها دیده شد. این موضوع در پرسش‌هایی درباره ضرورت ادامه بحث مطرح می‌شود، هرچند چکیده مقاله جزئیات کافی برای نتیجه‌گیری درباره همه وظایف یا طراحی‌های مناظره ارائه نمی‌کند.

خطای پنجره زمینه و پیامد آن برای سنجش

پژوهش همچنین به خطای سنجشی اشاره می‌کند: متن گفت‌وگوی مناظره ممکن است بی‌سروصدا از ظرفیت پنجره زمینه مدل فراتر برود. پنجره زمینه مقدار متنی است که مدل می‌تواند در یک نوبت پردازش کند. اگر این محدودیت در محاسبه‌ها لحاظ نشود، مقایسه روش‌ها ممکن است تصویر نادرستی از عملکردشان به دست دهد.

طبق چکیده، اصلاح این مشکل به‌تنهایی نتیجه مقایسه مناظره و نمونه‌گیری را از اختلاف منفی ۱٫۸ واحد درصد به برابری تغییر داد. به همین دلیل، نویسندگان خواستار آن‌اند که پژوهش‌های بعدی، روش‌های مناظره را با خط مبنای کنترل‌شده از نظر بودجه و با بررسی دقیق آلودگی داده‌ها مقایسه کنند. منظور از آلودگی در اینجا، احتمال حضور محتوای آزمون در داده‌های آموزشی است که می‌تواند ارزیابی را مخدوش کند.

این خبر برای چه کسانی اهمیت دارد

این نتایج برای پژوهشگرانی اهمیت دارد که عملکرد عامل‌های گفت‌وگومحور را ارزیابی می‌کنند و برای توسعه‌دهندگانی که درباره استفاده از چند مدل یا چند عامل تصمیم می‌گیرند. پیام اصلی مقاله این نیست که مناظره بی‌فایده است؛ بلکه نشان می‌دهد بهبود نسبت به یک پاسخ منفرد، برای اثبات ارزش افزوده مناظره کافی نیست. سنجش هزینه، مقایسه با نمونه‌گیری چندباره و کنترل محدودیت پنجره زمینه نیز باید در ارزیابی‌ها لحاظ شود.