تیم‌های عامل هوش مصنوعی هزینه را بالا می‌برند، نه لزوماً کیفیت را

تیم‌های عامل هوش مصنوعی در بیشتر آزمون‌های گزارش‌شده، با وجود مصرف توکن و هزینه بیشتر، کیفیت را به‌طور معناداری بالا نبردند؛ نتیجه‌ای که پرسش‌هایی درباره ارزش عملی سامانه‌های چندعاملی مطرح می‌کند. در ارزیابی‌هایی که The Decoder روز یکشنبه ۱۹ مهر ۱۴۰۵ گزارش کرد، تنها یکی از چهار مقایسه میان تیم عامل‌ها و یک عامل منفرد بهبود آماری معنادار داشت. در عوض، شواهد دیگری نشان می‌دهد چند عامل می‌توانند کارها را سریع‌تر انجام دهند؛ مزیتی که لزوماً به معنای خروجی بهتر نیست.

تیم‌های عامل هوش مصنوعی در بیشتر مقایسه‌ها برتری نداشتند

بر اساس نتایج بنچمارک Vals AI، از چهار مقایسه میان تیم‌ها و عامل‌های منفرد، فقط تیمی که از GPT-6 Sol در سطح استدلال متوسط استفاده می‌کرد، افزایش معناداری ثبت کرد. امتیاز این تیم ۷٫۳ واحد بالاتر از عامل منفرد بود. این نتیجه نشان می‌دهد استفاده از چند عامل ممکن است در برخی شرایط به بهبود منجر شود، اما چنین اثری در مقایسه‌های گزارش‌شده قاعده نبود.

در سطح حداکثر استدلال، ساخت تیمی برای GPT-6 Sol و Opus 5.5 مزیت واقعی ایجاد نکرد. بنابراین، افزایش تعداد عامل‌ها یا تقسیم وظیفه میان چند نمونه از مدل، به‌تنهایی تضمین نمی‌کند که پاسخ نهایی دقیق‌تر یا باکیفیت‌تر شود. در این آزمون‌ها، تیم‌ها هزینه بسیار بیشتری داشتند، در حالی که امتیازها فقط اندکی تغییر می‌کردند یا تفاوت معناداری نداشتند.

هزینه بالاتر در این زمینه با مصرف منابع محاسباتی و توکن بیشتر همراه است. توکن واحدی برای پردازش متن در مدل‌های زبانی است و افزایش مصرف آن معمولاً به معنای استفاده بیشتر از ظرفیت مدل است. گزارش، رقم مشخصی برای هزینه مالی ارائه نمی‌کند؛ اما مقایسه هزینه در برابر امتیاز نشان می‌دهد به‌کارگیری تیم عامل‌ها در بسیاری از موارد بازده محدودی داشته است.

افزایش تعداد عامل‌ها گاهی سرعت را بالا می‌برد

آزمون‌های دیگری که Anthropic با Opus 5.5 انجام دادند، تصویری مشابه از رابطه میان شمار عامل‌ها و کیفیت نشان دادند. گروه‌های بزرگ‌تر توانستند زودتر به سطح مشخصی از عملکرد برسند، اما افزایش تعداد عامل‌ها از ۱۰ به ۱۰۰، پس از ۲۴ ساعت فقط تغییر اندکی در امتیاز ایجاد کرد. به این ترتیب، افزایش مقیاس ممکن است رسیدن به نتیجه را سریع‌تر کند، بی‌آنکه کیفیت به همان نسبت بالا برود.

در آزمون‌های جداگانه ProgramBench نیز افزایش سرعت با مصرف توکن بیشتر همراه بود. این نکته اهمیت دارد، زیرا ارزیابی سامانه چندعاملی تنها با سنجش مدت‌زمان انجام کار کامل نمی‌شود؛ مصرف منابع و کیفیت نتیجه نیز باید در نظر گرفته شوند. اگر صرفه‌جویی در زمان با افزایش چشمگیر مصرف توکن همراه باشد، ارزش این روش به نوع کار و هزینه قابل‌قبول برای انجام آن بستگی پیدا می‌کند.

نتایج Fable 5.1 نیز یکسان نبود. در مسئله اثبات قضیه‌های ریاضی با Lean، افزایش تعداد عامل‌ها به بیش از ۱۰ با رشد بیشتری در کیفیت همراه شد؛ با این حال، امتیاز Fable 5.1 در همه آزمون‌ها پایین‌تر از Opus 5.5 باقی ماند. در وظیفه پایگاه دانش، امتیاز این مدل هنگام افزایش شمار عامل‌ها از ۳۰ به ۱۰۰ اندکی افت کرد. این تفاوت‌ها نشان می‌دهد اثر مقیاس‌دادن به تیم فقط به تعداد عامل‌ها وابسته نیست و به نوع وظیفه و مدل مورد استفاده نیز ارتباط دارد.

هماهنگی عامل‌ها هزینه پنهان سامانه‌های چندعاملی است

Noam Brown، پژوهشگر OpenAI، در پادکست Dwarkesh گفت سامانه‌های چندعاملی بیشتر سرعت را افزایش می‌دهند تا کیفیت را. به گفته او، چهار عامل می‌توانند یک وظیفه را دو برابر سریع‌تر حل کنند، اما هزینه نیز دو برابر می‌شود. در مقیاس ۱۶ عامل هم الگوی کلی حفظ می‌شود، هرچند کارایی اندکی کاهش می‌یابد.

Brown تأکید کرد که سودمندی موازی‌سازی به ماهیت مسئله بستگی دارد. پژوهش وب و ریاضی، به گفته او، قابلیت بیشتری برای تقسیم شدن میان عامل‌ها دارند؛ اما نوشتن رمان را نمی‌توان به همان شیوه پیش برد. او برای توضیح این محدودیت گفت سپردن نوشتن یک رمان به ۱۰ هزار عامل، به‌اندازه سپردن آن به ۱۰ هزار نفر بی‌فایده است. همچنین، به گفته او، مقیاس‌دادن به تعداد بسیار زیاد عامل‌ها هنوز به‌خوبی بررسی نشده، چون هزینه آن بالاست.

Eric Provencher، توسعه‌دهنده OpenAI، نیز درباره استفاده از انبوه عامل‌ها هشدار داده است. او استدلال کرده که این روش ممکن است به اتلاف هزینه بینجامد، چون هماهنگی میان عامل‌ها از کار می‌افتد؛ مسئله‌ای که از آن با عنوان «مالیات هماهنگی» یاد کرده است. در عمل، هرچه وظیفه میان عامل‌های بیشتری تقسیم شود، هماهنگ‌کردن کار آن‌ها نیز به بخشی از هزینه سامانه تبدیل می‌شود.

در مجموع، نتایج منتشرشده از این ایده حمایت نمی‌کنند که افزایش تعداد عامل‌ها راهی عمومی برای تولید پاسخ باکیفیت‌تر باشد. شواهد ارائه‌شده بیشتر به یک بده‌بستان اشاره دارد: تیم‌ها در بعضی کارها سرعت را بالا می‌برند، اما مصرف توکن و هزینه را نیز افزایش می‌دهند و بهبود کیفیت ممکن است ناچیز بماند. از سوی دیگر، تفاوت میان وظایف نشان می‌دهد که یک نسخه واحد برای همه کاربردها وجود ندارد.

این خبر برای چه کسانی اهمیت دارد

این نتایج برای شرکت‌هایی اهمیت دارد که سامانه‌های چندعاملی می‌سازند یا قصد دارند آن‌ها را به محصول و فرایند کاری اضافه کنند. برای این گروه‌ها، شمار عامل‌ها به‌تنهایی معیار مناسبی برای موفقیت نیست؛ سرعت، کیفیت خروجی و مصرف توکن باید در کنار هم سنجیده شوند. همچنین، تیم‌هایی که وظیفه‌های قابل‌تقسیم‌تری مانند پژوهش وب یا حل مسائل ریاضی دارند، ممکن است از موازی‌سازی بیشتر بهره ببرند؛ اما همان روش برای کاری مانند نگارش یک رمان لزوماً نتیجه مشابهی ندارد. برای کاربران سازمانی نیز پرسش اصلی این است که آیا صرفه‌جویی زمانی، هزینه افزوده و بار هماهنگی را توجیه می‌کند یا نه.