بنچمارک ThinkingBox نشان می‌دهد عامل‌ها همیشه کار را درست تمام نمی‌کنند

بنچمارک ThinkingBox برای سنجش اتکاپذیری عامل‌های هوش مصنوعی، نتیجه کار را نه از روی پاسخ نهایی یا تعداد فراخوانی ابزارها، بلکه با بررسی وضعیت پایگاه داده ارزیابی می‌کند. در معرفی این پروژه در وبلاگ Hugging Face در ۳ اکتبر ۲۰۲۶، نتایج آزمون ۵۰۷ گردش‌کار تجاری منتشر شد؛ هر کار برای هر مدل ۲۰ بار و با وضعیت اولیه یکسان اجرا شده است. یافته محوری این است که عامل ممکن است ظاهراً کار را تمام کند، اما داده‌ها نشان دهند وظیفه را نادرست انجام داده است.

نمونه‌ای که در نوشته آمده، درخواست مشتری درباره یک وسیله آشپزخانه ۷۴۵ دلاری است که با تأخیر در مرکز توزیع گیر کرده. عامل هوش مصنوعی در ۹ مرحله اطلاعات سفارش و سیاست بازپرداخت را بررسی می‌کند و تیکتی هم برای مشتری می‌سازد. اما تیکت را «حل‌شده» می‌بندد، در حالی که وضعیت لازم «در انتظار رسیدگی» بوده و پاسخ واقعی به پرسش مشتری هم داده نشده است. از نگاه بررسی فراخوانی ابزارها، عامل کارهای زیادی انجام داده؛ از نگاه پایگاه داده، نتیجه درست نیست.

بنچمارک ThinkingBox چه چیزی را می‌سنجد؟

به گفته سازندگان، پاسخ متنی قابل‌قبول و فراخوانی معتبر ابزارها فقط نشانه‌هایی غیرمستقیم از موفقیت‌اند. عامل می‌تواند پاسخ مطمئنی ارائه کند، اما مقدار اشتباهی را در یک فیلد ثبت کند، رکورد نامربوطی را تغییر دهد یا اثری جانبی و ناخواسته ایجاد کند. ThinkingBox به‌جای اتکا به روایت عامل، تغییرات ثبت‌شده در سامانه را با نتیجه مورد انتظار مقایسه می‌کند.

در این چارچوب، هر گردش‌کار شامل وضعیت آغازین سامانه، هدف کاربر، ابزارهای در دسترس و قواعد مربوط به همان حوزه است. ابزارها از طریق MCP، پروتکلی برای اتصال مدل‌ها به ابزار و داده‌های بیرونی، در اختیار عامل قرار می‌گیرند. هر تلاش در محیطی جداگانه آغاز می‌شود؛ بنابراین دو اجرای یک کار، ردیف پایگاه داده یا وضعیت ابزار مشترکی ندارند. در پایان، ارزیاب‌ها اثرهای واقعی را با نتیجه لازم می‌سنجند و هم تغییرهای نادرست و هم اثرهای جاافتاده یا اضافه را تشخیص می‌دهند.

طبق توضیحات پروژه، ۴۷۷ مورد از ۵۰۷ گردش‌کار فقط با بررسی وضعیت سامانه ارزیابی می‌شوند. برای ۳۰ مورد دیگر که نمی‌توان انتظار را به یک مقدار مشخص پایگاه داده تبدیل کرد، مانند لزوم توضیح‌دادن یک محدودیت به مشتری، یک معیار دودویی محدود نیز به کار می‌رود.

موفقیت یک‌باره، معیار اتکاپذیری نیست

در بخش اصلی ارزیابی، ۱۸ مدل با گردش‌کارهای بنچمارک سنجیده شده‌اند. هر وظیفه ۲۰ بار از یک وضعیت پاک اجرا می‌شود تا دو نوع عملکرد از هم جدا بماند: احتمال موفقیت در یک تلاش و تعداد وظایفی که در هر ۲۰ تلاش موفق شده‌اند. نویسندگان تأکید می‌کنند که عدد ۲۰ از ۲۰، شمارش مستقیم موارد موفق در همه اجراهاست و برآورد آماری یا عدد هموارشده نیست.

در امتیاز تک‌تلاشی، Claude Opus 5.5 با ۶۷٫۱۶ درصد در صدر قرار گرفت و Claude Opus 5 با فاصله‌ای کمتر از یک واحد درصد پس از آن بود. اما تکرارها تصویر متفاوتی نشان دادند: GPT-6-Astra حدود ۷۸ درصد از امتیاز تک‌تلاشی خود را در سنجه تکرار حفظ کرد؛ Claude Opus 5.5 و Claude Opus 5 هرکدام ۷۱ درصد را حفظ کردند. در سوی دیگر، GLM-5.1، Kimi-K2.6 و DeepSeek-V4-Pro حدود ۸ درصد از عملکرد تک‌تلاشی خود را نگه داشتند.

مقایسه Kimi-K3 و Claude Opus 5 هم تفاوت میان گستره توانایی و پایداری را نشان می‌دهد. Kimi-K3 دست‌کم یک‌بار ۴۷۶ مورد از ۵۰۷ وظیفه را حل کرد؛ یعنی ۹۳٫۸۹ درصد، و در گردش‌کارهای خرده‌فروشی نیز با امتیاز ۸۲٫۲۴ درصد در صدر بود. بااین‌حال، فقط ۶۸ وظیفه را در هر ۲۰ اجرا با موفقیت گذراند. Claude Opus 5 دست‌کم یک‌بار ۷۹٫۰۹ درصد وظایف را حل کرد، اما در ۲۴۱ مورد از ۵۰۷ مورد، هر ۲۰ اجرا موفق بود. در نتیجه، مدلی که در یک تلاش می‌تواند دامنه وسیع‌تری از کارها را انجام دهد، لزوماً برای اجرای مداوم همان کارها قابل‌اتکاتر نیست.

نسخه جدیدتر نیز الزاماً تعداد موفقیت‌های پایدار را بالا نمی‌برد: Claude Opus 5.5 در امتیاز تک‌تلاشی از Claude Opus 5 جلوتر بود، اما هر دو دقیقاً ۲۴۱ وظیفه را در تمام ۲۰ اجرا گذراندند.

هزینه موفقیت در برابر هزینه اتکاپذیری

این نوشته هزینه مدل‌ها را از دو زاویه مقایسه می‌کند. «هزینه هر تلاش موفق» هزینه برآوردشده یک اجرای ۵۰۷ وظیفه را بر تعداد تلاش‌های موفق تقسیم می‌کند؛ معیاری برای مقایسه هزینه با دقت تک‌تلاشی، نه صورت‌حساب واقعی یک سرویس. بر این اساس، GPT-5.6 Sol کمترین هزینه هر موفقیت را داشت: ۰٫۱۲۷ دلار. GPT-5.4 با افزایش ۳٫۴۵ واحد درصدی دقت، ۰٫۰۰۴ دلار هزینه بیشتر به‌ازای هر موفقیت داشت و Claude Opus 5.5 نیز با ۱٫۸۰ واحد درصد افزایش دیگر، به ۰٫۲۷۶ دلار رسید.

اما این مقایسه پایداری را نشان نمی‌دهد. برای آن، پژوهشگران هزینه کل ۲۰ اجرای هر وظیفه را بر تعداد کارهایی تقسیم کردند که مدل در همه ۲۰ تلاش درست انجام داده بود. GPT-5.4 با هزینه برآوردی ۶٫۸۰ دلار به‌ازای هر وظیفه پایدار، کم‌هزینه‌ترین بود، اما فقط ۱۲۸ مورد را در همه تلاش‌ها گذراند. GPT-6-Astra با ۷٫۴۵ دلار، ۲۳۱ وظیفه را پایدار انجام داد و Claude Opus 5.5 با ۷٫۸۰ دلار، همراه با آن، بیشترین شمار را ثبت کرد: ۲۴۱ مورد. بنابراین مدلی که پاسخ درست را ارزان‌تر تولید می‌کند، لزوماً ارزان‌ترین گزینه برای کاری نیست که باید هر بار درست انجام شود.

شکست‌ها چه چیزی درباره عامل‌ها می‌گویند؟

در یک آزمایش مقایسه‌ای با ۱۲ مدل و ۱۲۱٬۶۸۰ تلاش معتبر، ۷۹٬۸۵۳ تلاش از بررسی‌های اجرایی عبور نکردند. از این شکست‌ها، ۶۷٫۲۴ درصد با اجرای ظاهراً عادی پایان یافتند: عامل ابزار تغییردهنده وضعیت را فراخوانی کرده بود و خطای نهایی ابزار هم گزارش نشده بود. بااین‌حال، بررسی‌ها در ۷۷٫۶۱ درصد از شکست‌ها مقدار اشتباه در یک فیلد، در ۴۳٫۳۰ درصد اثر جانبی ناخواسته و در ۲۵٫۳۶ درصد اثر ضروریِ انجام‌نشده را یافتند. این دسته‌ها با هم هم‌پوشانی دارند و نباید به‌عنوان علت‌های مستقل جمع شوند.

نویسندگان می‌گویند حدود چهار مورد از هر پنج شکست به مدیریت ابزار مربوط است. الگوی متداول این است که عامل وارد فرایند می‌شود، اما از خطای ابزار، پیش‌شرط ناموفق یا جست‌وجوی بی‌نتیجه به‌درستی عبور نمی‌کند. پیشنهادهای مطرح‌شده شامل بررسی وضعیت نهایی پیش از ثبت کار، طبقه‌بندی خطاها برای هدفمندکردن تلاش دوباره، محدودکردن ابزارهای در دسترس به نیاز همان وظیفه و گرفتن تأیید انسانی برای تغییرهای دشواربرگشت است. نویسندگان تصریح می‌کنند که میزان بهبود حاصل از این پیشنهادها را در این بنچمارک اندازه‌گیری نکرده‌اند.

این خبر برای چه کسانی اهمیت دارد

ThinkingBox برای تیم‌هایی اهمیت دارد که عامل‌های هوش مصنوعی را به فرایندهای متصل به داده‌های واقعی می‌سپارند؛ از خدمات مشتری و خرده‌فروشی تا فرایندهای بیمه‌ای. امتیاز یک اجرای موفق، به‌تنهایی نمی‌گوید عامل در استفاده تکراری از ابزارها چه می‌کند یا آیا اثرهای جانبی ناخواسته به جا می‌گذارد. این بنچمارک معیارهایی برای دیدن آن تفاوت فراهم می‌کند و نشان می‌دهد انتخاب مدل به اولویت کار بستگی دارد: گستره وظایف، هزینه هر موفقیت یا تعداد کارهایی که بارها و بارها درست انجام می‌شوند.