بنچمارک ORCA-bench ضعف عامل‌های کدنویس در تشخیص علت رخدادها را نشان می‌دهد

بنچمارک ORCA-bench نشان می‌دهد عامل‌های هوش مصنوعی که برای کارهای کدنویسی طراحی شده‌اند، هنوز در تشخیص علت رخدادهای پیچیده نرم‌افزاری عملکرد محدودی دارند. این پژوهش که در ۱ اکتبر ۲۰۲۶ در arXiv منتشر شده، پنج عامل پیشرفته را در شرایطی شبیه به عملیات پاسخ‌گویی به رخداد آزموده است؛ بهترین نتیجه در وظایف با دشواری متوسط فقط ۲۵٫۳ درصد دقت بود.

بنچمارک ORCA-bench چه چیزی را می‌سنجد؟

تحلیل علت ریشه‌ای یا RCA فرایندی است که در آن تیم فنی می‌کوشد بفهمد چه چیزی باعث بروز یک اختلال شده است. این کار برای عامل‌های هوش مصنوعی با تولید یا اصلاح کد تفاوت دارد: آن‌ها باید از گزارشی گاه مبهم درباره مشکل، سرنخ‌ها را در معیارهای عملکرد، لاگ‌ها، ردگیری درخواست‌ها و کد منبع کنار هم بگذارند؛ حتی ممکن است بررسی چند ساعت پس از شروع رخداد انجام شود.

پژوهشگران برای سنجش این توانایی، ۱٬۰۷۹ وظیفه تحلیل علت ریشه‌ای را در محیطی شبیه سامانه عملیاتی ساختند. این مجموعه شامل شش روز داده از معیارها، لاگ‌ها و ردگیری‌های یک سامانه میکروسرویسی است که بار شبیه‌سازی‌شده کاربران را به‌طور پیوسته دریافت می‌کرد. کل داده‌های آزمایش ۵۰ گیگابایت بود.

دقت پایین در وظایف واقع‌گرایانه

عامل‌ها از ابزارهای معمول پایش سامانه، از جمله Prometheus، Jaeger و OpenSearch از طریق Grafana، برای بررسی داده‌ها استفاده می‌کردند و به کد منبع برنامه هم دسترسی داشتند. وظایف از نظر میزان جزئیات گزارش اولیه، فاصله زمانی تا شناسایی مشکل و هم‌زمانی چند خطا با یکدیگر تفاوت داشتند.

طبق نتایج مقاله، بهترین دقت در وظایف با دشواری متوسط، که ورودی آن‌ها واقع‌گرایانه توصیف شده، ۲۵٫۳ درصد بود. در وظایف دشوار این رقم به ۱۰ درصد رسید؛ حتی Claude Fable 5 نیز نتوانست این فاصله را برطرف کند. ضعیف‌ترین مدل در ۴۰ درصد گزارش‌های رخداد، علت ریشه‌ای نامحتملی را توهم کرد.

اهمیت دسترسی به کد و محدودیت‌های آزمون

حذف دسترسی به کد منبع، دقت تحلیل را برای همه مدل‌های ارزیابی‌شده کاهش داد و نرخ توهم را بالا برد. این نتیجه نشان می‌دهد بررسی داده‌های پایش به‌تنهایی ممکن است برای تشخیص قابل‌اعتماد علت رخداد کافی نباشد و عامل‌ها برای تفسیر شواهد به زمینه‌ای از ساختار و رفتار برنامه نیاز دارند.

برای ارزیابی پاسخ‌ها، علائم واقعی رخدادها را متخصصان مهندسی قابلیت اطمینان سایت (SRE) بررسی و تأیید کردند. پژوهشگران همچنین امتیازهای داور زبانی را با ارزیابی انسانی دوباره سنجیدند؛ میزان توافق گزارش‌شده میان دو روش، با معیار کاپای وزنی کوهن، ۰٫۹۱ بود.

با این حال، نویسندگان هشدار می‌دهند که آزمون در محیطی محدود و بازسازی‌شده انجام شده است. سامانه‌های واقعی معمولاً بزرگ‌تر، پویاتر و متفاوت‌ترند؛ بنابراین نتایج این بنچمارک را نمی‌توان تضمینی برای عملکرد عامل‌ها در همه محیط‌های عملیاتی دانست. مجموعه عمومی آزمون نیز در دسترس قرار گرفته است.

این خبر برای چه کسانی اهمیت دارد

نتایج برای تیم‌های زیرساخت، مهندسان SRE و سازمان‌هایی اهمیت دارد که در پی استفاده از عامل‌های هوش مصنوعی برای پاسخ‌گویی خودکار به رخدادها هستند. این پژوهش به‌جای آن‌که توانایی کدنویسی را معادل آمادگی عملیاتی بداند، نشان می‌دهد تشخیص علت خرابی در محیط‌های پیچیده هنوز مسئله‌ای حل‌نشده است. برای سازندگان عامل‌ها نیز ORCA-bench آزمونی فراهم می‌کند تا عملکرد مدل‌ها را در کنار داده‌های واقعی‌ترِ پایش و کد برنامه بسنجند.