AWS ابزار CloudWatch Omni را برای ارزیابی عامل‌های هوش مصنوعی عرضه کرد

Amazon Web Services هفته گذشته دسترسی عمومی به CloudWatch Omni را آغاز کرد؛ پلتفرمی که برای ردیابی و ارزیابی عامل‌های هوش مصنوعی طراحی شده است. هدف آن پاسخ به پرسشی فراتر از سلامت فنی سرویس‌هاست: وقتی یک عامل پاسخ نادرست می‌دهد یا ابزار نامناسبی را فراخوانی می‌کند، چه اتفاقی افتاده است؟ این تفاوت برای شرکت‌هایی مهم است که می‌خواهند عامل‌های هوش مصنوعی را از مرحله آزمایشی به کاربرد عملیاتی برسانند؛ چون یک سامانه ممکن است از نظر سرعت و خطاهای فنی سالم به نظر برسد، اما کاربر را به پاسخ اشتباه برساند.

CloudWatch Omni نسل تازه‌ای از CloudWatch است که AWS آن را ابزاری برای رصد رفتار عامل‌ها، نه فقط وضعیت زیرساخت، معرفی می‌کند. این سرویس بر OpenTelemetry بنا شده، بیرون از کنسول مدیریت AWS هم قابل استفاده است و قابلیت‌های مبتنی بر هوش مصنوعی دارد. به‌گفته AWS، پیش‌بینی IDC از استقرار بیش از یک میلیارد عامل تا سال ۲۰۲۹ نشان می‌دهد که بررسی دستی رفتار همه این سامانه‌ها برای تیم‌های عملیاتی ممکن نخواهد بود.

ارزیابی کیفیت در کنار پایش فنی

بخش مهم CloudWatch Omni، به‌گفته گزارش SiliconANGLE، ابزارهای ارزیابی آن است. این سرویس همه ردگیری‌ها یا «تریس‌ها» را ثبت می‌کند؛ ردگیری، سابقه گام‌هایی است که یک درخواست در سامانه طی می‌کند. Omni با ۱۷ ارزیاب داخلی، معیارهایی مانند انسجام پاسخ، مفیدبودن، وفاداری به اطلاعات و درستی انتخاب مسیر یا ابزار را امتیازدهی می‌کند.

این ارزیابی‌ها در کنار معیارهای آشناتری مانند تأخیر و نرخ خطا قرار می‌گیرند. پایش سنتی می‌تواند نشان دهد که سرویس کند شده یا درخواست‌ها با خطا روبه‌رو هستند، اما به‌تنهایی مشخص نمی‌کند که پاسخ عامل درست بوده است یا نه. ارزیاب‌ها قرار است کیفیت خروجی و انتخاب‌های عامل را هم بررسی کنند و در صورت افت کیفیت، تغییر را به تیم‌ها نشان دهند.

تیم‌ها می‌توانند نسخه‌های مختلف دستورهای متنی یا «پرامپت‌ها» را در محیط آزمایشی با یکدیگر مقایسه کنند، از ترافیک واقعی مجموعه‌داده آزمون بسازند و تغییرات نامطلوب را شناسایی کنند. ارزیابی همچنین می‌تواند پیوسته روی ترافیک زنده اجرا شود. در این حالت، افت کیفیت رفتاری عامل به مسئله‌ای برای پایش عملیاتی تبدیل می‌شود، نه موضوعی که فقط پس از گزارش کاربران پیگیری شود.

Sony از کاربران اولیه این سرویس است. ماساهیرو اوبا، مدیرکل ارشد بخش شتاب‌دهی هوش مصنوعی این شرکت، گفته است پلتفرم هوش مصنوعی سازمانی Sony از صدها نمونه آزمایشی و عملیاتی پشتیبانی می‌کند و در چنین مقیاسی، رصدپذیری و ارزیابی اهمیت دارد. او همچنین به امکان رفتن از یک ردگیری به ارزیابی، تحلیل هوش مصنوعی، مقایسه یا ساخت مجموعه‌داده اشاره کرده است. به‌گفته او، گردآوری داده‌های ارزیابی می‌تواند به مانعی در بخش کسب‌وکار تبدیل شود و ساخت مجموعه‌داده از ردگیری‌های زنده به کاهش این مانع کمک می‌کند.

از محیط توسعه تا بررسی زیرساخت

CloudWatch Omni برای توسعه‌دهندگان افزونه‌ای در Visual Studio Code، Cursor و Kiro دارد. ردگیری‌ها هنگام اجرای محلی عامل نمایش داده می‌شوند و طبق توضیح منبع، استفاده از این افزونه به حساب AWS نیاز ندارد. مدیران عملیات نیز می‌توانند از یک محیط وب مستقل استفاده کنند که ورود یکپارچه با ارائه‌دهندگان هویت موجود، از جمله Okta و Microsoft Entra ID، را پشتیبانی می‌کند. هر دو محیط به یک لایه داده مشترک متصل‌اند؛ بنابراین ردگیری‌ای که توسعه‌دهنده هنگام اشکال‌زدایی می‌بیند، همان ردگیری‌ای است که تیم عملیات بررسی می‌کند.

AWS می‌گوید کنسول اصلی CloudWatch بیشتر برای مدیران زیرساخت ساخته شده است؛ درحالی‌که مسئولیت عملیاتی عامل‌ها ممکن است بر عهده مهندسان هوش مصنوعی، مهندسان قابلیت اطمینان سایت و مالکان برنامه‌ها باشد. فراهم‌کردن دسترسی از محیط توسعه، بنا بر تحلیل SiliconANGLE، می‌تواند بررسی کیفیت را به مرحله‌ای نزدیک‌تر کند که اصلاح مشکل کم‌هزینه‌تر است. ابزارهای کدنویسی هوش مصنوعی مانند Claude Code و Codex نیز می‌توانند در راه‌اندازی ابزارگذاری کمک کنند؛ ابزارگذاری به افزودن سازوکارهای ثبت و ارسال داده برای بررسی عملکرد گفته می‌شود.

وجه دیگر محصول، قرارگرفتن ردگیری عامل‌ها، داده‌های تله‌متری برنامه و نشانه‌های زیرساخت در یک مخزن CloudWatch است. تله‌متری یعنی داده‌هایی که نرم‌افزار در جریان کار خود تولید می‌کند و برای فهم وضعیت سامانه به کار می‌رود. به این ترتیب، بررسی یک پاسخ نامناسب می‌تواند از نتیجه یک فراخوانی ابزار شروع شود، به خطای رابط برنامه‌نویسی یک سرویس دارای محدودیت ظرفیت برسد و در نهایت به پرشدن اتصال‌های پایگاه داده پیوند بخورد؛ مسیری که در محیط‌های جدا از هم ممکن است به چند ابزار و چند تیم نیاز داشته باشد.

در نشست‌های بررسی، AWS DevOps Agent به‌طور پیش‌فرض فعال است و برای هم‌بسته‌کردن نشانه‌ها و نگهداری سابقه کامل بررسی به کار می‌رود. Capital One از شرکای طراحی محصول بوده است. پاروز نقوی، مدیر ارشد مهندسی پایداری و پلتفرم ابری این شرکت، گفته است این همکاری به شکل‌گیری راهکاری واحد با هوش مصنوعی، آگاهی از توپولوژی سامانه و جست‌وجوی زبان طبیعی روی داده‌های تله‌متری کمک کرده است. او همچنین بر حفظ مالکیت کامل داده‌ها از طریق OpenTelemetry تأکید کرده است.

استانداردهای باز، رقابت و هزینه‌ها

CloudWatch Omni از OpenInference و AWS Distro for OpenTelemetry برای ابزارگذاری استفاده می‌کند؛ چه عامل‌ها روی AWS اجرا شوند و چه در ابرهای دیگر. در فهرست چارچوب‌های پشتیبانی‌شده، LangChain، LangGraph، CrewAI، OpenAI Agents SDK، Strands و Vercel AI SDK دیده می‌شوند. این پلتفرم همچنین از ارزیاب‌های بیرونی مانند DeepEval پشتیبانی می‌کند و عامل‌های Amazon Bedrock AgentCore به‌صورت خودکار به Omni دسترسی دارند. دریافت داده از Azure اکنون پشتیبانی می‌شود و AWS گفته است پوشش چندابری گسترده‌تر در ادامه ارائه خواهد شد.

استانداردهای باز می‌توانند جابه‌جایی داده را آسان‌تر کنند، اما لزوماً وابستگی به یک عرضه‌کننده را از میان نمی‌برند. به ارزیابی SiliconANGLE، داده‌های مبتنی بر OpenTelemetry قابل‌انتقال‌اند، اما بخش‌هایی مانند تحلیل توپولوژی، ارزیاب‌ها، سابقه بررسی و DevOps Agent روی AWS اجرا می‌شوند. بنابراین شرکت‌هایی که زیرساخت اصلی‌شان AWS است ممکن است Omni را انتخاب طبیعی خود بدانند؛ سازمان‌هایی که از پیش سامانه‌های جاافتاده‌ای مانند Datadog یا Splunk در چند ابر دارند، می‌توانند آن را برای توسعه و ارزیابی عامل‌ها به کار بگیرند و ابزار اصلی رصد خود را حفظ کنند.

این بازار تنها به AWS محدود نیست. طبق گزارش، Datadog، Dynatrace، New Relic، Grafana Labs و Splunk نیز فعالیت خود را در حوزه رصد عامل‌ها گسترش داده‌اند؛ ابزارهایی مانند LangSmith و Arize AI هم بر مدل‌های زبانی بزرگ تمرکز دارند. رقابت بر سر این است که شرکت‌ها چگونه بتوانند هم رفتار عامل‌ها را ببینند و هم آن را در کنار رخدادهای نرم‌افزاری و زیرساختی بررسی کنند.

افزونه محیط توسعه رایگان است، اما مشتریان بابت تله‌متری ارسالی و ذخیره‌شده هزینه می‌پردازند. داشبوردها و هشدارها رایگان‌اند و هزینه پرس‌وجوها تا پنج برابر حجم ماهانه داده‌های ورودی در قیمت پایه لحاظ شده است. حساب‌های واجد شرایط نیز یک دوره آزمایشی ۳۰روزه و اعتبار ۱۰۰۰دلاری برای دریافت داده‌های OpenTelemetry دارند. استفاده از DevOps Agent جداگانه قیمت‌گذاری می‌شود.

هزینه تله‌متری می‌تواند هنگام گسترش استفاده از عامل‌ها اهمیت بیشتری پیدا کند. هر پرامپت، فراخوانی مدل، استفاده از ابزار و واگذاری کار به یک عامل فرعی ممکن است یک بازه داده یا «اسپن» تولید کند. اگر صدها جریان کاری به‌طور پیوسته ارزیابی شوند، حجم داده‌های ارسالی و ذخیره‌شده بالا می‌رود. از همین رو، گزارش توصیه می‌کند سازمان‌ها پیش از عرضه گسترده، درباره نمونه‌برداری، مدت نگهداری داده و تناوب ارزیابی تصمیم بگیرند.

این خبر برای چه کسانی اهمیت دارد

CloudWatch Omni برای مدیران فناوری اطلاعات، تیم‌های مهندسی هوش مصنوعی و شرکت‌هایی اهمیت دارد که چند عامل را هم‌زمان آزمایش یا اداره می‌کنند. ابزار ارزیابی زمانی می‌تواند مفید باشد که سازمان پیشاپیش تعریف کرده باشد پاسخ درست، مفید و سازگار با مقررات برای هر عامل چیست؛ امتیازدهی خودکار بدون معیار روشن، به‌تنهایی مشخص نمی‌کند کیفیت مطلوب چه معنایی دارد.

برای شرکت‌های فعال در صنایع قانون‌گذاری‌شده، مانند بانکداری، مالکیت و قابلیت جابه‌جایی داده و نیز نگهداری سابقه بررسی می‌تواند اهمیت ویژه‌ای داشته باشد. تاریخچه بررسی ممکن است برای مستندسازی نحوه رسیدگی به یک رخداد هوش مصنوعی استفاده شود. در مقابل، هر سازمان باید هزینه تله‌متری و جایگاه سامانه اصلی رصدپذیری خود را هم در نظر بگیرد. پیام اصلی محصول این است که با گسترش عامل‌ها، بررسی تصمیم‌های آن‌ها باید بخشی از عملیات روزانه باشد؛ نه قابلیتی که تنها پس از بروز مشکل سراغش می‌روند.