آزمایش Asana هزینه عامل مرورگر را ۷۶ برابر کاهش داد

عامل مرورگر Asana پس از بهینه‌سازی گردش‌کار با GPT-6.1 Sol، در آزمایش‌های این شرکت ۷۶ برابر ارزان‌تر و پنج برابر سریع‌تر از تنظیم اولیه اجرا شد. Asana می‌گوید هزینه تخمینی هر اجرا به ۰٫۴۷ دلار و زمان آن به حدود چهار دقیقه رسید؛ نتیجه‌ای که می‌تواند استفاده از عامل‌های هوش مصنوعی برای انجام کارهای تکراری در وب را اقتصادی‌تر کند. این بررسی با کمک GPT-6 Astra در Codex انجام شد و یافته‌های آن روز جمعه ۱۷ مهر ۱۴۰۵ منتشر شد.

عامل مرورگر چگونه به هزینه کمتر رسید؟

StackAI، پلتفرمی که Asana مالک آن است، به مشتریان امکان می‌دهد بدون نوشتن کد، گردش‌کارهایی بسازند که در وب‌سایت‌ها جابه‌جا می‌شوند، فرم‌ها را پر می‌کنند و اطلاعات جمع‌آوری می‌کنند. این نوع عامل مرورگر برای انجام وظایف، متن صفحه‌ها و تصویرهای گرفته‌شده از صفحه را در طول کار بررسی می‌کند.

به گفته Asana، عامل قبلی دستورهای ثابت و تعریف ابزارهایش را در حافظه موقت یا «کش» نگه می‌داشت؛ روشی که از ارسال دوباره اطلاعات ثابت جلوگیری می‌کند. اما تاریخچه رو‌به‌رشد صفحه‌ها و تصویرهای مرورشده ذخیره نمی‌شد و در هر درخواست، این اطلاعات دوباره با هزینه کامل به مدل فرستاده می‌شد.

مشکل دیگر، حذف تصویرها و کوتاه‌کردن متن در تقریباً هر مرحله بود. چون این ویرایش‌ها محتوای تاریخچه را تغییر می‌دادند، ذخیره‌کردن همان تاریخچه در کش به‌تنهایی کافی نبود. حذف زودهنگام اطلاعات هم ممکن بود عامل را وادار کند صفحه‌هایی را که قبلاً دیده بود دوباره بررسی کند.

تیم سه تغییر را برای آزمایش انتخاب کرد: گسترش کش به تاریخچه مرور، افزایش مقدار متنی که عامل می‌توانست حفظ کند و حذف تصویرها به‌صورت دسته‌ای، نه در هر مرحله. ترکیب برتر اجازه می‌داد تصویرها تا رسیدن به ۲۰ تصویر جمع شوند و سپس فقط تازه‌ترین تصویر باقی بماند. به گزارش شرکت، این روش تاریخچه را برای مدت بیشتری بدون تغییر نگه می‌داشت و کارایی کش را بالا می‌برد.

آزمایش ۱۴۴باره با چهار مدل

فرانک هیدالگو، مدیر فنی StackAI در Asana، از GPT-6 Astra در Codex خواست کد عامل را بررسی کند، پیشنهادهای بهبود را بیازماید و نتایج را مقایسه کند. هیدالگو برآورد کرده بود که انجام دستی این کار یک تا دو ماه طول می‌کشد؛ اما به گفته او، فرایند با کمک ابزارهای یادشده حدود یک هفته زمان برد.

آزمایش شامل ۱۴۴ اجرا و چهار مدل بود: GPT-6.1 Sol و سه مدل دیگر که در گزارش با نام‌های Model A، Model B و Model C معرفی شدند. گروه، دو اندازه برای تاریخچه در نظر گرفت: ۱۲۰ هزار و ۴۸۰ هزار نویسه. همچنین شش سیاست مربوط به کش و تصویرها را بررسی کرد و هر ترکیب را روی هر مدل سه بار آزمود.

همه تنظیم‌ها یک وظیفه یکسان داشتند: گردآوری شش فیلد اطلاعاتی برای هر یک از ۳۲ کتاب در یک فهرست آزمایشی عمومی. GPT-6 Astra اجراها را انجام داد و درخواست‌ها، داده‌های مصرف و خروجی‌ها را بررسی کرد. بنا بر گزارش، اطلاعات آزمایش در Command ثبت شد تا تیم بتواند آن را بازبینی کند و نتیجه‌ها را به تیکت‌های کاری و تغییرهای کد تبدیل کند.

در مقایسه با تنظیم اولیه روی Model B، هزینه هر اجرا از دست‌کم ۳۶٫۲۱ دلار به ۱٫۲۴ دلار رسید؛ کاهشی ۲۹برابری. سپس گردش‌کار بهینه‌شده با GPT-6.1 Sol هزینه را به ۰٫۴۷ دلار رساند. این رقم ۲٫۶ برابر کمتر از هزینه نسخه بهینه‌شده روی Model B و ۷۶ برابر کمتر از تنظیم اولیه بود. برخی اجراهای اولیه پیش از تکمیل به محدودیت تعداد مراحل رسیده بودند؛ ازاین‌رو شرکت هزینه پایه را دست‌کم ۳۶٫۲۱ دلار گزارش کرد.

هزینه کمتر و پاسخ‌گویی کامل در اجراهای آزمایشی

Asana می‌گوید تنظیم بهینه‌شده روی GPT-6.1 Sol هر وظیفه را کامل کرد و پاسخ درست داد. افزایش ظرفیت تاریخچه نیز بر امکان تولید پاسخ اثر گذاشت: با ظرفیت کوچک‌تر، فقط سه مورد از ۱۸ اجرا پاسخ تولید کردند؛ با ظرفیت بزرگ‌تر، هر ۱۸ اجرا به پاسخ درست رسیدند.

طبق گزارش شرکت، ۸۹ درصد ورودی هر فراخوانی مدل از کش می‌آمد و هزینه ورودی ذخیره‌شده به پنج درصد قیمت ورودی بدون کش بود. بهینه‌سازی تاریخچه و تصویرها، هزینه اجرای GPT-6.1 Sol را از ۱٫۹۷ دلار به ۰٫۴۷ دلار کاهش داد. زمان اجرا نیز از دست‌کم ۲۲٫۵ دقیقه در تنظیم اولیه به حدود چهار دقیقه رسید.

Asana اعلام کرده تغییرهای مربوط به پیمایش مرورگر را در StackAI منتشر کرده و در حال ساخت ابزارهایی برای تکرار آسان‌تر چنین آزمایش‌هایی است. برنامه شرکت این است که در ادامه، مقایسه هزینه، زمان اجرا و کیفیت پاسخ را به ارزیابی‌های پلتفرم اضافه کند تا مشتریان و تیم‌های داخلی بتوانند تنظیم عامل‌هایشان را با معیارهای روشن‌تری بسنجند.

این آزمایش همچنین استفاده از مدل را به‌عنوان بخشی از فرایند مهندسی نشان می‌دهد: GPT-6 Astra بررسی و آزمون‌ها را پیش برد و مهندسان نتایج را ارزیابی و برای انتشار آماده کردند. Asana می‌گوید اکنون از GPT-6 Astra در Codex برای آزمایش بعضی قابلیت‌های محصول پیش از انتشار نیز استفاده می‌کند؛ این عامل در پلتفرم جابه‌جا می‌شود، ورودی‌های مختلف را امتحان می‌کند و برای بازبینان انسانی، ایرادهای احتمالی را گزارش می‌دهد.

این خبر برای چه کسانی اهمیت دارد

نتیجه برای شرکت‌هایی اهمیت دارد که عامل‌های هوش مصنوعی را برای انجام کارهای چندمرحله‌ای در وب به کار می‌گیرند؛ در این کاربردها، هزینه ارسال دوباره تاریخچه و زمان طولانی اجرا می‌تواند استفاده گسترده را محدود کند. برای مشتریان StackAI، کاهش هزینه می‌تواند امکان استفاده از مدل‌های سریع‌تر و توانمندتر را با هزینه عملیاتی پایین‌تر فراهم کند؛ هرچند ارقام اعلام‌شده به وظیفه و تنظیم‌های همین آزمایش مربوط‌اند و به‌تنهایی نتیجه همه کاربردها را مشخص نمی‌کنند.

برای تیم‌های مهندسی محصول نیز این مطالعه نمونه‌ای از استفاده از GPT-6 Astra برای کوتاه‌کردن چرخه بررسی و آزمایش است. در این فرایند، مدل به اجرای آزمون‌ها کمک کرد، اما جهت‌دهی، ارزیابی و تصمیم‌گیری درباره انتشار تغییرها همچنان با تیم انسانی بود.