پژوهش تازه: عامل هوش مصنوعی هارنس اجرای خودش را بهبود می‌دهد

بهینه‌سازی هارنس عامل موضوع چارچوبی پژوهشی است که در مقاله‌ای منتشرشده در arXiv در ۱ اکتبر ۲۰۲۶ معرفی شده است: در این روش، یک مدل زبانی پس از حل مجموعه‌ای از وظایف، گزارش اجرای خود را بررسی می‌کند و کد هارنسِ مورد استفاده‌اش را تغییر می‌دهد. اهمیت این رویکرد در آن است که پژوهشگران به‌جای ساخت هارنس جداگانه برای هر بنچمارک، به‌دنبال بهبود آن در چند حوزه و سنجش عملکرد روی وظایف تازه هستند.

بهینه‌سازی هارنس عامل چگونه انجام می‌شود؟

هارنس، کدی است که کارهای پیرامونی یک عامل مبتنی بر مدل زبانی را مدیریت می‌کند؛ از تنظیم پرامپت و فراخوانی ابزارها تا سامان‌دهی زمینه و کنترل روند اجرا. عملکرد عامل فقط به توانایی مدل وابسته نیست و نحوه سازمان‌دهی این مراحل نیز می‌تواند بر نتیجه اثر بگذارد.

بر اساس چکیده مقاله، در بسیاری از روش‌های پیشین، یک سامانه جداگانه پیشنهادهای تغییر را ارائه می‌داد و برای هر بنچمارک نیز هارنسی جداگانه تکامل می‌یافت. چارچوب تازه این تقسیم کار را کنار می‌گذارد: همان مدلِ ثابت، با همان نسخه از هارنس، ابتدا نقش حل‌کننده را دارد و بعد گزارش کامل اجرا را می‌خواند و مستقیماً هارنس را ویرایش می‌کند.

آزمون روی چند حوزه و وظایف دیده‌نشده

پژوهشگران فرایند تکامل را با وظایفی از پنج بنچمارک در حوزه‌های مختلف پیش بردند. برای سنجش تعمیم‌پذیری، وظایف آموزش و ارزیابی را از هم جدا کردند و عملکرد هارنس را افزون بر آن، روی پنج بنچمارک خارج از توزیع سنجیدند؛ یعنی مجموعه‌هایی که در فرایند تکامل هارنس به کار نرفته بودند.

مقاله این روند را به آموزش یادگیری عمیق تشبیه می‌کند و دو مرحله برای آن در نظر می‌گیرد: پیش‌آموزش چندوظیفه‌ای و آموزش پیوسته. هارنس اولیه فقط ۴۹ خط کد داشت. پس از مرحله نخست، میانگین امتیاز در بنچمارک‌های درون‌توزیع ۴٫۴۸ امتیاز و در بنچمارک‌های خارج از توزیع ۱۲٫۶۴ امتیاز افزایش یافت. طبق گزارش پژوهش، نتیجه در مجموعه‌های درون‌توزیع از Codex بالاتر بود و در مجموعه‌های خارج از توزیع با آن برابری کرد.

بهبود بیشتر در مرحله آموزش پیوسته

در مرحله دوم، تکامل هارنس با ادامه آموزش روی Claw-Eval، یکی از بنچمارک‌های خارج از توزیع، ادامه یافت. امتیاز این آزمون از ۶۶٫۱۷ به ۶۸٫۰۶ رسید و بنا بر مقاله از Codex فراتر رفت.

پژوهشگران همچنین سازوکارهایی را که طی تکامل پدیدار شدند بررسی کردند. از جمله موارد گزارش‌شده، کوتاه‌سازی خروجی، فشرده‌سازی تاریخچه اجرا و بازبینی مستقل بود. مقاله جزئیات این سازوکارها را در تحلیل خود مطرح می‌کند، اما چکیده منتشرشده اطلاعات بیشتری درباره نحوه پیاده‌سازی آن‌ها ارائه نمی‌دهد.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای توسعه‌دهندگان عامل‌های هوش مصنوعی و پژوهشگرانی اهمیت دارد که می‌خواهند عملکرد سامانه‌ها را در وظایف متنوع بسنجند. نتایج گزارش‌شده نشان می‌دهد بهبود کد پیرامونی عامل، نه فقط تغییر خود مدل، می‌تواند در آزمون‌های مختلف با افزایش امتیاز همراه باشد. بااین‌حال، ارزیابی گزارش‌شده بر بنچمارک‌ها استوار است و چکیده به‌تنهایی درباره عملکرد این روش در کاربردهای واقعی نتیجه‌ای ارائه نمی‌کند.