فهرست مطالب
- COUNTERMEM پس از کنش ناموفق، گزینه‌های جایگزین را در نسخه‌ای از وضعیت اصلی می‌آزماید.
- نتایج بهبودیافته همراه با کنش‌ها و شرایط استفاده دوباره ذخیره می‌شوند.
- در ۱۲ بنچمارک، این روش ReAct و Reflexion را به‌طور میانگین ۱۲٫۶ واحد درصد بهبود داد.
- در مقایسه‌ای چهاردامنه‌ای، مصرف توکن اجرای وظیفه ۷٫۷ تا ۴۲ درصد کاهش یافت.
پژوهشگران در مقاله‌ای که ۲۹ سپتامبر ۲۰۲۶ در arXiv منتشر شده، چارچوبی به نام COUNTERMEM را برای ساخت و به‌کارگیری حافظه خلاف‌واقع در عامل‌های زبانی معرفی کرده‌اند. این روش به عامل امکان می‌دهد پس از یک کنش ناموفق، گزینه‌های دیگری را در نسخه‌ای از وضعیت اولیه بیازماید و نتیجه‌های تأییدشده را برای وظایف آینده نگه دارد. در ارزیابی‌های مقاله، COUNTERMEM عملکرد دو چارچوب رایج عامل‌های زبانی را در ۱۲ بنچمارک بهبود داده است.
از تجربه واقعی تا پرسش «اگر طور دیگری عمل می‌کرد؟»
بسیاری از روش‌های حافظه برای عامل‌های هوش مصنوعی، اطلاعات را از تجربه مستقیم در محیط می‌سازند؛ برای نمونه، بازخورد حاصل از کنشی که عامل انجام داده است ذخیره می‌شود تا در وظیفه‌ای بعدی به کار بیاید. اما به گفته نویسندگان، این روش‌ها معمولاً بررسی نمی‌کنند که اگر عامل کنش متفاوتی انتخاب می‌کرد، نتیجه چه تغییری می‌کرد.
آزمودن مستقیم چنین گزینه‌هایی در محیط فعال می‌تواند پرهزینه باشد و وضعیت محیط را نیز تغییر دهد؛ در نتیجه، مقایسه کنش اصلی با گزینه جایگزین دشوار می‌شود. COUNTERMEM برای پرهیز از این مشکل، گزینه‌های محلی را پس از شکست در کپی یا بازنشانی وضعیت اولیه ارزیابی می‌کند. «خلاف‌واقع» در اینجا به نتیجه‌ای اشاره دارد که با انتخاب کنشی متفاوت ممکن بود رخ دهد.
تأیید نتیجه و ذخیره شرایط استفاده
این چارچوب برای سنجش گزینه‌ها از مدل‌های اجرایی جهان استفاده می‌کند؛ ابزارهایی مانند آزمون‌ها، بررسی‌کننده‌های اثبات و حل‌کننده‌ها. چنین ابزارهایی می‌توانند مشخص کنند آیا اصلاح پیشنهادی نتیجه بهتری داده است یا نه.
COUNTERMEM در حافظه خود کنش اولیه و کنش اصلاح‌شده، نتیجه‌های بررسی‌شده و شرایط استفاده دوباره از هر رکورد را نگه می‌دارد. یک سیاست آموخته‌شده نیز هنگام انجام وظیفه تصمیم می‌گیرد کدام رکورد بازیابی‌شده به کار گرفته شود یا اینکه عامل بدون استفاده از حافظه ادامه دهد. هدف این انتخاب، ایجاد توازن میان موفقیت در وظیفه و هزینه تعامل است.
بر اساس توضیح مقاله، مدل زبانی پایه در این فرایند ثابت می‌ماند. همچنین حافظه و سیاست انتخاب در ارزیابی روی داده‌های کنارگذاشته‌شده تغییر نمی‌کنند؛ بنابراین سامانه هنگام آزمون، حافظه یا سیاست تازه‌ای یاد نمی‌گیرد.
نتایج ارزیابی و محدودیت‌های گزارش‌شده
پژوهشگران COUNTERMEM را در ۱۲ تنظیم بنچمارک از شش حوزه ارزیابی کردند. با استفاده از مدل gpt-oss-120b، این چارچوب در همه این بنچمارک‌ها عملکرد ReAct و Reflexion را بهبود داد. میانگین افزایش گزارش‌شده نسبت به نسخه‌های بدون این روش ۱۲٫۶ واحد درصد بود.
در مقایسه‌ای دیگر که چهار حوزه و دو مدل پایه را دربر می‌گرفت، تعداد توکن‌های مصرف‌شده برای اجرای وظایف ۷٫۷ تا ۴۲ درصد کاهش یافت. این محاسبه هزینه آموزش آفلاین سیاست انتخاب را شامل نمی‌شود؛ بنابراین ارقام کاهش توکن به اجرای وظایف مربوط‌اند، نه کل هزینه آموزش و استفاده.
تحلیل‌های تکمیلی مقاله نشان می‌دهد حذف مرحله تأیید یا کنارگذاشتن ذخیره‌سازی پایدار، دستاوردها را کاهش می‌دهد. نویسندگان همچنین گزارش می‌کنند که به‌کارگیری اصلاح‌های تأییدشده برای تصمیم‌های نامتناسب می‌تواند نتیجه را معکوس کند. این یافته بر اهمیت انتخاب درست زمان و موقعیت استفاده از حافظه تأکید دارد.
این خبر برای چه کسانی اهمیت دارد
این پژوهش برای سازندگان عامل‌های زبانی و پژوهشگرانی اهمیت دارد که می‌خواهند از تجربه‌های پیشین برای بهبود تصمیم‌های بعدی استفاده کنند. ایده اصلی COUNTERMEM این است که حافظه فقط ثبت اتفاق‌های گذشته نباشد، بلکه گزینه‌های جایگزین نیز با ابزارهای قابل اجرا بررسی شوند. بااین‌حال، نتایج گزارش‌شده به بنچمارک‌های مقاله محدود است و متن چکیده اطلاعاتی درباره ارزیابی در محیط‌های واقعی ارائه نمی‌کند. نویسندگان گفته‌اند کد را پس از پذیرش مقاله منتشر خواهند کرد.
پرسش‌های متداول
COUNTERMEM چه کاری انجام می‌دهد؟
COUNTERMEM در چه ارزیابی‌هایی بررسی شده است؟
دانش آموخته مدیریت کسب و کار گرایش استراتژی و پژوهشگر ، استراتژیست و توسعه دهنده اقتصاد دیجیتال
مطالب مرتبط
بهترین هوش مصنوعی برای دانشجویان و تحقیقبهترین هوش مصنوعی برای دانشجویان و تحقیق، یک ابزار واحد نیست؛ انتخاب درست به مرحله پژوهش،…
تولید محتوای سئو‌شده با هوش مصنوعی| مزایا و نکات مهمتولید محتوای سئو‌شده با هوش مصنوعی تولید محتوای سئو‌شده با هوش مصنوعی، فرایند استفاده از مدل‌های…
هوش مصنوعی در صنعت انرژی؛ کاهش مصرف بدون ریسک عملیاتیهوش مصنوعی می‌تواند با پیش‌بینی تقاضا، بهینه‌سازی تجهیزات و شناسایی خطاها، مصرف انرژی را کاهش دهد؛…
