پژوهش: مهارت‌های فرادستی به عامل‌ها در ساخت محیط بهتر کمک می‌کنند

پژوهشی درباره طراحی محیط عامل نشان می‌دهد یک مدل هوش مصنوعی می‌تواند با یادگیری از بازخورد مدل دیگری، محیط اجرای مناسب‌تری برای وظایف تازه بسازد؛ بی‌آنکه وزن‌های هیچ‌یک از دو مدل تغییر کند. در این روش، آنچه از تجربه‌های پیشین باقی می‌ماند مجموعه‌ای از اصول راهنماست که پژوهشگران آن را «مهارت‌های فرادستی» می‌نامند. نتایج گزارش‌شده در دو بنچمارک نشان می‌دهد استفاده از این مهارت‌ها می‌تواند عملکرد عامل را بهبود دهد.

چرا محیط اجرای عامل اهمیت دارد؟

عملکرد یک عامل هوش مصنوعی فقط به توانایی استدلال مدل وابسته نیست؛ محیطی هم که مدل در آن کار می‌کند می‌تواند در نتیجه اثر بگذارد. این محیط ممکن است ابزارها یا منابعی را در اختیار عامل بگذارد تا وظیفه‌اش را انجام دهد. چکیدهٔ پژوهش می‌گوید مطالعه بر این پرسش متمرکز است که آیا می‌توان در زمان اجرا، محیطی بهتر برای یک مدل ساخت، بدون آنکه وزن‌های مدل‌ها به‌روزرسانی شود.

در چارچوب پژوهش، یک مدل «سازنده» محیط اجرای مدل دیگری، یعنی «هدف»، را طراحی می‌کند. سازنده از بازخوردی که هدف هنگام انجام وظایف مجموعهٔ توسعه ارائه می‌دهد استفاده می‌کند. سپس مهارت‌های آموخته‌شده را برای ساخت محیط‌هایی به کار می‌گیرد که با وظایف ندیده سازگار باشند. «هارنس» در این زمینه به محیط و پشتیبانی اجرایی‌ای گفته می‌شود که برای انجام وظیفه در اختیار عامل قرار می‌گیرد.

طراحی محیط عامل با مهارت‌های فرادستی

مهارت‌های فرادستی در این مقاله به‌جای آنکه پاسخ یک وظیفهٔ خاص باشند، اصولی برای تصمیم‌گیری دربارهٔ پشتیبانی‌اند: چه زمانی مدل هدف به کمک نیاز دارد و چه منابعی باید در اختیارش گذاشت. ایده این است که سازنده تجربهٔ خود از تعامل با مدل هدف را به قواعدی قابل‌استفادهٔ مجدد تبدیل کند.

این قواعد در یک بانک مهارت نگهداری می‌شوند. پس از آنکه سازنده آن‌ها را از بازخورد مجموعهٔ توسعه آموخت، بانک ثابت مهارت‌ها را برای طراحی هارنس در وظایف تازه به کار می‌برد. به این ترتیب، تجربه از یک نمونهٔ خاص فراتر می‌رود و در ساخت محیط‌های اجرایی دیگر مورد استفاده قرار می‌گیرد؛ اما خود وزن‌های مدل‌ها ثابت می‌مانند.

نتایج در دو بنچمارک

طبق چکیدهٔ مقاله، آزمایش‌ها در Harness-Bench و NewtonBench انجام شده‌اند. استفاده از بانک کامل مهارت‌های فرادستی، در میانگین کلان عملکرد نسبت به ساخت هارنس بدون مهارت ۸٫۹۵ واحد درصد بهبود ایجاد کرده است. مقایسهٔ دیگر نشان داده است که این روش نسبت به تحویل مستقیم همان بانک مهارت به مدل هدف نیز ۱۲٫۰۲ واحد درصد نتیجهٔ بهتری داشته است.

این مقایسه به تفاوت میان «داشتن اصول» و «به‌کارگیری اصول برای ساخت پشتیبانی مناسب» اشاره دارد. در روش پژوهش، سازنده از مهارت‌ها برای طراحی محیط هدف استفاده می‌کند؛ درحالی‌که در مقایسهٔ دوم، همان بانک مستقیماً به هدف داده می‌شود. چکیده جزئیات بیشتری دربارهٔ وظایف یا سنجه‌های دقیق ارزیابی ارائه نمی‌کند.

پیامدها و مسیرهای بعدی

پژوهشگران می‌گویند نتایج، ارزش تبدیل تجربه به پشتیبانی اجرایی را برجسته می‌کند. در این نگاه، بهبود عملکرد لزوماً به معنای آموزش دوبارهٔ مدل نیست: می‌توان تلاش کرد مدل در ساخت محیطی که کار را برای عامل دیگر آسان‌تر می‌کند، مهارت پیدا کند.

چکیده همچنین اشاره می‌کند که مشاهدهٔ بهبود در شرایطی که یک مدل واحد هر دو نقش سازنده و هدف را بر عهده می‌گیرد، می‌تواند مسیری برای خودبهبودی در سطح سامانه فراهم کند. منظور از خودبهبودی در اینجا، یادگیری برای ساخت محیط‌های بهتر است؛ نه ادعای تغییر خودکار وزن‌های مدل. این نتیجه، بر اساس چکیدهٔ مقاله است و برای ارزیابی دامنهٔ کاربرد آن باید به جزئیات کامل پژوهش و آزمایش‌ها توجه کرد.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای محققان عامل‌های هوش مصنوعی، طراحان ابزارهای مبتنی بر مدل‌های زبانی و تیم‌هایی که می‌خواهند توانایی مدل‌ها را در وظایف چندمرحله‌ای بهبود دهند اهمیت دارد. پیام اصلی آن این است که کیفیت محیط اجرا و چگونگی فراهم‌کردن پشتیبانی می‌تواند در کنار توانایی خود مدل، بخشی از مسئلهٔ عملکرد باشد. بااین‌حال، یافته‌های فعلی به دو بنچمارک گزارش‌شده محدود است و به‌تنهایی تضمین نمی‌کند که همین میزان بهبود در کاربردهای دیگر نیز تکرار شود.