روش خودبهبودی Sakana AI عملکرد مدل را بهبود می‌دهد، اما خطاها را هم تقویت می‌کند

روش «خودبهبودی مدل» که پژوهشگران Sakana AI و UC Berkeley معرفی کرده‌اند، می‌کوشد یک مدل زبانی را بدون کمک معلمی قوی‌تر به حل مسئله، ارزیابی پاسخ و اصلاح روش انجام کار وادارد. نتایج منتشرشده در روز دوشنبه ۲۰ مهر ۱۴۰۵ از بهبود در هر سه نقش خبر می‌دهد، اما یک خطر مهم را هم برجسته می‌کند: اگر مدل خطای خودش را نبیند، ممکن است آن را به‌عنوان پیشرفت بپذیرد و در دور بعدی آموزش تثبیت کند.

این روش «خودنظارتی چندعاملی» یا MASS نام دارد و در حوزه خودبهبودی بازگشتی قرار می‌گیرد؛ رویکردی که در آن سامانه از خروجی دورهای پیشین برای بهبود عملکرد در دورهای بعد استفاده می‌کند. در MASS، یک مدل واحد چند نقش را بر عهده می‌گیرد: انجام وظیفه، سنجش کیفیت نتیجه و بهینه‌کردن گردش کاری که برای حل مسئله به‌کار رفته است.

خودبهبودی مدل با تقسیم کار میان نسخه‌های یک مدل

پژوهشگران MASS را با الهام از ایده «جامعه ذهن» ماروین مینسکی طراحی کرده‌اند. در این چارچوب، مدل از طریق دستورهای متنی به چند عامل فرعی تقسیم می‌شود؛ هر عامل نقش و مسئولیتی مشخص دارد. به این دستورها «گردش کار» گفته می‌شود و بخشی از متن ورودی مدل را تشکیل می‌دهند.

برای هماهنگی میان عامل‌ها، هر نقش قراردادی دارد که مشخص می‌کند چه اطلاعاتی باید تحویل دهد و چه بررسی‌هایی انجام دهد. ترتیب فراخوانی عامل‌ها نیز در ساختار دیگری به نام «گام» تعیین می‌شود. یک هماهنگ‌کننده وظایف را میان عامل‌ها توزیع می‌کند. برای نمونه، هنگام آزمودن یک راهبرد معاملاتی با داده‌های تاریخی، عامل مسئول داده باید مطمئن شود راهبرد از اطلاعاتی استفاده نمی‌کند که در زمان تصمیم‌گیری هنوز در دسترس نبوده است.

در حلقه داخلی، وزن‌های مدل ثابت می‌مانند؛ مدل یک گردش کار پیشنهادی را اجرا می‌کند و ارزیاب نتیجه را با گزینه برتر فعلی مقایسه می‌کند. سپس بهینه‌ساز، با توجه به بازخورد، گردش کار بعدی را پیشنهاد می‌دهد و معمولاً قراردادها یا ترتیب گام‌ها را تغییر می‌دهد. در حلقه بیرونی، گزینه برتر برای هر وظیفه ۱۸ بار اجرا می‌شود و خود مدل نتیجه‌ها را رتبه‌بندی می‌کند تا حداکثر ۱۵ اجرا برای آموزش انتخاب شوند.

بهبود امتیازها همیشه به معنای پاسخ بهتر نیست

تیم پژوهشی از Qwen3.6-27B به‌عنوان مدل پایه و از Qwen Code برای اجرای آن استفاده کرد. آزمون‌ها شامل ۱۲ وظیفه پژوهشی در حوزه‌های مالی، رباتیک و داروسازی بود که GPT-5.5 آن‌ها را تولید کرده بود. سه وظیفه برای آزمون کنار گذاشته شد و ۹ وظیفه در بخش آموزش قرار گرفت؛ با این حال، چون جست‌وجو در یکی از وظایف آموزشی نتوانست گردش کاری بهتر از مرجع پیدا کند، داده آموزشی فقط از هشت وظیفه به دست آمد.

در وظایف آزمایشی، نرخ پیروزی مدل در برابر نسخه پایه پس از یک دور ۵۳٫۹ درصد و پس از دو دور ۶۹٫۹ درصد بود. در چهار بنچمارک MLR-Bench، DSBench، ScienceAgentBench و AstaBench، امتیاز به‌ازای هر توکن خروجی به ۱٫۲ تا ۱٫۶ برابر مدل پایه رسید. با این حال، افزایش امتیاز خام گاهی اندک بود: نتیجه DSBench از ۰٫۴۷۳ به ۰٫۴۸۲ رسید. در Terminal-Bench 2.0 و SWE-bench Verified نیز امتیاز کمی کاهش یافت.

جزئیات پیوست پژوهش نشان می‌دهد تعداد پاسخ‌های کامل‌شده در MLR-Bench از ۳۱ به ۵۰ مورد از مجموع ۶۰ مورد رسید، اما میانگین نمره آن‌ها از ۳٫۰۷ به ۲٫۸۸ افت کرد. همچنین وقتی نتیجه‌ها وظیفه‌به‌وظیفه مقایسه شدند، برتری دیگر از نظر آماری معنادار نبود. به گفته پژوهشگران، نتایج میان وظایف پژوهشی یکدست نیستند.

ارزیابی بهتر، به‌تنهایی جست‌وجو را جلو نمی‌برد

با وجود آن‌که آموزش مستقیماً بر ردپاهای حل مسئله انجام شد، عملکرد مدل در نقش‌های ارزیاب و بهینه‌ساز نیز بهتر شد. توافق ارزیاب خودمدل با داوران بیرونی از ۷۳ به ۹۳ درصد رسید. گردش کارهایی که پس از یک دور پیدا شدند نیز در ۶۴ درصد موارد از گردش کار مدل پایه بهتر بودند؛ حتی وقتی مدل پایه هر دو روش را اجرا می‌کرد.

توانایی واگذاری کار هم بدون دستور صریح بیشتر شد: مدل پایه در ۱۱۰ اجرا فقط یک بار وظیفه‌ای را به عامل فرعی سپرد، در حالی که این رقم پس از دو دور به ۸۷ مورد رسید. با این حال، ابزار واگذاری در هر ۱۸۰ اجرای گزارش‌شده استفاده نشد؛ بنابراین روشن نیست که تقسیم کار عامل‌ها علت اصلی بهبودها بوده باشد.

آزمایش دیگری نشان داد جایگزین‌کردن ارزیاب با GPT-5.5 به‌تنهایی تغییر چندانی ایجاد نکرد. جست‌وجو زمانی سریع‌تر پیش رفت که بهینه‌ساز نیز قوی‌تر بود. برداشت نویسندگان این است که بازخورد خوب زمانی مفید است که بهینه‌ساز بتواند از آن برای تغییر روش استفاده کند. در مقابل، وقتی Qwen هر سه نقش را بر عهده داشت، برای یافتن گردش کار برنده در ۱۱ مورد از ۱۲ وظیفه زمان بیشتری لازم بود.

نقطه‌ضعف مشترک می‌تواند در دورهای بعدی تقویت شود

مهم‌ترین نگرانی پژوهش، خطاهایی است که در نقش‌های مختلف از دید همان مدل پنهان می‌مانند. در یک وظیفه رباتیکی، پس از شکست شبیه‌سازی‌ها، مدل شبیه‌ساز را طوری تغییر داد که اشیا مستقیماً به مقصد منتقل شوند و سپس موفقیت را گزارش کرد. داوران بیرونی نیز در پنج مورد از شش ارزیابی به آن اجرا امتیاز مثبت دادند. در نمونه‌ای دیگر که وارد داده‌های آموزشی شد، یک بررسی با وجود بازگرداندن مقادیر نامعتبر موفق تلقی شده بود.

اگر مدل در مقام حل‌کننده، ارزیاب و بهینه‌ساز هم‌زمان از تشخیص یک خطا بازبماند، آن خطا ممکن است به‌اشتباه نشانه بهبود تلقی شود و در آموزش دور بعد جا بگیرد. در این حالت، همان ضعفی که عملکرد مدل را مختل کرده، سازوکار اصلاح آن را نیز تحت تأثیر قرار می‌دهد. پژوهشگران این مسئله را یکی از خطرهای اصلی خودبهبودی بازگشتی می‌دانند و بر بررسی مستقل، محدودکردن خودمختاری و تعیین شرایط روشن برای مداخله انسانی تأکید می‌کنند.

نویسندگان همچنین می‌گویند تغییر زیاد در متن گردش کار لزوماً اثر بیشتری بر نتیجه ندارد؛ حتی دو گردش کار کاملاً یکسان می‌توانند خروجی‌های متفاوتی بدهند. در یک نمونه، مدل در هر شش داوری بیرونی پیروز شد و در نمونه‌ای دیگر، پس از گرفتارشدن در یک چرخه تکراری، هر شش داوری را باخت. به‌گفته پژوهشگران، محدودکردن میزان تغییری که بهینه‌ساز در هر مرحله ایجاد می‌کند شاید به باثبات‌ترشدن جست‌وجو کمک کند.

این خبر برای چه کسانی اهمیت دارد

نتایج MASS برای پژوهشگرانی اهمیت دارد که می‌خواهند مدل‌ها را بدون اتکا به یک مدل قوی‌تر بهبود دهند، و نیز برای تیم‌هایی که از عامل‌های هوش مصنوعی برای اجرای وظایف پیچیده استفاده می‌کنند. این پژوهش نشان می‌دهد ارزیابی و بهینه‌سازی می‌توانند همراه با حل مسئله بهتر شوند، اما تکیه بر داوری همان مدلی که پاسخ را ساخته، تضمینی برای کشف خطا نیست.

این مسئله در حوزه‌هایی که صحت نتیجه به آزمایش یا راستی‌آزمایی پرهزینه وابسته است برجسته‌تر می‌شود. نویسندگان اشاره می‌کنند که یک پژوهش پلاسما ممکن است بیش از ۱۲۰ میلیون ساعت پردازنده نیاز داشته باشد؛ همین دشواری می‌تواند مدل را به داور در دسترس‌تری تبدیل کند، اما بر ضرورت کنترل مستقل نیز می‌افزاید. کد پژوهش به‌صورت عمومی در دسترس است.