هوش مصنوعی Ataraxos قهرمان نامدار Stratego را شکست داد

هوش مصنوعی Stratego با نام Ataraxos توانسته است در رقابت با اِنِه نیِمِیِر، پرافتخارترین بازیکن تاریخ این بازی، به نرخ برد مؤثر ۸۵ درصد برسد؛ نتیجه‌ای که به‌گفتهٔ پژوهشگران، یکی از آخرین برتری‌های پایدار انسان بر هوش مصنوعی در بازی‌های رقابتی را از میان می‌برد. اهمیت دستاورد فقط در شکست یک قهرمان نیست: تیم سازنده می‌گوید Ataraxos با منابع محاسباتی بسیار کمتری از سامانهٔ پیشین DeepNash آموزش دیده و روش آن را می‌توان در بازی‌های دیگری با اطلاعات پنهان نیز به کار گرفت.

هوش مصنوعی Stratego با دشواری اطلاعات پنهان روبه‌رو بود

Stratego بازی‌ای است که در آن دو بازیکن هرکدام ۴۰ مهره را در آغاز، به‌صورت پنهانی، در زمین می‌چینند. بازیکن نمی‌داند مهره‌های حریف کجا قرار گرفته‌اند و باید در طول بازی، با تکیه بر حرکت‌ها و برخورد مهره‌ها، دربارهٔ آرایش آن‌ها حدس بزند. طبق مقالهٔ پژوهش، بیش از ۱۰ به توان ۳۳ چیدمان ممکن وجود دارد؛ شمار بسیار بزرگی که آموزش و ارزیابی راهبردها را پیچیده می‌کند.

این مسئله Stratego را از بسیاری از بازی‌هایی که پیش‌تر هوش مصنوعی در آن‌ها به سطح برتر رسیده بود متمایز می‌کند. در بازی‌های دارای اطلاعات ناقص، ارزش یک حرکت فقط به ادامهٔ بازی وابسته نیست؛ آنچه پیش‌تر رخ داده و اطلاعاتی که بازیکن هنگام تصمیم‌گیری در اختیار داشته نیز اهمیت دارد. ساموئل سوکوتا، نویسندهٔ اول پژوهش، در توضیح کار گفته است همین ویژگی، یادگیری و جست‌وجوی حرکت‌های مناسب را دشوار می‌کند.

روش‌هایی که از هوش مصنوعی پوکر الهام گرفته‌اند، پیش‌تر در برخی بازی‌های دارای اطلاعات پنهان کارآمد بوده‌اند؛ اما، بنا بر گفتهٔ سوکوتا، این روش‌ها در شرایطی با اطلاعات پنهان محدود بهتر جواب می‌دهند. برای نمونه، Texas Hold’em فقط ۱٬۳۲۶ دست آغازین ممکن دارد. بر اساس مقاله، هزینهٔ محاسباتی این روش‌ها با افزایش میزان اطلاعات پنهان بالا می‌رود؛ از همین رو Stratego تا پیش از این یکی از بازی‌های بزرگ رقابتی بود که انسان‌ها در آن همچنان دست بالا را داشتند.

آموزش کم‌هزینه‌تر از DeepNash

پیش از Ataraxos، DeepMind سامانهٔ DeepNash را برای بازی Stratego ساخته بود. به‌گفتهٔ نویسندگان مقاله، DeepNash برای آموزش به ۱٬۰۲۴ گرهٔ پردازندهٔ تنسوری یا TPU، به‌مدت دو تا سه ماه نیاز داشت. پژوهشگران هزینهٔ آن را بر مبنای قیمت‌های سال ۲۰۲۵ حدود ۳ تا ۴٫۵ میلیون دلار برآورد کرده‌اند.

در مقایسه، Ataraxos یک هفته با ۱۶ پردازندهٔ گرافیکی Nvidia H100 آموزش دید و آموزش شبکهٔ دیگری که «شبکهٔ باور» نام دارد، چهار روز دیگر با چهار پردازندهٔ گرافیکی طول کشید. شبکهٔ باور، سامانه‌ای است که پیش‌بینی می‌کند مهره‌های پنهان حریف چه هستند. پژوهشگران می‌گویند هزینهٔ محاسباتی کل Ataraxos بر اساس قیمت‌های سال ۲۰۲۵ کمتر از ۸ هزار دلار بوده است.

طبق محاسبات تیم، این هزینه حدود یک‌پانصدم هزینهٔ DeepNash است؛ Ataraxos نیز برای یادگیری به حدود یک‌سی‌ام بازی‌های خودبازی و یک‌صدم نمونه‌های آموزشی نیاز داشته است. پژوهشگران بخشی از این صرفه‌جویی را به شبیه‌ساز اختصاصی‌ای نسبت می‌دهند که برای پردازنده‌های گرافیکی نوشته‌اند و بخشی دیگر را به کارآمدتر بودن روش یادگیری. سوکوتا همچنین گفته است محدودیت منابع محاسباتی دانشگاهی، تیم را به یافتن راهکارهای فنی کارآمدتر سوق داده است.

بااین‌حال، مقایسهٔ مستقیم و رو در رویی میان دو سامانه انجام نشده است. پژوهشگران می‌گویند برای فراهم‌کردن زیرساخت لازم پیشنهاد داده‌اند، اما DeepMind اعلام کرده که کد DeepNash دیگر کار نمی‌کند و امکان مقایسه وجود ندارد. در مسابقات جهانی سال ۲۰۲۳، DeepNash از ۲۸ بازی ۱۹ بازی را برد، ولی در برابر بیشتر بازیکنان برتر، از جمله نیِمِیِر، شکست خورد.

یادگیری با خودبازی و راهبردهای متنوع

Ataraxos با داده‌های انسانی آموزش ندیده است؛ سامانه با بازی‌کردن در برابر خودش یاد گرفته است. یکی از عناصر کلیدی روش آن، فشار آموزشی برای متنوع‌کردن چیدمان مهره‌ها و حرکت‌هاست. این فرایند که تنظیم‌سازی نام دارد، مانع می‌شود سامانه در همان مراحل ابتدایی به یک راهبرد ثابت بچسبد. در Stratego، بازی قابل‌پیش‌بینی می‌تواند حریف را قادر کند راهبرد را شناسایی و از آن سوءاستفاده کند؛ بنابراین تصادفی‌بودن و تغییرپذیری در بازی نقش مهمی دارد.

فشار برای تغییر راهبرد در طول آموزش ثابت نمی‌ماند. Ataraxos در ابتدا رفتارهای متنوع‌تری را می‌آزماید و گام‌های بزرگ‌تری در یادگیری برمی‌دارد؛ سپس، با پیشرفت آموزش، انتخاب‌های سنجیده‌تری انجام می‌دهد و تغییرات کوچک‌تری اعمال می‌کند. به‌گفتهٔ پژوهشگران، تنظیم این فشار و اندازهٔ گام‌ها کمک می‌کند آموزش از کنترل خارج نشود یا بارها به چرخه‌های تکراری بازنگردد.

شبکهٔ باور نیز به سامانه کمک می‌کند وضعیت‌های محتمل بازی را با توجه به مهره‌های پنهان حریف پیش‌بینی کند. Ataraxos پیش از هر حرکت، چند وضعیت احتمالی را می‌سازد، حرکت‌های پیشنهادی را در آن‌ها می‌آزماید و برای همان تصمیم یک مرحلهٔ یادگیری اضافه انجام می‌دهد. نویسندگان می‌گویند پژوهش‌های قبلی از چنین جست‌وجویی صرف‌نظر کرده بودند، چون اجرای آن با این حجم از اطلاعات پنهان دشوار به نظر می‌رسید.

نتیجهٔ رقابت و کاربردهای فراتر از Stratego

رقابت Ataraxos و نیِمِیِر در طول سه هفته برگزار شد تا بازیکن خسته نشود و فرصت آماده‌شدن داشته باشد. نیِمِیِر می‌دانست سامانه سبک بازی او را یاد نمی‌گیرد و در طول مجموعه با او سازگار نمی‌شود. در مقابل، او می‌توانست بازی‌های پیشین را بررسی و شیوهٔ خود را تغییر دهد. برای حضور در رقابت، هزار دلار به او پرداخت شد و بابت هر برد ۱۰۰ دلار و بابت هر تساوی ۵۰ دلار دیگر دریافت می‌کرد؛ انگیزه‌ای مالی برای ارائهٔ بهترین بازی ممکن.

نویسندگان مقاله نرخ برد مؤثر ۸۵ درصدی Ataraxos را در بالاترین سطح بازی بی‌سابقه توصیف کرده‌اند. در این محاسبه، هر تساوی نصف برد شمرده می‌شود. مَکس رولفس، نایب‌قهرمان سه دورهٔ مسابقات جهانی، گفته است اختلاف میان بازیکنان برتر بسیار اندک است، زیرا Stratego بازیکنان را به پذیرفتن ریسک وادار می‌کند. وینسنت دِ بور، قهرمان سه دورهٔ جهان، نیز به‌گفتهٔ مقاله، توانایی نیِمِیِر برای تطبیق با سامانه را یک برتری مهم برای بازیکن انسان دانسته است.

Ataraxos پیش‌تر در یک رویداد نمایشی در مسابقات جهانی Stratego سال ۲۰۲۵ نیز در ۳۸ بازی از ۴۰ بازی برابر بازیکنان حاضر پیروز شده بود. بازیکنان سبک آن را دشوار برای پیش‌بینی توصیف کرده‌اند: سامانه گاهی بلوف‌هایی می‌زند که انسان‌ها بیش از حد پرخطر می‌دانند و وقتی عقب است، بازی را چنان سرسختانه طول می‌دهد که برخی بازیکنان این رفتار را ناخوشایند می‌خوانند. پژوهشگران روش خود را در بازی‌های دیگری هم آزموده‌اند: در نسخهٔ Barrage از Stratego، سامانه در چهار مجموعهٔ ۵۰‌بازی در برابر سه نفر از چهار بازیکن برتر پیروز شد؛ در Hanabi رکوردهای تازه‌ای ثبت کرد و در نسخهٔ دونفره به حدود یک‌صدم محاسبات سامانهٔ پیشرو پیشین نیاز داشت؛ در بازی کارتی چینی Dou dizhu نیز از دو سامانهٔ مرجع پیشین، PerfectDou و DouZero، بهتر عمل کرد.

تیم پژوهشی استدلال می‌کند نتایج نشان می‌دهند اطلاعات پنهان لزوماً مانعی غیرقابل‌عبور برای یادگیری تقویتی و جست‌وجوی رایانه‌ای نیست. این دو اصطلاح به روش‌هایی اشاره دارند که در آن‌ها سامانه با آزمون‌وخطا یاد می‌گیرد و گزینه‌های احتمالی را پیش از انتخاب بررسی می‌کند. با این حال، نویسندگان یک محدودیت را هم مطرح کرده‌اند: جست‌وجوی Ataraxos فقط یک گام یادگیری را شبیه‌سازی می‌کند و افزایش زمان یا توان محاسباتی به‌تنهایی الزاماً عملکرد آن را بهتر نمی‌کند. روش جست‌وجوی پیچیده‌تری شاید این محدودیت را تغییر دهد. کد سامانه نیز به‌صورت عمومی منتشر شده است.

این خبر برای چه کسانی اهمیت دارد

دستاورد Ataraxos برای پژوهشگران یادگیری تقویتی و بازی‌های دارای اطلاعات ناقص اهمیت دارد، چون نشان می‌دهد ترکیب شبیه‌ساز سریع، آموزش خودبازی و مدل‌سازی حالت‌های پنهان می‌تواند به عملکرد سطح بالا با هزینهٔ محاسباتی محدودتر برسد. این نتیجه برای تیم‌هایی که به خوشه‌های بزرگ پردازشی دسترسی ندارند نیز قابل‌توجه است؛ هرچند هزینهٔ کمتر در یک بازی به‌تنهایی موفقیت همان روش را در مسائل واقعی تضمین نمی‌کند.

نویسندگان مقاله از بازارهای مالی، درگیری‌های نظامی و مذاکره‌ها به‌عنوان نمونه‌هایی از موقعیت‌های راهبردی با اطلاعات ناقص نام می‌برند. این کاربردها هنوز نتیجهٔ مستقیم آزمایش Ataraxos نیستند: برای انتقال روش به آن‌ها باید مسئله را دقیق تعریف کرد و شبیه‌سازهای سریع و قابل‌اعتمادی ساخت. بنابراین پیام اصلی پژوهش، بیش از آن‌که وعدهٔ آمادگی فوری برای تصمیم‌گیری در دنیای واقعی باشد، نشان‌دادن امکان گسترش ابزارهای یادگیری به محیط‌هایی با اطلاعات پنهان فراوان است.