آتاراکسوس در بازی استراتگو قهرمانان انسانی را شکست داد

هوش مصنوعی آتاراکسوس در بازی پیچیده و اطلاعات‌پنهان Stratego توانست برترین بازیکنان انسانی را با فاصله شکست دهد؛ نتیجه‌ای که به گفته پژوهشگران، هم از پیشرفت در توانایی ماشین‌ها برای برنامه‌ریزی راهبردی خبر می‌دهد و هم از روشی کم‌هزینه‌تر برای آموزش آن‌ها. این سامانه را پژوهشگرانی از MIT، دانشگاه Carnegie Mellon، دانشگاه نیویورک و دانشگاه Stanford ساخته‌اند و جزئیات پژوهش در ۳۰ سپتامبر ۲۰۲۶ در مجله Nature منتشر شده است.

Stratego بازی‌ای دونفره است که در آن بازیکنان مهره‌های خود را روی صفحه می‌چینند و می‌کوشند پرچم حریف را بگیرند، اما هویت مهره‌های طرف مقابل تا زمان برخورد پنهان می‌ماند. همین محدودیت، بازی را به آزمونی دشوار برای تصمیم‌گیری در شرایط ناقص تبدیل می‌کند: هر حرکت باید با توجه به اطلاعات محدود و احتمال‌های گوناگون درباره وضعیت حریف انتخاب شود. به گفته تیم پژوهشی، آتاراکسوس در این بازی از مدل‌های پیشین و بازیکنان برتر انسانی عملکرد بهتری داشته است.

هوش مصنوعی آتاراکسوس و دشواری بازی با اطلاعات پنهان

در بازی‌هایی مانند شطرنج، بازیکن می‌تواند وضعیت مهره‌های هر دو طرف را ببیند. در Stratego چنین نیست: هر طرف ۴۰ مهره دارد، اما ارزش و هویت مهره‌های حریف تا زمانی که با مهره‌ای روبه‌رو نشوند آشکار نمی‌شود. پس تصمیم‌گیرنده باید نه‌فقط درباره حرکت بعدی، بلکه درباره چیزی که هنوز نمی‌داند نیز استدلال کند.

این تفاوت، Stratego را به مسئله‌ای بسیار بزرگ برای سامانه‌های هوش مصنوعی تبدیل می‌کند. طبق مقاله، تعداد چیدمان‌های ممکن مهره‌ها از ۱۰ به توان ۶۶ بیشتر است؛ فضایی که بررسی کامل همه حالت‌های احتمالی را عملاً بسیار دشوار می‌کند. در نتیجه، سامانه باید بدون وارسی تک‌تک وضعیت‌ها، راهبردی برای انتخاب حرکت‌های مناسب بسازد.

این بازی همچنین با مسئله فریب و بلوف گره خورده است. همان‌طور که Samuel Sokota، نویسنده اصلی پژوهش، توضیح داده، اگر بازیکنی بیش از حد بلوف بزند، حریف به‌تدریج انتظار آن را پیدا می‌کند و ارزش بلوف‌های بعدی کاهش می‌یابد. بنابراین، رفتار گذشته بر برداشت طرف مقابل از حرکت‌های آینده اثر می‌گذارد؛ موضوعی که تصمیم‌گیری را از انتخاب یک حرکت منفرد پیچیده‌تر می‌کند.

پژوهشگران می‌گویند این ویژگی‌ها Stratego را به نمونه‌ای مناسب برای بررسی مسائل دنیای واقعی با اطلاعات ناقص تبدیل می‌کند. در بازارهای مالی، برای مثال، معامله‌گران لزوماً از انگیزه دیگران باخبر نیستند؛ در موقعیت‌های نظامی نیز طرف‌ها ممکن است تصویر کاملی از جایگاه نیروهای مقابل نداشته باشند. بااین‌حال، این پژوهش سامانه‌ای برای استفاده عملی در چنین موقعیت‌هایی معرفی نمی‌کند؛ کاربردهای یادشده در حد امکان‌های آینده مطرح شده‌اند.

آموزش با بازی‌کردن در برابر خود

آتاراکسوس با روشی به نام یادگیری تقویتی از طریق بازی با خود آموزش دید. در این روش، سامانه بارها در برابر نسخه‌ای از خودش بازی می‌کند و از نتیجه تصمیم‌هایش برای بهبود راهبرد استفاده می‌کند. خروجی این مرحله، چیزی است که پژوهشگران آن را «راهبرد پایه» می‌نامند: نقطه شروعی برای چیدن مهره‌ها و انتخاب حرکت‌ها در بازی.

تیم پژوهشی الگوریتم‌های آموزش را طوری طراحی کرد که سامانه بتواند سریع‌تر یاد بگیرد و در عین حال گرفتار تلاش برای پیش‌بینی همه حرکت‌ها و وضعیت‌های ممکن نشود. این نکته از آن جهت اهمیت دارد که روش‌های قبلی برای Stratego به محاسبات سنگین و هزینه آموزشی بالا متکی بودند. به گفته Gabriele Farina، نویسنده ارشد مقاله، حتی مدل‌هایی که میلیون‌ها دلار هزینه آموزش داشتند، نتوانسته بودند بازیکنان برتر این بازی را شکست دهند.

Farina می‌گوید آتاراکسوس از نظر قدرت بازی از DeepNash، سامانه DeepMind، فراتر رفت، در حالی که برای آموزش به کمتر از یک‌صدم نمونه‌های آموزشی آن و کمتر از یک‌سی‌ام بازی‌های خودکارش نیاز داشت. این مقایسه نشان می‌دهد ادعای اصلی پژوهش تنها افزایش قدرت بازی نیست؛ کارایی آموزش نیز بخشی از دستاورد گزارش‌شده است. در عین حال، این ارقام به مقایسه مشخص میان این دو سامانه اشاره دارند و به‌تنهایی نتیجه‌ای درباره همه روش‌های هوش مصنوعی به دست نمی‌دهند.

برنامه‌ریزی هنگام بازی و نتیجه در برابر انسان‌ها

پس از آغاز بازی، آتاراکسوس فقط به راهبردی که در مرحله آموزش یاد گرفته تکیه نمی‌کند. پیش از هر حرکت، آن را با روشی که «برنامه‌ریزی هنگام تصمیم‌گیری» نامیده می‌شود، بازبینی می‌کند. به زبان ساده، سامانه از احتمال‌ها برای برآورد هویت مهره‌های پنهان حریف استفاده می‌کند و پیامد حرکت‌های احتمالی را می‌سنجد تا انتخابش را با وضعیت همان بازی هماهنگ کند.

به گفته Farina، مدل مولدِ به‌کاررفته در این مرحله به سامانه کمک می‌کند به‌جای حدس‌زدن بی‌هدف، محتمل‌ترین وضعیت صفحه را بررسی کند. مدل مولد در این کاربرد، برآوردهایی از حالت‌های پنهان می‌سازد؛ یعنی به سامانه امکان می‌دهد درباره هویت مهره‌هایی که هنوز آشکار نشده‌اند فرضیه‌های احتمالی داشته باشد. پژوهشگران استفاده از این روش را بخش تعیین‌کننده‌ای می‌دانند که عملکرد فرابشری آتاراکسوس در Stratego را ممکن کرده است.

طبق گزارش تیم، آتاراکسوس قوی‌ترین بازیکن Stratego جهان را با نتیجه ۱۵-۱-۴ شکست داد و در برابر بازیکنان برتر حاضر در مسابقات جهانی این بازی، به نتیجه ۳۹-۲ رسید. این نتایج نشان می‌دهد سامانه نه‌فقط در مقایسه با دیگر مدل‌ها، بلکه در رقابت با بازیکنان انسانی سطح بالا نیز عملکرد برجسته‌ای داشته است.

Farina رفتار سامانه را در موقعیت‌های پرریسک با واکنش انسان مقایسه می‌کند: به گفته او، بازیکن انسانی ممکن است با در معرض خطر قرار گرفتن مهره‌ای ارزشمند دچار نگرانی شود و بیش از حد واکنش نشان دهد، در حالی که آتاراکسوس می‌تواند خونسردانه‌تر تصمیم بگیرد و اطلاعات خود را بی‌جهت آشکار نکند. این توصیف، برداشت پژوهشگر از نحوه بازی سامانه است و به معنای داشتن احساس یا آگاهی انسانی در آن نیست.

تطبیق برای بازی‌های دیگر و چالش توضیح‌پذیری

پژوهشگران روش خود را به چند بازی دیگر نیز گسترش دادند: Barrage Stratego، گونه‌ای سریع‌تر از Stratego با مهره‌های کمتر؛ Hanabi، بازی کارتی گروهی با چند بازیکن؛ و Dou dizhu، بازی‌ای که در آن دو بازیکن در برابر بازیکن سوم با یکدیگر همکاری می‌کنند. به گفته تیم، آتاراکسوس در هر یک از این بازی‌ها نیز به عملکردی فرابشری رسید. تفاوت قواعد این بازی‌ها برای پژوهشگران نشانه‌ای از آن است که روش طراحی‌شده به یک بازی خاص محدود نیست.

با وجود این نتایج، پژوهشگران برای استفاده از سامانه در تصمیم‌های مهم انسانی یک مانع را برجسته می‌کنند: توضیح‌پذیری. آن‌ها می‌خواهند در آینده ابزارهایی به آتاراکسوس اضافه کنند تا بتواند دلیل انتخاب‌هایش را به شکلی قابل‌فهم برای انسان توضیح دهد. این موضوع برای بررسی و ممیزی توصیه‌های سامانه اهمیت دارد؛ Farina می‌گوید تصمیم نهایی درباره پذیرفتن یا رد توصیه باید در اختیار انسان بماند.

بنابراین، نتیجه پژوهش را باید پیشرفتی در حل دسته‌ای مشخص از مسائل دانست، نه سامانه‌ای آماده برای جایگزینی تصمیم‌گیرندگان در دنیای واقعی. عملکرد قوی در بازی نشان می‌دهد الگوریتم‌ها می‌توانند در محیط‌هایی با اطلاعات ناقص و امکان‌های بسیار زیاد بهتر عمل کنند؛ اما خود پژوهشگران تأکید دارند که برای فهم و ارزیابی تصمیم‌های مدل، هنوز کار زیادی باقی مانده است.

این خبر برای چه کسانی اهمیت دارد

این دستاورد برای پژوهشگران یادگیری ماشین، نظریه بازی‌ها و سامانه‌های تصمیم‌یار اهمیت دارد، زیرا روشی را معرفی می‌کند که طبق گزارش تیم، هم در بازی‌های اطلاعات‌پنهان توانمند است و هم با منابع آموزشی کمتری از روش‌های قبلی به نتیجه رسیده است. برای فعالان حوزه‌های امنیت سایبری، مذاکره و برنامه‌ریزی نیز پژوهش از این جهت قابل‌توجه است که همانند Stratego، در بسیاری از موقعیت‌های واقعی اطلاعات طرف مقابل کامل نیست.

بااین‌حال، کاربرد در این حوزه‌ها هنوز در حد چشم‌انداز پژوهشگران است. گام بعدی، به گفته تیم، ساخت ابزارهایی برای توضیح و ممیزی تصمیم‌های آتاراکسوس خواهد بود؛ شرطی مهم برای اینکه انسان‌ها بتوانند پیشنهادهای چنین سامانه‌ای را ارزیابی کنند و درباره استفاده از آن تصمیم بگیرند.