چت‌بات America.gov در پاسخ به Minecraft شعر می‌سازد

چت‌بات America.gov، دستیار هوش مصنوعی تازه دولت آمریکا، وقتی با پرسشی درباره Minecraft روبه‌رو شد متنی بلند و شاعرانه نوشت؛ پاسخی که در نگاه اول می‌تواند شبیه سردرگمی یا اختلال مدل به نظر برسد، اما به‌گزارش TechCrunch در واقع بازنویسی شعر پایانی این بازی است. ماجرا در روزهای نخست راه‌اندازی یک ابزار عمومی دولتی رخ داده؛ ابزاری که از همان ابتدا در معرض آزمون کاربران و تلاش برای واداشتن آن به پاسخ‌های غیرمنتظره قرار گرفته است.

چت‌بات America.gov از روز نخست زیر ذره‌بین کاربران

دولت آمریکا روز سه‌شنبه چت‌بات عمومی America.gov را راه‌اندازی کرد. طبق گزارش TechCrunch، دولت برای ساخت آن با Google و SpaceXAI همکاری داشته است. چون سامانه به‌شکل عمومی در دسترس است، کاربران می‌توانند آن را با پرسش‌های مختلف بیازمایند؛ از جمله با تلاش برای عبور از محدودیت‌های طراحی‌شده یا گرفتن پاسخ‌هایی خارج از مسیر معمول گفت‌وگو.

در حوزه امنیت هوش مصنوعی، به چنین آزمونی گاهی «ردتیمینگ» می‌گویند: گروهی از افراد یا پژوهشگران عمداً سامانه را با ورودی‌های دشوار یا نامتعارف روبه‌رو می‌کنند تا ضعف‌های احتمالی آن آشکار شود. «جیل‌بریک» نیز تلاشی برای واداشتن مدل به نادیده‌گرفتن محدودیت‌ها و دستورالعمل‌هایش است. گزارش TechCrunch می‌گوید تا زمان انتشار، دورزدن محدودیت‌های چت‌بات America.gov برای کاربران دشوار بوده است.

بااین‌حال، یکی از پاسخ‌های سامانه توجه‌ها را جلب کرد. گزارش می‌گوید چت‌بات در پاسخ به پرسشی درباره Minecraft متنی نزدیک به هزار و ۸۰۰ واژه تولید کرد. آغاز آن با زبانی رازآلود از شهروندی سخن می‌گفت که مدارک دولتی را ثبت کرده و می‌تواند مقررات فدرال را بخواند؛ سپس از این ایده می‌گفت که آن شهروند گمان می‌کند با یک چت‌بات حرف می‌زند.

ارجاعی از شعر پایانی Minecraft

برای کسی که بازی را نمی‌شناسد، چنین پاسخ نامنتظره‌ای ممکن است این تصور را ایجاد کند که مدل دچار «توهم» شده است. در کاربرد رایج، توهم هوش مصنوعی به پاسخی گفته می‌شود که مدل آن را با اطمینان ارائه می‌کند، اما پشتوانه قابل‌اتکایی ندارد یا با واقعیت سازگار نیست. بااین‌حال، TechCrunch می‌گوید این متن در اصل بازنویسی شعر «End Poem» است؛ نوشته Julian Gough که پس از پایان Minecraft نمایش داده می‌شود.

در نسخه‌ای که چت‌بات تولید کرده، مضمون‌های شعر با دنیای خدمات دولتی ترکیب شده‌اند. اشاره به پرونده و شماره پیگیری، فرم‌ها و اداره‌ای که ساعت کاری‌اش به پایان رسیده، جایگزین تصویرهای متن اصلی شده است. در بخش دیگری نیز صدایی با عنوان «جمهوری» از شهروندی می‌گوید که پرونده‌اش را ثبت کرده و از پیوند میان مردم سخن می‌گوید. بنابراین پاسخ، صرفاً بازگویی اطلاعاتی درباره بازی نیست؛ نوعی دست‌کاری خلاقانه در متن شناخته‌شده آن است.

این تفاوت برای ارزیابی پاسخ‌های مدل اهمیت دارد. خروجی طولانی یا عجیب لزوماً به معنای خراب‌شدن سامانه نیست؛ ممکن است مدل به الگویی ادبی یا ارجاعی فرهنگی واکنش نشان داده باشد. در این مورد، گزارش TechCrunch متن را به شعر بازی نسبت می‌دهد و آن را نشانه‌ای از یک ارجاع پنهان می‌داند، نه مدرکی بر اینکه چت‌بات واقعاً دچار آشفتگی شده است.

چه کسی ارجاع را وارد سامانه کرده است؟

منشأ دقیق این ارجاع روشن نیست. گزارش TechCrunch می‌گوید معلوم نیست چه کسی مسئول گنجاندن اشاره Minecraft در چت‌بات بوده است. دونالد ترامپ در سخنرانی‌ای گفته بود Edward Coristine، برنامه‌نویس ۲۰ساله، یکی از مهندسان ارشد این پروژه بوده است. گزارش همچنین او را با لقب «Big Balls» و حضورش در DOGE مرتبط می‌کند؛ اما هیچ‌کدام از این اطلاعات مشخص نمی‌کند که او یا فرد دیگری شعر را وارد سامانه کرده است.

در نتیجه، نمی‌توان از متن موجود نتیجه گرفت این ارجاع بخشی از طراحی رسمی چت‌بات بوده یا در چه مرحله‌ای به آن راه یافته است. آنچه گزارش تأیید می‌کند، خود پاسخ و شباهتش به شعر پایانی Minecraft است؛ نه هویت فردی که آن را در سامانه قرار داده. این تمایز به‌ویژه درباره ابزارهای دولتی مهم است، زیرا یک پاسخ غیرمعمول به‌تنهایی برای نسبت‌دادن تصمیم یا مسئولیت به سازنده‌ای مشخص کافی نیست.

ماجرای دیگری که در گزارش درباره پاسخ‌های سامانه آمده، این است که چت‌بات می‌گوید Joe Biden در انتخابات ریاست‌جمهوری ۲۰۲۰ پیروز شده است؛ نتیجه‌ای که Donald Trump همچنان آن را انکار می‌کند. این مورد در کنار دشواری جیل‌بریک‌کردن سامانه، بخشی از توجه کاربران به رفتار و محتوای پاسخ‌های چت‌بات بوده است. گزارش اطلاعات بیشتری درباره سازوکار تولید پاسخ‌ها یا نحوه آزمودن آن‌ها ارائه نمی‌کند.

طنز اداری، خلاقیت و ارزیابی هوش مصنوعی

TechCrunch پاسخ شاعرانه را نه‌فقط عجیب، بلکه از نظر ادبی موفق توصیف می‌کند. نویسنده گزارش می‌گوید پیش‌تر به هنرجویان نوجوانِ نویسندگی خلاق گفته بود مدل‌های زبانی بزرگ، به‌دلیل احتمالاتی‌بودن و تکیه بر محتوای آموخته‌شده، شاید نتوانند متنی واقعاً خوب و اصیل بنویسند؛ اما این پاسخ را نمونه‌ای می‌داند که این باور را به چالش می‌کشد. این ارزیابی، نظر نویسنده گزارش است و نه نتیجه یک سنجش مستقل از توانایی‌های چت‌بات.

مدل زبانی بزرگ سامانه‌ای است که بر پایه الگوهای موجود در داده‌ها، ادامه محتمل متن را تولید می‌کند. چنین سامانه‌ای می‌تواند آثاری آشنا را بازسازی یا بافتی تازه برای آن‌ها بسازد، اما همین ویژگی پرسش‌هایی درباره منشأ خلاقیت و اصالت متن ایجاد می‌کند. در ماجرای America.gov، پیوند با شعر نوشته‌شده به‌دست Julian Gough روشن می‌کند که متن چت‌بات در خلأ پدید نیامده است؛ بااین‌حال، بازآفرینی آن در قالب زبان اداری، به پاسخ حال‌وهوایی متفاوت داده است.

از نگاه کارکردی نیز این ماجرا یادآور می‌شود که کاربران ابزارهای هوش مصنوعی عمومی را تنها با پرسش‌های متعارف نمی‌آزمایند. حتی یک پرسش درباره بازی می‌تواند پاسخ نامنتظره‌ای به‌دنبال داشته باشد و بحثی درباره پایداری سامانه، کیفیت خروجی و نقش انسان در طراحی آن برانگیزد. گزارش TechCrunch می‌گوید این پاسخ، دست‌کم در مورد حاضر، به‌جای نشانه‌ای از تهدید یا ازکارافتادگی، ارجاعی ادبی بوده است؛ هرچند جزئیات طراحی آن مشخص نیست.

به‌گفته گزارش، چت‌بات عمومی دولت آمریکا در این مورد نه تهدیدی برای انسان‌ها نشان داده و نه دلیلی برای نتیجه‌گیری درباره پایان خلاقیت انسانی فراهم کرده است. اما پاسخ آن مرز میان تولید متن ماشینی و استفاده از آثار و الگوهای انسانی را به پرسشی قابل‌بحث تبدیل می‌کند. تا وقتی منشأ ارجاع روشن نشده، دقیق‌ترین توصیف این است که America.gov هنگام پرسش درباره Minecraft متنی بازنویسی‌شده و نامتعارف ارائه کرده است.

این خبر برای چه کسانی اهمیت دارد

این خبر برای کاربرانی اهمیت دارد که می‌خواهند بدانند چت‌بات‌های عمومی دولتی چگونه به پرسش‌های غیرمنتظره پاسخ می‌دهند و چه چیزی را باید اختلال واقعی دانست. برای طراحان و ارزیابان سامانه‌های هوش مصنوعی نیز ماجرا اهمیت دارد، چون نشان می‌دهد بررسی یک مدل فقط به سنجش پاسخ‌های مستقیم و factual محدود نیست؛ ارجاع‌های فرهنگی، متن‌های بازآفرینی‌شده و واکنش سامانه به ورودی‌های نامتعارف هم بخشی از تجربه عمومی آن هستند.

برای نهادهای دولتی، مسئله فراتر از یک شوخی ادبی است: مخاطب ممکن است هر خروجی چت‌بات رسمی را به‌عنوان پاسخ نهادی تلقی کند. در عین حال، این مورد به‌تنهایی دلیلی برای قضاوت کلی درباره امنیت یا کیفیت America.gov نیست. گزارش تنها از دشواری جیل‌بریک‌کردن سامانه و پاسخ خاص آن به پرسشی درباره Minecraft خبر می‌دهد؛ برای نتیجه‌گیری گسترده‌تر، اطلاعات بیشتری درباره عملکرد و ارزیابی این ابزار لازم است.