هشدار پژوهشگران: خودکارشدن پژوهش هوش مصنوعی می‌تواند خطرساز شود

بیش از ۲۰ پژوهشگر برجسته هوش مصنوعی، از جمله Geoffrey Hinton، Yoshua Bengio و Jakub Pachocki، هشدار داده‌اند که خودکارشدن پژوهش و توسعه هوش مصنوعی می‌تواند زمینه‌ساز جهشی سریع و دشوار برای مهار در این فناوری شود. آنان در مقاله‌ای پژوهشی احتمال داده‌اند که فرایند خودبهبود هوش مصنوعی، موسوم به «انفجار هوش»، در آینده‌ای نزدیک آغاز شود؛ رخدادی که ممکن است توان جامعه برای نظارت و کنترل را از سرعت پیشرفت عقب بیندازد. گزارش The Decoder درباره این هشدار در ۲۸ سپتامبر ۲۰۲۶ منتشر شده است.

نویسندگان مقاله تأکید می‌کنند که درباره زمان‌بندی و احتمال وقوع چنین سناریویی هنوز عدم‌قطعیت زیادی وجود دارد. بااین‌حال، به باور آنان، خودکارشدن پژوهش و توسعه هوش مصنوعی می‌تواند این احتمال را به مسئله‌ای فوری‌تر تبدیل کند. نگرانی اصلی فقط افزایش توان یک مدل نیست؛ بلکه این است که سامانه‌های هوش مصنوعی در طراحی، ساخت و بهبود نسل‌های بعدی نیز نقش پررنگ‌تری بگیرند و روند پیشرفت از نظارت انسان و نهادها پیشی بگیرد.

از کمک به کدنویسی تا خودکارشدن چرخه پژوهش

به گفته نویسندگان، سامانه‌های هوش مصنوعی هم‌اکنون بخش بزرگی از کدنویسی را در شرکت‌هایی انجام می‌دهند که خود این فناوری را توسعه می‌دهند. این وضعیت با سناریویی که در مقاله ترسیم شده تفاوت دارد: در آن سناریو، هوش مصنوعی نه‌فقط در یک کار مشخص مانند نوشتن کد، بلکه در بخش‌های گوناگون پژوهش و توسعه به کار گرفته می‌شود و به‌تدریج می‌تواند کل این چرخه را خودکار کند.

پژوهشگران احتمال می‌دهند خودکارشدن کامل فرایند پژوهش و توسعه هوش مصنوعی در چند سال آینده امکان‌پذیر شود. مقاله زمان دقیق یا مسیر مشخصی برای وقوع این تغییر ارائه نمی‌کند؛ اما پیامد احتمالی آن را تغییر چشمگیر آهنگ پیشرفت می‌داند. کاری که در شرایط معمول چند سال طول می‌کشد، ممکن است در این وضعیت طی چند ماه انجام شود. چنین فشرده‌شدن زمانی به این معناست که فرصت ارزیابی، تصمیم‌گیری و آماده‌سازی برای پیامدهای فناوری نیز می‌تواند کمتر شود.

«خودکارشدن پژوهش» در این بحث به معنای آن است که ابزارهای هوش مصنوعی به‌جای کمک محدود به پژوهشگران، وظایف بیشتری را در ساخت و بهبود سامانه‌های هوش مصنوعی بر عهده بگیرند. متن گزارش جزئیات فنیِ مراحل این چرخه یا میزان دقت و استقلال چنین سامانه‌هایی را مشخص نمی‌کند؛ بنابراین هشدار مقاله را باید سناریویی درباره روند احتمالی آینده دانست، نه توصیفی از وضعیتی که هم‌اکنون به‌طور کامل محقق شده است.

چرا «انفجار هوش» نگرانی‌برانگیز است؟

اصطلاح «انفجار هوش» به سناریویی اشاره دارد که در آن سامانه‌های هوش مصنوعی در بهبود خود نقش پیدا می‌کنند و این بهبودها به افزایش سریع‌تر توانایی‌هایشان می‌انجامد. نکته محوری در هشدار پژوهشگران، امکان شکل‌گیری چرخه‌ای شتاب‌گیرنده است: سامانه‌ها به پیشبرد پژوهش کمک کنند، حاصل پژوهش توان آن‌ها را افزایش دهد و سامانه‌های قدرتمندتر نیز توسعه بعدی را سریع‌تر کنند. این سناریو در مقاله به‌عنوان یک احتمال مطرح شده و نویسندگان تصریح کرده‌اند که درباره آن عدم‌قطعیت وجود دارد.

در صورت شتاب‌گرفتن چنین چرخه‌ای، یکی از نگرانی‌های مطرح‌شده آن است که انسان‌ها و نهادهای مسئول نتوانند با سرعت تغییرات همگام شوند. مقاله همچنین هشدار می‌دهد که کنترل سامانه‌هایی با توانایی فراتر از انسان ممکن است از دسترس خارج شود. این عبارت به معنای آن نیست که از دست‌رفتن کنترل حتمی است؛ بلکه نویسندگان آن را یکی از خطرهای احتمالیِ خودکارشدن گسترده پژوهش می‌دانند.

نگرانی دیگر به توزیع قدرت مربوط است. به گفته پژوهشگران، پیشرفت سریع و دشوار برای نظارت می‌تواند توازن قدرت میان کشورها، شرکت‌ها و دولت‌ها را تضعیف کند. اگر توان طراحی و توسعه سامانه‌های پیشرفته در دست گروه محدودی متمرکز شود یا سرعت تغییرات از ظرفیت نهادهای نظارتی فراتر رود، تصمیم‌گیری درباره کاربرد و کنترل این فناوری پیچیده‌تر خواهد شد. این پیامدها در مقاله به‌عنوان خطرهایی مطرح شده‌اند که باید پیش از تحقق احتمالی‌شان مورد توجه قرار گیرند.

درخواست برای شفافیت بیشتر

پیشنهاد محوری نویسندگان خطاب به سیاست‌گذاران، افزایش آگاهی و نظارت درباره میزان خودکارشدن پژوهش هوش مصنوعی است. برای سیاست‌گذاری مؤثر، به‌گفته آنان، لازم است روشن‌تر باشد که ابزارهای هوش مصنوعی تا چه اندازه در فرایندهای پژوهشی و توسعه‌ای شرکت‌ها به کار گرفته می‌شوند و این روند با چه سرعتی در حال گسترش است. گزارش جزئیات سازوکار خاصی برای این شفافیت یا نهاد مشخصی برای اجرای آن ارائه نمی‌کند؛ درخواست اصلی، فراهم‌شدن دید بیشتر نسبت به وضعیت موجود است.

این درخواست اهمیت ویژه‌ای دارد، زیرا شرکت‌های سازنده هوش مصنوعی در عین توسعه فناوری، از ابزارهای آن برای پیشبرد کار خود نیز استفاده می‌کنند. نویسندگان با اشاره به نقش کنونی این سامانه‌ها در کدنویسی، می‌گویند احتمال دارد دامنه استفاده از آن‌ها در آینده به کل روند پژوهش گسترش یابد. در چنین وضعی، اطلاع از میزان اتکا به ابزارهای هوش مصنوعی می‌تواند برای سنجش سرعت پیشرفت و ارزیابی ظرفیت نظارت اهمیت پیدا کند.

تأکید بر شفافیت همچنین با پرسش کلی‌تری پیوند دارد: چگونه می‌توان پیشرفت فناوری را با توان ارزیابی خطرها و پاسخ‌گویی نهادها هماهنگ کرد؟ مقاله می‌گوید جامعه ممکن است نتواند با سرعت تحولات پیش برود. از این منظر، آگاهی درباره خودکارشدن پژوهش صرفاً موضوعی فنی برای شرکت‌ها نیست؛ می‌تواند بر تصمیم‌های سیاستی و بر نحوه سنجش خطرهای سامانه‌های پیشرفته نیز اثر بگذارد.

هشداری در امتداد نگرانی‌های پیشین

گزارش The Decoder این مقاله را در چارچوب موجی گسترده‌تر از هشدارها درباره خطرهای هوش مصنوعی قرار می‌دهد. بر اساس همان گزارش، ۴۲ ریاضی‌دان برجسته اخیراً خواستار توجه بیشتر به خطرهای وجودی هوش مصنوعی شده‌اند و شماری از کارکنان آزمایشگاه‌های هوش مصنوعی نیز نگرانی‌هایی درباره امکان نابودی بشر از سوی این فناوری ابراز کرده‌اند. این موارد بازتاب‌دهنده نگرانی‌های مطرح‌شده در میان برخی پژوهشگران و کارکنان‌اند؛ اما به‌تنهایی وقوع سناریوهای هشدار داده‌شده را اثبات نمی‌کنند.

در میان چهره‌های نام‌برده‌شده، Jakub Pachocki، مسئول پژوهش OpenAI، نیز پیش‌تر گفته است هیچ آزمایشگاهی مسئله هم‌راستاسازی را آن‌قدر خوب حل نکرده که بتواند برای مدتی طولانی با بیشترین سرعت به توسعه ادامه دهد. هم‌راستاسازی به تلاش برای هماهنگ‌کردن رفتار و هدف‌های یک سامانه هوش مصنوعی با خواسته‌ها و محدودیت‌های انسانی گفته می‌شود. این نقل‌قول در گزارش به‌عنوان نشانه‌ای از نگرانی درباره ادامه توسعه سریع، بدون حل کافی مسائل ایمنی، آمده است.

گزارش همچنین می‌گوید شماری از کارکنان Anthropic ظاهراً در حال بررسی مکان‌های امنی هستند تا در صورت بد پیش‌رفتن روند توسعه هوش مصنوعی، به آن‌ها پناه ببرند. این گزارش‌ها و اظهارنظرها شدت نگرانی در بخشی از جامعه مرتبط با هوش مصنوعی را نشان می‌دهند، اما مقاله مورد بحث مسئله‌ای مشخص‌تر را به مرکز توجه می‌آورد: اگر خود فرایند پژوهش به‌سرعت خودکار شود، آیا سازوکارهای انسانی برای فهم، ارزیابی و کنترل پیامدهای آن به همان اندازه سریع پیش خواهند رفت؟

بااین‌حال، نویسندگان از پیش‌بینی قطعی سخن نمی‌گویند. آنان می‌گویند هنوز ابهام زیادی درباره احتمال و زمان وقوع «انفجار هوش» وجود دارد، اما خودکارشدن پژوهش ممکن است این رخداد را در آینده‌ای نزدیک‌تر قرار دهد. اهمیت مقاله در همین ترکیبِ عدم‌قطعیت و پیامد بالقوه است: حتی اگر زمان و شکل دقیق تحول روشن نباشد، تصمیم‌گیران می‌توانند درباره میزان خودکارشدن پژوهش و آمادگی برای نظارت بر آن اطلاعات بیشتری مطالبه کنند.

این خبر برای چه کسانی اهمیت دارد

این هشدار برای سیاست‌گذاران و نهادهایی اهمیت دارد که درباره نظارت بر توسعه و کاربرد هوش مصنوعی تصمیم می‌گیرند؛ زیرا نویسندگان خواستار دید روشن‌تر درباره نقش این فناوری در پژوهش و توسعه شده‌اند. برای شرکت‌های سازنده مدل‌ها نیز موضوع مهم است: سامانه‌هایی که در حال حاضر به کدنویسی کمک می‌کنند، ممکن است در آینده در بخش‌های بیشتری از فرایند ساخت فناوری به کار گرفته شوند.

پژوهشگران هوش مصنوعی و متخصصان ایمنی نیز با پرسشی مستقیم روبه‌رو هستند: اگر سرعت پژوهش به کمک خودکارسازی افزایش یابد، آیا روش‌های سنجش خطر و کنترل سامانه‌ها نیز می‌توانند همگام با آن رشد کنند؟ برای عموم مردم، اهمیت خبر در پیامدهای گسترده‌تری است که مقاله مطرح می‌کند؛ از دشواری نظارت بر سامانه‌های قدرتمند گرفته تا اثر احتمالی پیشرفت سریع بر توازن قدرت میان شرکت‌ها، دولت‌ها و کشورها. نویسندگان پاسخ قطعی به این پرسش‌ها نمی‌دهند، اما تأکید می‌کنند که فهم بهتر روند خودکارشدن پژوهش می‌تواند گامی ضروری برای مواجهه آگاهانه‌تر با آن باشد.