پژوهشگران هوش مصنوعی درباره خطر وجودی ابرهوش هشدار دادند

مجموعه‌ای از گفت‌وگوهای ویدئویی با حدود دوازده پژوهشگر فعلی و پیشین OpenAI، Google و Anthropic، نگرانی شماری از متخصصان درباره پیامدهای احتمالی ابرهوش مصنوعی را به بحث گذاشته است. این مصاحبه‌ها که Palisade Research آن‌ها را گردآوری کرده، در ۲۹ سپتامبر ۲۰۲۶ منتشر شدند و در آن‌ها برخی از پژوهشگران احتمال نابودی انسان بر اثر پیشرفت هوش مصنوعی را جدی می‌دانند. با این حال، گفت‌وگوها بر سر راه‌حل یا حتی تعریف دقیق «ایمنی هوش مصنوعی» به جمع‌بندی واحدی نمی‌رسند.

هشدارهایی با برآوردهای متفاوت

یکی از صریح‌ترین ارزیابی‌ها را Geoffrey Irving مطرح کرده است؛ پژوهشگری که پیش‌تر در OpenAI و Google DeepMind کار کرده بود. او احتمال انقراض انسان را در نتیجه پیشرفت‌های هوش مصنوعی تقریباً هم‌اندازه احتمال شیر یا خط دانست. این برآورد، دیدگاه شخصی اوست و به‌عنوان نتیجه‌ای قطعی یا پیش‌بینی مورد توافق همه پژوهشگران ارائه نشده است.

Neel Nanda، پژوهشگر Google DeepMind، نیز خطر را قابل‌توجه توصیف کرد، اما برآورد عددی پایین‌تری ارائه داد. به گفته او، احتمال آن‌که هوش مصنوعی به انقراض انسان منجر شود دست‌کم ۱۰ درصد است؛ احتمالی که از نظرش بسیار بالا و نگران‌کننده محسوب می‌شود. تفاوت میان این دو برآورد نشان می‌دهد که حتی میان افرادی که اصل خطر را جدی می‌گیرند، توافقی روشن بر سر اندازه آن وجود ندارد.

در این بحث، «ابرهوش» به هوشی مصنوعی اشاره دارد که توانایی‌هایش از انسان فراتر می‌رود. نگرانی مطرح‌شده در ویدئوها فقط درباره قدرتمندترشدن سامانه‌ها نیست؛ مسئله این است که اگر چنین سامانه‌هایی از کنترل خارج شوند یا نتوان رفتارشان را مهار کرد، پیامدهایی بسیار گسترده به بار می‌آید. مصاحبه‌ها این احتمال را مطرح می‌کنند، اما خودشان آن را به‌عنوان رویدادی حتمی اثبات نمی‌کنند.

Daniel Kokotajlo، پژوهشگر پیشین OpenAI، تصویری هشدارآمیز از چنین سامانه‌ای ترسیم کرد و آن را در صورت دستیابی به ابرهوش، بسیار قدرتمند توصیف کرد. او همچنین گفت که به باورش روش شناخته‌شده‌ای برای کنترل آن‌ها وجود ندارد و ممکن است در عمل کسی نتواند چنین کنترلی را برقرار کند. Kokotajlo نتیجه گرفت که تحقق چنین وضعیتی نباید مجاز شمرده شود.

مصاحبه‌ها چه چیزی را روشن نمی‌کنند؟

گفت‌وگوها در قالب یک پاسخ مشترک به مسئله ایمنی هوش مصنوعی ارائه نشده‌اند. The Verge پیش‌تر نیز به دشواری تعریف این اصطلاح و اختلاف نظر درباره اقدام‌های لازم برای کاهش خطر اشاره کرده بود. ویدئوهای تازه این اختلاف را از میان نمی‌برند: آن‌ها نگرانی‌های جدی را ثبت می‌کنند، اما دستورالعملی واحد برای آن‌که شرکت‌ها، پژوهشگران یا سیاست‌گذاران دقیقاً چه کنند، ارائه نمی‌دهند.

این تفاوت مهم است، زیرا هشدار درباره خطر با توافق بر سر راه مقابله با آن یکی نیست. پژوهشگران ممکن است در ارزیابی پیامدهای احتمالی هم‌نظر نباشند یا درباره اولویت اقدام‌ها اختلاف داشته باشند. در متن مصاحبه‌ها، همین نبودِ راه‌حل مشترک به‌عنوان بخشی از تصویر کلی مطرح است؛ نه این‌که مجموعه ادعا کند اختلاف‌ها را حل کرده است.

Palisade Research، گردآورنده مصاحبه‌ها، خود را سازمانی غیرانتفاعی معرفی می‌کند که توانایی‌ها و انگیزه‌های هوش مصنوعی را مطالعه می‌کند. مجموعه در وب‌سایت frominside.ai منتشر شده است. افزون بر نسخه کامل گفت‌وگوها، این وب‌سایت بخش‌هایی از صحبت چند نفر را کنار هم قرار می‌دهد تا دیدگاه‌هایشان درباره موضوع‌های مشابه مقایسه شود.

یکی از این موضوع‌ها این پرسش است که آیا هشدار درباره هوش مصنوعی بسیار پیشرفته صرفاً بزرگ‌نمایی یا بخشی از تبلیغات است. موضوع دیگر، دلیل کارکردن پژوهشگران در شرکت‌هایی است که خودشان درباره خطر محصولاتشان ابراز نگرانی می‌کنند. کنار هم قرارگرفتن این بخش‌ها کمک می‌کند مسئله فقط به پیش‌بینی احتمال فاجعه محدود نماند و انگیزه‌ها و موقعیت کاری افراد نیز در معرض پرسش قرار گیرد.

کار در آزمایشگاه‌ها و تردید درباره انگیزه‌ها

Mary Phuong از Google از مخاطبان خواست نسبت به گفته‌هایش بدگمان باشند، چون به گفته او، آزمایشگاهی که در آن کار می‌کند به او حقوق می‌دهد. این ملاحظه به یکی از پرسش‌های دشوار مجموعه اشاره دارد: وقتی پژوهشگران درباره خطرهایی هشدار می‌دهند که با فعالیت شرکت محل کارشان پیوند دارد، مخاطب چگونه باید گفته‌های آنان را ارزیابی کند؟ سخن Phuong پاسخ نهایی به این پرسش نیست، اما نشان می‌دهد مسئله تعارض منافع و اعتماد در خود مصاحبه‌ها نیز مطرح شده است.

Nanda از زاویه‌ای دیگر توضیح داد که چرا با وجود نگرانی‌ها در این حوزه به کار ادامه می‌دهد. او گفت اگر باور نداشت فعالیتش مستقیماً به کاهش خطرهای وجودی کمک می‌کند، کارش را ترک می‌کرد. در عین حال، از نگاه او، استعفای یک پژوهشگر به‌تنهایی باعث نمی‌شود شرکت‌ها ساخت چنین سامانه‌هایی را متوقف کنند.

این توضیح، تنشی را نشان می‌دهد که در بخشی از جامعه ایمنی هوش مصنوعی وجود دارد: برخی پژوهشگران می‌خواهند خطر توسعه سامانه‌های قدرتمندتر کاهش یابد، اما فعالیت خود را راهی برای اثرگذاری از درون می‌دانند. در مقابل، صرف حضور در یک شرکت نیز تضمین نمی‌کند که فرد بتواند مسیر توسعه محصولات آن را تغییر دهد. گفته‌های Nanda برداشت شخصی او از اثرگذاری کارش است و در مصاحبه‌ها به‌عنوان تضمینی برای موفقیت این رویکرد مطرح نمی‌شود.

طرح این پرسش‌ها اهمیت دارد، چون بحث ایمنی فقط به توانایی فنی سامانه‌ها محدود نمی‌ماند. اعتماد به ارزیابی‌ها، استقلال پژوهشگران و این‌که کار درون شرکت‌ها تا چه اندازه می‌تواند خطر را کاهش دهد، همگی به موضوع گفت‌وگو تبدیل شده‌اند. با این حال، مجموعه ویدئوها درباره این موارد نیز یک پاسخ واحد یا داوری نهایی عرضه نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

این مصاحبه‌ها برای پژوهشگران هوش مصنوعی، مدیران شرکت‌های فناوری و سیاست‌گذارانی اهمیت دارد که باید درباره توسعه و نظارت بر سامانه‌های پیشرفته تصمیم بگیرند. آن‌ها همچنین برای مخاطبانی مفیدند که می‌خواهند بدانند برخی از افراد فعال در این شرکت‌ها خطرهای احتمالی را چگونه می‌بینند و چرا با وجود نگرانی، به کار خود ادامه می‌دهند.

با این حال، نقل ارزیابی‌های شخصی چند پژوهشگر را نباید با اجماع علمی یا پیش‌بینی قطعی اشتباه گرفت. ارزش خبری این مجموعه در نمایش هم‌زمان شدت برخی هشدارها، اختلاف بر سر میزان خطر و نبود راهکار مشترک است. همین فاصله میان تشخیص خطر و توافق بر سر اقدام، مسئله‌ای است که در ادامه بحث عمومی درباره ایمنی هوش مصنوعی باقی می‌ماند.