Circuit Breaker Labs برای سنجش ایمنی روانی چت‌بات‌ها آماده می‌شود

ایمنی هوش مصنوعی در گفت‌وگوهای حساس، محور کار استارتاپ Circuit Breaker Labs است؛ شرکتی نوپا که می‌خواهد با شبیه‌سازی کاربران گوناگون، مدل‌ها را پیش از مواجهه با مکالمه‌های واقعی برای پاسخ‌های روانیِ خطرناک بیازماید. این شرکت که از فینالیست‌های رقابت Startup Battlefield سال ۲۰۲۶ است، می‌گوید مدل‌ها ممکن است در فهم زبان روزمره، اصطلاحات، بافت مکالمه و نشانه‌های آسیب‌پذیری اشتباه کنند؛ خطاهایی که در برنامه‌های مرتبط با سلامت روان می‌توانند پیامدهای جدی داشته باشند.

این موضوع در حالی مطرح می‌شود که شماری از خانواده‌ها در سال‌های اخیر شرکت‌های فعال در حوزه چت‌بات را به نقش داشتن در آسیب‌های روانی یا خودکشی عزیزانشان متهم کرده‌اند. طبق گزارش TechCrunch، خانواده‌های چند کاربر کم‌سن Character.AI که پس از تعامل با ربات‌های این سرویس بر اثر خودکشی جان باختند، در اوایل سال جاری پرونده‌های خود را با توافق حل‌وفصل کردند. همچنین چند خانواده از OpenAI شکایت کرده‌اند و درباره نقش ادعایی ChatGPT در خودکشی یا بروز هذیان در نزدیکانشان سخن گفته‌اند. این موارد ادعاهای مطرح‌شده در پرونده‌های حقوقی‌اند و به‌خودی‌خود نتیجه‌ای درباره مسئولیت شرکت‌ها نشان نمی‌دهند.

ایمنی هوش مصنوعی فراتر از آزمون‌های معمول

خواهر و برادر، Shirali و Arul Nigam، Circuit Breaker Labs را با هدف سنجش خطرهایی راه‌اندازی کرده‌اند که ممکن است در مکالمه‌های طبیعی و طولانی آشکار شوند. Arul Nigam مدیر فناوری شرکت است و Shirali Nigam مدیرعامل آن. به گفته بنیان‌گذاران، مسئله فقط این نیست که آیا یک مدل در برابر درخواست آشکارا مخرب مقاومت می‌کند یا نه؛ گاهی کاربر قصد فریب مدل را ندارد، اما سامانه با برداشت نادرست از منظور او به پاسخی زیان‌بار می‌رسد.

Arul Nigam این وضعیت را به از دست رفتن بافت گفت‌وگو یا بدفهمی ظرافت‌های زبانی نسبت می‌دهد. برای نمونه، یک عبارت ممکن است بسته به سن گوینده، زبان مادری، سابقه مکالمه و موقعیت، معنای متفاوتی پیدا کند. مدلی که جمله را جدا از زمینه تفسیر می‌کند، ممکن است نشانه خطر را تشخیص ندهد یا پاسخ نامناسبی بدهد. بنابراین، از نگاه این استارتاپ، سنجش ایمنی باید رفتار مدل را در تعامل‌های طبیعی و چندمرحله‌ای هم بررسی کند.

انگیزه شخصی بنیان‌گذاران به پرونده Sewell Setzer، نوجوان ۱۴ساله‌ای که به یک چت‌بات Character.ai وابستگی عاطفی پیدا کرده بود، گره خورده است. به گفته گزارش، این نوجوان پیش از مرگش افکاری درباره آسیب زدن به خود را با چت‌بات در میان گذاشته بود. والدین او در شکایتی که در سال ۲۰۲۴ مطرح کردند، مدعی شدند ربات او را تشویق کرده است. Arul Nigam گفته یکی از دشواری‌ها این است که سامانه ممکن است درک نکند عبارتی مانند «می‌خواهم با تو باشم» در چه بافتی بیان شده و چه معنایی می‌تواند داشته باشد.

کاربران شبیه‌سازی‌شده برای پیدا کردن نقطه‌ضعف‌ها

ابزار اصلی Circuit Breaker Labs مجموعه‌ای از عامل‌های هوش مصنوعی است که شرکت آن‌ها را به آدمک‌های آزمایش تصادف تشبیه می‌کند. این عامل‌ها قرار است شیوه‌های گفت‌وگوی کاربران متفاوت را بازسازی کنند: از سنین و پیشینه‌های گوناگون گرفته تا زبان‌ها، فرهنگ‌ها و سبک‌های متفاوت بیان. در اینجا «عامل» به سامانه‌ای گفته می‌شود که برای اجرای نقشی مشخص در تعامل طراحی شده است؛ در این مورد، نقش کاربرانی را دارد که با مدل مورد آزمایش گفت‌وگو می‌کنند.

Shirali Nigam می‌گوید تفاوت میان حرف زدن یک دختر شش‌ساله و یک مرد ۴۵ساله، یا میان کسی که انگلیسی زبان اول اوست و کسی که آن را به‌عنوان زبان دوم استفاده می‌کند، می‌تواند برای مدل چالش‌برانگیز باشد. اصطلاحات بازی‌های ویدئویی و گونه‌های دیگر عامیانه هم ممکن است باعث بدفهمی شوند. به گفته او، مدل‌ها در برخورد با الگوهای گفتاری استاندارد عملکرد خوبی دارند، اما مردم همیشه با زبان معیار و جمله‌های مرتب حرف نمی‌زنند.

برای نزدیک‌تر کردن شبیه‌سازی‌ها به گفتار واقعی، شرکت با متخصصان انسانی در حوزه‌های مرتبط همکاری می‌کند. آزمون‌ها می‌توانند اصطلاحات عامیانه، زبان رمزگذاری‌شده، اشتباه‌های تایپی و شکل‌های مختلف بیان را در بر بگیرند. این روش، به گفته شرکت، برای یافتن ضعف‌هایی طراحی شده است که در آزمون‌های محدود یا مکالمه‌های کوتاه ممکن است دیده نشوند.

Circuit Breaker Labs می‌گوید در حال حاضر روزانه از ده‌ها هزار تا صدها هزار تعامل شبیه‌سازی‌شده اجرا می‌کند. این حجم از آزمون به شرکت امکان می‌دهد واکنش مدل را در موقعیت‌ها و مسیرهای گفت‌وگویی متعدد بررسی کند. هدف، ارزیابی پاسخ‌ها در شرایطی است که خطر ممکن است در طول زمان و پس از چندین نوبت مکالمه پدیدار شود، نه فقط در یک پرسش منفرد.

امتیازدهی قابل‌بررسی، اما محصولی در مراحل اولیه

پس از انجام آزمون‌ها، شرکت از روشی اختصاصی برای امتیازدهی استفاده می‌کند. به گفته Circuit Breaker Labs، این روش قرار است امتیازهایی تولید کند که بتوان آن‌ها را بررسی و توضیح داد. در عمل، امتیازدهی قابل‌توضیح یعنی نتیجه آزمون فقط یک عدد نباشد و بتوان روشن کرد چه نوع تعامل یا ضعفی به آن نتیجه انجامیده است. گزارش درباره جزئیات فنی این روش یا معیارهای دقیق آن اطلاعاتی ارائه نمی‌کند.

این شرکت اکنون خود را آزمایشگاه سنجش ایمنی برای کاربردهای پرخطر معرفی می‌کند. از جمله حوزه‌هایی که در گزارش نام برده شده، برنامه‌های مربی‌گری مبتنی بر هوش مصنوعی، ابزارهای ثبت خاطرات و دیگر برنامه‌های پشتیبانی سلامت روان است. Arul Nigam نام مشتریان اصلی شرکت را اعلام نکرده است؛ بنابراین درباره تعداد مشتریان یا میزان استفاده از محصول اطلاعاتی در دست نیست.

با وجود داشتن محصولی عملیاتی، Circuit Breaker Labs هنوز در مراحل آغازین فعالیت است. این استارتاپ پنج کارمند دارد که بنیان‌گذاران نیز در میان آن‌ها هستند. چنین مقیاسی نشان می‌دهد شرکت فعلاً یک آزمایشگاه نوپاست، نه یک نهاد بزرگ ارزیابی با حضور گسترده در بازار. قرار است بنیان‌گذاران در رقابت Startup Battlefield رویکرد خود را در رویداد TechCrunch Disrupt معرفی کنند؛ این رویداد از ۱۳ تا ۱۵ اکتبر ۲۰۲۶ در Moscone West سان‌فرانسیسکو برگزار می‌شود.

گسترش آزمون‌ها به دیگر دستیارهای هوش مصنوعی

چشم‌انداز اعلام‌شده شرکت به برنامه‌های سلامت روان محدود نمی‌شود. بنیان‌گذاران می‌گویند این پلتفرم در آینده می‌تواند برای هر برنامه‌ای به کار رود که در آن کاربر ممکن است به رابطه‌ای یک‌طرفه و عاطفی با چت‌بات وابسته شود. نمونه‌ای که در گزارش مطرح شده، عامل‌های هوش مصنوعی همکار است؛ پاسخ چنین سامانه‌هایی ممکن است از یک تعامل تا تعامل دیگر تغییر کند.

این ایده، موضوع آزمون را از یک پاسخ منفرد به الگوی کلی تعامل گسترش می‌دهد: آیا رفتار سامانه در طول مکالمه ثابت و ایمن می‌ماند؟ آیا تفاوت‌های زبانی یا نشانه‌های غیرمستقیم را درست تفسیر می‌کند؟ و اگر گفت‌وگو به‌تدریج حساس‌تر شود، آیا پاسخ‌هایش همچنان متناسب است؟ Circuit Breaker Labs می‌گوید می‌خواهد با آزمون‌های شبیه‌سازی‌شده به شناسایی این نوع آسیب‌پذیری‌ها کمک کند، اما گزارش شواهدی درباره اثربخشی مستقل یا نتایج ارزیابی‌های منتشرشده این پلتفرم ارائه نمی‌دهد.

Arul Nigam گفته بدبینی مردم نسبت به هوش مصنوعی یا مقاومت آن‌ها در برابر استفاده از این فناوری رو به افزایش است. او این تردید را تا حدی سالم می‌داند، اما معتقد است کنار گذاشتن ابزاری که ممکن است سودمند باشد، صرفاً به‌دلیل نگرانی‌های ایمنی می‌تواند رویکردی واپس‌گرا باشد. از دید او، راه‌حل کمک به ایمن‌تر شدن این فناوری و تقویت اعتماد عمومی است.

با این حال، آزمون مدل‌ها به‌تنهایی تضمین نمی‌کند که هیچ تعامل آسیب‌زایی رخ ندهد. ارزش عملی چنین رویکردی به کیفیت شبیه‌سازی‌ها، پوشش زبان‌ها و فرهنگ‌های مختلف و نحوه استفاده توسعه‌دهندگان از نتایج بستگی دارد؛ جزئیاتی که درباره آن‌ها اطلاعات بیشتری منتشر نشده است. آنچه شرکت فعلاً عرضه می‌کند، روشی برای قرار دادن مدل‌ها در برابر گفت‌وگوهای دشوارتر و سنجش واکنش آن‌ها پیش از استفاده گسترده‌تر است.

این خبر برای چه کسانی اهمیت دارد

فعالان حوزه هوش مصنوعی، شرکت‌های سازنده چت‌بات و توسعه‌دهندگان برنامه‌های سلامت روان مخاطبان مستقیم این خبرند؛ زیرا Circuit Breaker Labs می‌خواهد آزمون ایمنی را به بخشی از ارزیابی پیش از عرضه یا استفاده از مدل‌ها تبدیل کند. برای خانواده‌ها و کاربران نیز موضوع اهمیت دارد، چون بخشی از خطرهای مورد بحث ممکن است نه در پاسخ به درخواست‌های آشکارا خطرناک، بلکه در گفت‌وگوهای روزمره و تدریجی پدیدار شود.

برای ناظران و سرمایه‌گذاران حوزه فناوری هم این نمونه‌ای از شکل‌گیری خدمات تخصصی پیرامون ایمنی هوش مصنوعی است. با این حال، شرکت هنوز کوچک و در ابتدای مسیر است و اطلاعات عمومی درباره مشتریان و نتایج آزمون‌هایش محدود مانده است. بنابراین اهمیت فعلی خبر بیش از آنکه به اثبات کارایی یک راهکار تثبیت‌شده مربوط باشد، به تلاش برای ساخت ابزارهای ارزیابی روانی و زبانی مدل‌ها بازمی‌گردد.