ریاضی‌دانان درباره اثبات ناویر-استوکس OpenAI تردید دارند

اثبات ناویر-استوکس OpenAI با تردید چند گروه از ریاضی‌دانان روبه‌رو شده است؛ آنان می‌گویند راه‌حل بالقوه‌ای که شرکت در اوایل سپتامبر ارائه کرد، برخلاف ادعای OpenAI از رویکرد ریاضی‌دانان اسپانیایی Diego Córdoba و Luis Martínez-Zoroa پیروی نمی‌کند. این اختلاف فقط بر سر انتساب یک روش نیست: پرسش درباره چگونگی ارزیابی خروجی‌های ریاضی هوش مصنوعی و سهم واقعی هزاران نمونه مدل در تولید آن نیز همچنان بی‌پاسخ مانده است.

OpenAI راه‌حل خود را در قالب نوشته‌ای ۱۶۶ صفحه‌ای منتشر کرد. این شرکت گفت اثبات پیشنهادی از مسیر کار Córdoba و Martínez-Zoroa پیروی می‌کند؛ اما به گزارش Scientific American، چند گروه از متخصصان با این برداشت موافق نیستند. Gonzalo Cao-Labora، ریاضی‌دان در EPFL، گفته است که بررسی جزئیات نشان می‌دهد روش به‌کاررفته متفاوت است و شباهت‌ها بیشتر ظاهری‌اند.

اختلاف بر سر روش اثبات ناویر-استوکس

اظهارنظر Cao-Labora نشان می‌دهد ارزیابی چنین ادعایی به مقایسه کلی موضوع یا نتیجه نهایی محدود نمی‌شود؛ جزئیات مسیر استدلال نیز اهمیت دارد. از دید او، این‌که دو کار در نگاه نخست شبیه به نظر برسند، برای نتیجه‌گیری درباره پیروی یکی از دیگری کافی نیست. چند گروه متخصص هم در ارزیابی خود با ادعای OpenAI درباره منشأ روش اختلاف دارند.

این اختلاف در زمانی مطرح شده که اثبات هنوز از بررسی مؤسسه ریاضی کلی (Clay Mathematics Institute یا CMI) نگذشته است. این مؤسسه از زمان انتشار راه‌حل پیشنهادی، مشغول بررسی آن است. بنابراین انتشار متن یا نوشته‌شدن آن به شکلی قابل‌بررسی، به‌تنهایی به معنای تأیید نهایی نتیجه نیست؛ در گزارش نیز از آن به‌عنوان یک راه‌حل بالقوه یاد شده است.

Lean چه چیزی را بررسی می‌کند؟

متن اثبات با Lean نوشته شده است؛ زبانی برای راستی‌آزمایی صوری که می‌تواند گام‌های منطقی را بررسی کند. به بیان ساده، این ابزار در سنجش سازگاری استدلال‌ها نقش دارد، اما خودبه‌خود نوشته را برای خواندن و دنبال‌کردن انسان آسان نمی‌کند. از همین رو، داشتن یک متن رسمی‌شده و قابل‌بررسی، جای ارزیابی متخصصان و فهم انسانی مسیر استدلال را نمی‌گیرد.

ماجرای انتساب کار نیز پیش از انتشار اثبات محل بحث بود. Tristan Buckmaster، ریاضی‌دان دانشگاه نیویورک، OpenAI را متهم کرد که بر پژوهش او و Levent Alpöge از Anthropic تکیه کرده است؛ پژوهشی که به گفته او با مدل‌های در دسترس عموم انجام شده بود. OpenAI این ادعا را رد کرد و گفت از داده‌های Buckmaster استفاده نکرده است. Camillo De Lellis از مؤسسه مطالعات پیشرفته گفته است که به‌دلیل جعبه‌سیاه‌بودن مدل‌های زبانی، احتمالاً رسیدن به پاسخی قطعی در این زمینه ممکن نیست.

نقش ۱۰ هزار نمونه مدل هنوز روشن نیست

ابهام دیگر به مقیاس محاسباتی پروژه مربوط می‌شود. OpenAI برای توسعه راه‌حل پیشنهادی، حدود ۱۰ هزار نمونه از مدل‌هایش را به‌کار گرفت؛ آن‌ها در مجموع نزدیک به ۸۸ ساعت فعالیت کردند و ۱۳۰ میلیارد توکن مصرف شد. توکن بخش کوچکی از متن یا داده‌ای است که مدل هنگام پردازش با آن کار می‌کند. با وجود این حجم از پردازش، هنوز معلوم نیست این آرایش چندعاملی دقیقاً چه سهمی در رسیدن به نتیجه داشته است.

Noam Brown، پژوهشگر OpenAI، گفته است کسی نمی‌داند این گروه بزرگ از عامل‌ها چه میزان به تولید راه‌حل کمک کرده‌اند. به گفته او، سهم راه‌اندازی چندعاملی در موفقیت کمتر از ۱۰ درصد بوده است. Brown همچنین هشدار داده که چون این سامانه‌ها تازه و چشمگیرند، ممکن است بیش از اندازه اعتبار بگیرند؛ در حالی که به باور او، خود مدل پایه و توانایی آن برای ادامه‌دادن کار در بازه‌های طولانی و اجرای موازی وظایف اهمیت بیشتری دارد.

برای پاسخ دقیق به این پرسش، مقایسه‌هایی لازم است که کار یک عامل را با هزاران عامل بسنجد. اما انجام آزمون‌های نظام‌مند با هزاران عامل هزینه‌بر است و چنین رفتاری در این مقیاس هنوز بررسی نشده است. گزارش می‌گوید حتی آزمایشی هم انجام نشده که مشخص کند یک عامل برای حل همان مسئله چقدر زمان نیاز دارد؛ همچنین جداکردن مزیت واقعی ۱۰ هزار عامل از مزیت ۱۰۰۰ عامل تقریباً ناممکن توصیف شده است.

OpenAI در اوایل اکتبر حدود ۴۰۰ نتیجه دیگر را نیز منتشر کرد. مجموعه‌ای از نتایج که ریاضی‌دانان به‌سختی فرصت بررسی آن را پیدا می‌کنند، در GitHub قرار گرفت و انتشار آن به شکل مجموعه‌ای پراکنده، برخی از اعضای جامعه ریاضی را خشمگین کرد؛ آنان احساس کردند این شیوه انتشار از شأن حوزه می‌کاهد. این واکنش در کنار تردیدها درباره روش اثبات و نقش عامل‌ها، نشان می‌دهد ارزیابی چنین دستاوردهایی فقط به انتشار مقدار زیادی خروجی وابسته نیست.

این خبر برای چه کسانی اهمیت دارد

این پرونده برای پژوهشگران ریاضی و هوش مصنوعی مهم است، چون پرسش‌هایی عملی درباره اعتماد به استدلال تولیدشده با مدل‌ها مطرح می‌کند: آیا گام‌ها از نظر صوری معتبرند، آیا روش به‌درستی به کارهای پیشین نسبت داده شده و آیا می‌توان سهم مدل پایه را از اثر آرایش چندعاملی جدا کرد؟ در این مورد، پاسخ به پرسش نخست هنوز در حال بررسی است و دو پرسش دیگر نیز به گفته افراد درگیر، پاسخ روشنی ندارند.

برای شرکت‌های سازنده مدل نیز ماجرا یادآوری می‌کند که اعلام استفاده از شمار بزرگی عامل یا پردازش گسترده، به‌تنهایی نشان نمی‌دهد کدام جزء موجب پیشرفت شده است. تا زمانی که مقایسه‌های مناسب انجام نشود، نمی‌توان از روی تعداد عامل‌ها نتیجه گرفت که افزایش آن‌ها به‌طور مشخص توان حل مسئله را بالا برده است. در مورد راه‌حل OpenAI، اختلاف متخصصان درباره روش و نامشخص‌بودن سهم عامل‌ها دو مسئله جداگانه‌اند؛ بررسی CMI نیز همچنان ادامه دارد.