معرفی TCSAlgBench برای سنجش اثبات‌های پژوهشی هوش مصنوعی

پژوهشگران در مقاله‌ای تازه در arXiv از TCSAlgBench رونمایی کرده‌اند؛ بنچمارکی برای سنجش این‌که مدل‌های زبانی تا چه اندازه می‌توانند در مسائل سطح پژوهشِ علوم نظری رایانه برهان پیدا کنند. این مجموعه ۳۹۸ چالش را از ۱۳۸ مقالهٔ کنفرانس‌های STOC و COLT در سال ۲۰۲۶ گرد آورده است. هدف، ارزیابی منظم توانایی مدل‌ها در ارائهٔ استدلال‌هایی است که بتوان آن‌ها را بررسی کرد؛ حوزه‌ای که با سنجه‌های رایج ریاضی رقابتی به‌خوبی پوشش داده نمی‌شود.

سنجش استدلال فراتر از ریاضی رقابتی

به گفتهٔ نویسندگان مقاله، مدل‌های زبانی در حل مسائل ریاضی رقابتی عملکرد خوبی نشان داده‌اند، اما سنجش نظام‌مند توان آن‌ها در استدلال‌های پژوهشی همچنان دشوار است. علوم نظری رایانه، یا TCS، زمینه‌ای مناسب برای این ارزیابی فراهم می‌کند: در این حوزه، طراحی الگوریتم باید با تضمین‌های روشن و استدلال دربارهٔ محدودیت‌های بنیادین همراه باشد.

این تفاوت مهم است، چون پاسخ درست به‌تنهایی نشان نمی‌دهد که مدل می‌تواند بهبود محاسباتی را با برهانی قابل‌بررسی توجیه کند. TCSAlgBench به‌جای تمرکز صرف بر خروجی نهایی، مسئلهٔ کشف برهان در زبان طبیعی را هدف می‌گیرد؛ یعنی توانایی یافتن استدلالی برای اثبات یک گزارهٔ ریاضی یا محاسباتی.

چالش‌ها چگونه طراحی شده‌اند؟

هر چالش در سطح یک قضیه تعریف شده است. برای تکمیل زمینهٔ لازم، قواعدی طراحی‌شده به‌دست متخصصان اطلاعات خاص هر مقاله را به صورت مسئله اضافه می‌کنند. این قواعد همچنین فرض‌های محاسباتی و تضمین‌های کمی را حفظ می‌کنند؛ جزئیاتی که ممکن است برای فهم دقیق ادعا و ساختن برهان ضروری باشند.

در برخی چالش‌ها، ساخت الگوریتم خود بخشی از مسئله است. در این موارد، بنچمارک آن ساخت را از صورت چالش کنار می‌گذارد تا سامانه ناچار باشد آن را کشف کند. حل‌کننده‌ها گزارهٔ قضیه و پژوهش‌های پیشینِ ارجاع‌شده را دریافت می‌کنند و می‌توانند برای پاسخ به آن منابع دسترسی داشته باشند.

یکی از ویژگی‌های خط لولهٔ پیشنهادی، امکان ساخت دسته‌های تازه و نسخه‌بندی‌شده از چالش‌ها با انتشار مقاله‌های جدید است. بنابراین مجموعه قرار نیست فقط به یک ارزیابی ثابت محدود بماند و می‌تواند با پژوهش‌های تازه به‌روزرسانی شود.

نتایج مدل‌ها و گردش‌کارهای عامل‌محور

مقاله ده پیکربندی مدل را از چهار خانواده بررسی کرده است. ارزیابی‌ها هم استنتاج مستقیم و هم گفت‌وگوی حل‌کننده و ارزیاب را دربر می‌گرفتند. در این شیوهٔ گفت‌وگویی، سامانه در چند دور پاسخ خود را با بازخورد ارزیاب بررسی می‌کند. در مقایسهٔ مدل‌ها، GPT-5.6 Sol max پس از گفت‌وگوی ده‌مرحله‌ای به بالاترین میزان پوشش پذیرفته‌شده از سوی ارزیاب رسید: ۲۳٫۶ درصد در پنج اجرا.

نتایج مقاله نشان می‌دهد گفت‌وگو و نمونه‌گیری تکراری می‌توانند پوشش را افزایش دهند. نویسندگان همچنین چهار گردش‌کار عامل‌محور را با فرصت‌های یکسان برای فراخوانی مدل مقایسه کردند. این ارزیابی جداگانه با GPT-5.5 xhigh انجام شد؛ در آن، تجزیهٔ مسئله از گفت‌وگو عملکرد بهتری داشت و برنامه‌ریزی عامل‌محور بالاترین پوشش پذیرفته‌شده را ثبت کرد: ۲۵٫۴ درصد در پنج اجرا.

این دو عدد از دو مقایسهٔ جداگانه به دست آمده‌اند: رقم ۲۳٫۶ درصد مربوط به مقایسهٔ پیکربندی‌های مدل است و رقم ۲۵٫۴ درصد به ارزیابی گردش‌کارها مربوط می‌شود. بنابراین نباید آن‌ها را نتیجهٔ یک آزمایش واحد یا مقایسهٔ مستقیم دو مدل دانست.

این خبر برای چه کسانی اهمیت دارد

TCSAlgBench برای پژوهشگرانی اهمیت دارد که پیشرفت مدل‌ها در استدلال علمی را ارزیابی می‌کنند، و نیز برای توسعه‌دهندگان عامل‌هایی که می‌خواهند بدانند تجزیهٔ مسئله، گفت‌وگو یا برنامه‌ریزی چگونه به حل مسائل پیچیده کمک می‌کند. نتایج گزارش‌شده نشان می‌دهد حتی بهترین پوشش‌های ثبت‌شده در این ارزیابی‌ها نیز محدود است؛ ازاین‌رو، این بنچمارک می‌تواند ابزاری برای پیگیری پیشرفت در کشف برهان‌های پژوهشی باشد، نه صرفاً آزمونی برای سنجش دانش عمومی یا حل مسائل استاندارد.