پرامپت‌های علمی تخصصی دقت را بالا نبردند و هزینه را افزایش دادند

پرامپت‌های تخصصی برای عامل‌های علمی، در ارزیابی تازه‌ای که در ۲ اکتبر ۲۰۲۶ در arXiv منتشر شد، دقت پاسخ‌ها را به‌شکل پایدار افزایش ندادند؛ در مقابل، توکن و هزینه بیشتری مصرف کردند. پژوهشگران این نتیجه را با آزمایش ۱۰۰ پروفایل شغلی از مجموعه متن‌باز Scientific Agents و استفاده از Gemini 3.8 Flash به دست آوردند؛ یافته‌ای که درباره فایده افزودن دستورالعمل‌های بلند به عامل‌های هوش مصنوعی پرسش ایجاد می‌کند.

مقایسه پروفایل‌های تخصصی با چهار روش دیگر

مجموعه Scientific Agents شامل ۵۰۳ پروفایل AGENTS.md است که برای نقش‌ها و حرفه‌های مختلف نوشته شده‌اند. پژوهشگران ۱۰۰ پروفایل را در آزمایش به‌کار گرفتند و پاسخ‌ها را در ۹ معیار متنی علوم سنجیدند. این معیارها در مجموع ۴٬۵۳۱ پرسش نمونه‌برداری‌شده را شامل می‌شدند و پاسخ‌ها با روش‌های خودکار و مبتنی بر قواعد ارزیابی شدند.

برای بررسی اینکه چه بخشی از دستورالعمل‌ها احتمالاً اثرگذار است، هر پروفایل با چهار حالت دیگر مقایسه شد: یک دستور پایه کوتاه با مضمون «دستیار مفید باشید»، جمله آغازین پروفایل، یک راهنمای عمومی برای دقت علمی و یک پروفایل متعلق به حوزه‌ای نامرتبط. پس از تلاش دوباره برای خطاهای API، تعداد ۴٬۴۸۸ پرسش در هر پنج حالت کامل شد.

پرامپت‌های تخصصی دقت را به‌طور روشن بالا نبردند

طبق نتایج، اختلاف میانگین دقت پروفایل‌های تخصصی با دستور پایه منفی ۰٫۶ واحد درصد بود. بازه اطمینان ۹۵درصدی این برآورد از منفی ۱٫۵ تا مثبت ۰٫۲ واحد درصد گزارش شد؛ بنابراین، نتیجه نشان نمی‌دهد که پروفایل‌ها به‌طور معنادار دقت را بهتر کرده‌اند. در هیچ‌یک از معیارهای بررسی‌شده نیز بهبود آماری روشنی دیده نشد.

در عوض، پاسخ‌های تولیدشده با پروفایل‌های تخصصی ۱٫۵ تا ۲٫۳ برابر توکن خروجی بیشتری داشتند و هزینه هر پاسخ موفق ۲٫۲ تا ۴٫۵ برابر بود. توکن واحدی برای اندازه‌گیری متن ورودی و خروجی مدل‌های زبانی است؛ مصرف بیشتر آن معمولاً به استفاده بیشتر از منابع و افزایش هزینه منجر می‌شود.

نتایج متفاوت در آزمون‌های ابزارمحور

پژوهشگران در آزمونی جداگانه، ۶۰ مسئله زیست‌اطلاعاتی از BioMysteryBench را بررسی کردند؛ یعنی مسئله‌هایی که حل آن‌ها مستلزم استفاده از ابزار است. هر مسئله سه بار با دستور پایه و سه بار با پروفایل تخصصی اجرا شد. نرخ حل میانگین با پروفایل ۴۶٫۷ درصد و در حالت پایه ۵۶٫۷ درصد بود؛ اختلافی ۱۰ واحد درصدی به زیان پروفایل که بازه اطمینان آن منفی ۱۶٫۷ تا منفی ۳٫۳ واحد درصد گزارش شد.

به گفته پژوهشگران، توقف بیشتر به‌دلیل رسیدن به سقف زمان یا توکن در اجرای پروفایل‌محور، از عوامل این افت بود. بااین‌حال، یک نتیجه متفاوت هم در SuperGPQA دیده شد: به‌دلیل قطع مکرر ارتباط API ارائه‌دهنده، پاسخ پایه در اجرای نخست فقط در ۵۴ درصد موارد درست بود، درحالی‌که این رقم برای پروفایل به ۷۱٫۶ درصد رسید.

پژوهشگران می‌گویند راهنمای عمومی و پروفایل نامرتبط نیز تقریباً به‌اندازه پروفایل تخصصی در این مورد قابل‌اتکا بودند. از این رو، آن‌ها مزیت مشاهده‌شده را بیشتر به طول یا قالب پرامپت نسبت می‌دهند، نه محتوای تخصصی آن.

پیامدها و محدودیت‌های ارزیابی

نتایج این پژوهش به معنی بی‌فایده‌بودن همه دستورالعمل‌های تخصصی نیست. آزمایش به یک مدل، مجموعه‌ای از معیارهای مشخص و وظایف علمی متنی محدود بود؛ بنابراین، نمی‌توان نتیجه را خودکار به مدل‌های دیگر یا کارهای علمی باز و پیچیده تعمیم داد. پژوهشگران همچنین مطرح می‌کنند که انتخاب و بازیابی بخش‌های مرتبط از پروفایل، به‌جای بارگذاری کامل آن، ممکن است مسیر دیگری برای بررسی باشد؛ اما اثر این روش هنوز در این مطالعه سنجیده نشده است.

در محدوده آزمون‌های انجام‌شده، نتیجه عملی روشن است: افزودن پروفایل کامل به هر درخواست، لزوماً پاسخ دقیق‌تری نمی‌سازد و می‌تواند هزینه اجرا را به‌طور قابل‌توجهی بالا ببرد. برای تیم‌هایی که عامل‌های علمی می‌سازند، سنجش جداگانه دقت، هزینه و احتمال توقف می‌تواند مهم‌تر از فرضِ مفیدبودن دستورالعمل‌های مفصل باشد.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگران عامل‌های هوش مصنوعی، توسعه‌دهندگان ابزارهای علمی و سازمان‌هایی اهمیت دارد که از مدل‌های زبانی برای کارهای تخصصی استفاده می‌کنند. ارزیابی نشان می‌دهد پیش از افزودن دستورهای حرفه‌ای طولانی به سامانه، باید اثر آن‌ها بر کیفیت پاسخ و هزینه واقعی سنجیده شود؛ به‌ویژه وقتی وظیفه به ابزارهای بیرونی یا محدودیت زمان و توکن وابسته است.