آزمون CARAT می‌سنجد مدل‌های مواد استدلال می‌کنند یا حفظ

پژوهشی درباره مدل‌های زبانی مواد می‌پرسد آیا این سامانه‌ها هنگام پاسخ به پرسش‌هایی درباره ساختار بلوری واقعاً رابطه‌های ساختاری را به کار می‌گیرند یا صرفاً پاسخی را که در ورودی دیده‌اند بازگو می‌کنند. مقاله CARAT که در اول اکتبر ۲۰۲۶ در arXiv منتشر شده، استدلال می‌کند که سنجش دقت به‌تنهایی برای پاسخ به این پرسش کافی نیست؛ زیرا گاهی شرح ساختار، همان داده‌ای را در اختیار مدل می‌گذارد که پاسخ نهایی با آن ارزیابی می‌شود.

چرا سنجش دقت می‌تواند گمراه‌کننده باشد؟

در پرسش‌های مربوط به مواد، مدل ممکن است پاسخ را از اطلاعاتی مانند فرمول یا فهرستی از ویژگی‌های ساختار پیدا کند، بی‌آنکه رابطه میان اجزای ساختار را بفهمد. اگر پاسخ درست از قبل در متن ورودی آمده باشد، امتیاز بالا لزوماً نشان نمی‌دهد مدل از شواهد ساختاری استدلال کرده است.

برای جدا کردن این دو امکان، پژوهشگران سؤال و پاسخ معیار را در هشت نوع ورودیِ همسان بررسی کردند. به این ترتیب، می‌توانستند ببینند تغییر شکل ارائه اطلاعات چگونه بر پاسخ اثر می‌گذارد، بدون آن‌که خود پرسش یا پاسخ مورد انتظار عوض شود.

آزمون مدل‌های زبانی مواد با GraphSpace

در چارچوب CARAT، رابطه‌های ساختاری جداگانه نام‌گذاری می‌شوند و در قالبی به نام GraphSpace به مدل ارائه می‌شوند. پژوهشگران همچنین از چند روش کنترلی استفاده کردند: آموزش همسان، پنهان‌کردن پاسخ، افزودن شواهد، مقایسه پاسخ‌ها در ورودی‌های جفت‌شده و قاعده‌ای که اجازه می‌دهد مدل در صورت لزوم از ادعای پاسخ خودداری کند.

در دشوارترین خانواده‌های آزمون، ورودیِ متکی بر شواهد ساختاری ۱۷٫۳ واحد درصد بهتر از ورودی‌های مبتنی بر فرمول عمل کرد. اما مقایسه GraphSpace با یک گراف دوره‌ای ساده، نکته مهم‌تری را نشان داد: برتری کلی GraphSpace برابر با ۱۹٫۳ واحد درصد بود، ولی این تفاوت به میزان اطلاعات موجود در دو نمایش وابستگی داشت.

وقتی نمایش ساده همه داده‌های لازم برای پاسخ را در خود داشت، فاصله فقط ۱٫۹۶ واحد درصد بود. در مواردی که آن نمایش این داده‌ها را اصلاً ارائه نمی‌کرد، اختلاف به ۴۶٫۷ واحد درصد رسید. بنابراین، به گفته پژوهشگران، بخش بزرگی از برتری کلی به کمبود اطلاعات در خط مبنا مربوط است، نه صرفاً به شیوه نمایش شواهد.

مدل رابطه را تکرار می‌کرد، نه اینکه به آن تکیه کند

پژوهشگران تلاش کردند میان‌بُرهای احتمالی در خود آزمون را نیز پیدا کنند. در نسخه اولیه، قاعده‌ای ساده که پیوند ساختاری را نادیده می‌گرفت و مستقیماً سراغ فهرست اطلاعات می‌رفت، در چهار مورد از هفت خانواده دشوار پاسخ درست می‌داد. گروه سپس آزمون را بازطراحی کرد تا یازده میان‌بُر احتمالی در آن عملکردی نزدیک به حد تصادف داشته باشند.

در آزمایش دیگری، پژوهشگران پیوندی را که به یک رابطه ساختاری اشاره می‌کرد تغییر دادند و پاسخ‌های جفت‌شده مدل را مقایسه کردند. مدلِ آموزش‌ندیده در ۹۵٫۶ درصد موارد، با وجود تغییر پیوند همان پاسخ را حفظ کرد. تفسیر مقاله این است که مدل رابطه را در پاسخ تکرار می‌کرد، اما برای رسیدن به پاسخ از آن استفاده نمی‌کرد.

پس از آموزش نظارت‌شده و همسان، عملکرد گزارش‌شده به ۹۹٫۸ درصد رسید. با حذف پیوند ساختاری، این امتیاز به ۲۳٫۴ درصد افت کرد؛ پایین‌تر از ۲۷ درصدی که بهترین میان‌بُر به دست آورده بود. این نتایج نشان می‌دهد استفاده از رابطه ساختاری در این آزمایش قابل‌آموزش است، اما موفقیت مدل به وجود همان شاهد در ورودی وابسته می‌ماند.

این خبر برای چه کسانی اهمیت دارد

نتایج برای پژوهشگرانی اهمیت دارد که مدل‌های زبانی را در شیمی، علم مواد و حوزه‌های دیگر با داده‌های ساختاری ارزیابی می‌کنند. پیام اصلی مقاله این است که دقت نهایی باید در کنار آزمون‌هایی سنجیده شود که نشان دهند مدل واقعاً به شواهد مرتبط وابسته است؛ وگرنه ممکن است حفظ‌کردن یا استفاده از میان‌بُر با استدلال اشتباه گرفته شود.