ردپای جست‌وجوی معنایی در فعالیت درونی مدل‌های زبانی

جست‌وجوی معنایی مدل‌ها در پژوهشی تازه به‌عنوان فرایندی قابل‌ردیابی در فعال‌سازی‌های درونی مدل‌های زبانی بزرگ بررسی شده است. مقاله‌ای که در ۳۰ سپتامبر ۲۰۲۶ در arXiv منتشر شد، گزارش می‌کند هنگام تولید فهرستی از مفاهیم مرتبط، تغییر مدل از یک گروه مفهومی به گروه دیگر با الگوهای مشخصی در بازنمایی‌های درونی آن همراه است. این یافته می‌تواند به شناخت بهتر چگونگی سازمان‌دهی اطلاعات مفهومی در مدل‌ها کمک کند.

جست‌وجوی معنایی مدل‌ها و الگوی گروه‌بندی پاسخ‌ها

پژوهشگران به آزمونی توجه کردند که در آن از فرد خواسته می‌شود در یک دسته مشخص، مانند حیوانات، تا جای ممکن واژه‌ها را به یاد بیاورد. در این آزمون که «وظیفه روانی معنایی» نام دارد، پاسخ‌ها معمولاً به گروه‌هایی از مفاهیم نزدیک تقسیم می‌شوند؛ برای نمونه، چند حیوان دریایی پشت سر هم می‌آیند و سپس پاسخ‌دهنده به گروه دیگری می‌رود.

این الگو در انسان با نوعی جست‌وجوی معنایی توضیح داده می‌شود: فرد مدتی در یک گروه به دنبال موارد بیشتر می‌گردد و بعد، وقتی آن گروه کمتر به پاسخ‌های تازه منجر می‌شود، به گروه دیگری تغییر مسیر می‌دهد. پژوهش حاضر می‌پرسد آیا مدل‌های زبانی نیز هنگام تولید مفاهیم، نشانه‌های درونی جداگانه‌ای برای این دو وضعیت دارند یا نه.

فعال‌سازی‌ها چه زمانی تغییر گروه را پیش‌بینی می‌کنند؟

در مطالعه نخست، پژوهشگران از روشی به نام Jacobian lens یا J-lens استفاده کردند. این روش بازنمایی‌های لایه‌های میانی مدل را به فعال‌سازی‌های مرتبط با واژه‌ها پیوند می‌دهد و به پژوهشگران امکان می‌دهد بررسی کنند چه مفاهیمی در مراحل میانی تولید پاسخ برجسته‌اند.

طبق گزارش مقاله، تغییر به گروهی دیگر با پایین بودن فعال‌سازی واژه بعدی همراه بود. همچنین هرچه مجموعه مفاهیم برجسته در J-space کمتر شامل مواردی از گروه فعلی می‌شد، احتمال تغییر گروه افزایش می‌یافت. نویسندگان این الگو را مشابه تصمیم‌گیری در جست‌وجوی منابع می‌دانند: ادامه کاوش در محدوده فعلی یا رفتن به محدوده‌ای دیگر.

پژوهشگران همچنین گزارش کردند فعال‌سازی برچسب‌های انتزاعی مرتبط با یک دسته، پیش از تغییر به آن دسته افزایش می‌یابد. برای نمونه، واژه‌ای مانند «آب» می‌تواند با دسته‌ای مرتبط باشد که مدل در آستانه ورود به آن است. این مشاهده نشان می‌دهد تغییر گروه ممکن است در بازنمایی‌های میانی پیش از آن‌که در متن خروجی آشکار شود، قابل ردیابی باشد.

دست‌کاری بازنمایی‌ها و دلالت‌های پژوهش

برای آزمودن این‌که آیا این الگوها صرفاً با تغییر گروه هم‌زمان‌اند یا در آن نقش دارند، پژوهشگران بردارهای هدایت‌گر ساختند؛ بردارهایی که جهت خاصی از فعالیت درونی مدل را هدف می‌گیرند. به گفته مقاله، هدایت بازنمایی‌ها به سمت برخی از این جهت‌ها بر تغییر میان گروه‌ها اثر علّی گذاشت.

در مطالعه دوم، پژوهشگران جهت‌های عمومی‌تری را در جریان باقیمانده مدل شناسایی کردند؛ بخشی از بازنمایی که اطلاعات را میان لایه‌های شبکه منتقل می‌کند. این جهت‌ها هم هنگام تغییر و هم پیش از آن فعال بودند. هدایت فعال‌سازی در امتداد آن‌ها نرخ تغییر گروه را افزایش یا کاهش داد.

نتایج مقاله شواهدی ارائه می‌کند که مدل‌های زبانی هنگام بیان اطلاعات مفهومی، بازنمایی‌هایی متمایز برای ماندن در یک گروه و جابه‌جایی به گروهی تازه دارند. با این حال، یافته‌ها به همین پژوهش و روش‌های به‌کاررفته در آن محدودند و به‌تنهایی درباره همه مدل‌ها یا همه انواع وظایف زبانی نتیجه‌گیری نمی‌کنند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای محققان تفسیرپذیری هوش مصنوعی اهمیت دارد، چون بررسی می‌کند آیا می‌توان از روی فعالیت‌های درونی مدل، بخشی از فرایند سازمان‌دهی مفاهیم را فهمید یا حتی جهت آن را تغییر داد. یافته‌ها همچنین برای پژوهشگرانی که رفتار انسان و مدل‌های زبانی را در وظایف یادآوری و جست‌وجوی مفهومی مقایسه می‌کنند، چارچوبی برای بررسی تفاوت میان ادامه جست‌وجو و تغییر مسیر فراهم می‌کند.