پژوهش: Qwen2.5 برای مقایسه اعداد عمدتاً از بازنمایی خطی استفاده می‌کند

پژوهشی درباره بازنمایی خطی اعداد در مدل‌های زبانی، نشان می‌دهد Qwen2.5-7B-Instruct برای مقایسه عددها عمدتاً از ساختاری خطی بهره می‌گیرد؛ حتی وقتی بازنمایی‌های درونی آن هندسه‌ای خمیده دارند. این نتیجه که در مقاله‌ای منتشرشده در arXiv در اول اکتبر ۲۰۲۶ گزارش شده، نشان می‌دهد شکل هندسی مفاهیم در مدل لزوماً همان چیزی نیست که مدل در محاسبه از آن استفاده می‌کند.

بازنمایی خطی اعداد در مرکز یافته‌ها

پژوهشگران هندسه علّی مقایسه عددی را در Qwen2.5-7B-Instruct بررسی کرده‌اند. منظور از هندسه علّی در این مطالعه، بررسی نقشی است که ساختارهای بازنمایی در انجام محاسبه دارند، نه صرفاً مشاهده شکل آن‌ها در داده‌های درونی مدل.

در پژوهش‌های پیشین، بازنمایی برخی مفهوم‌ها در شبکه‌های عصبی به شکل خمیده یا چندبُعدی توصیف شده است؛ برای نمونه، اعداد روی ساختارهایی شبیه مارپیچ و روزهای هفته روی دایره. اما وجود چنین الگوهایی به‌تنهایی مشخص نمی‌کند مدل برای انجام یک محاسبه چگونه از آن‌ها استفاده می‌کند.

مدل چگونه دو عدد را مقایسه می‌کند؟

طبق یافته‌های مقاله، مدل ابتدا هر عدد را در امتداد یک بردار بازنمایی می‌کند. سپس با کمک سازوکار توجه و اتصال باقیمانده، بازنمایی دو عدد در فضای مشترکی در جریان باقیمانده ترکیب می‌شود. جریان باقیمانده مسیر اصلی انتقال اطلاعات میان لایه‌های شبکه است.

در مرحله بعد، نورون‌های شبکه چندلایه پیش‌خور یا MLP، جفت عددها را در بخش‌های محلی این فضای مشترک مقایسه می‌کنند. هر بخش با بازه کوچک‌تری از ورودی‌ها متناظر است. مدل نتیجه این مقایسه‌های محلی را ترکیب می‌کند تا جایگاه عدد بزرگ‌تر را به دست آورد.

پژوهشگران می‌گویند این اتکا به بازنمایی‌های خطی فقط به مقایسه دو عدد محدود نمی‌ماند و در مقایسه سه عدد نیز دیده می‌شود.

پیامد برای فهم سازوکار مدل‌ها

نتیجه مطالعه، این برداشت ساده را به چالش می‌کشد که اگر بازنمایی یک مفهوم در مدل هندسه خمیده دارد، پس مدل در محاسبات خود نیز الزاماً همان هندسه را دست‌کاری می‌کند. در نمونه بررسی‌شده، ساختار خمیده می‌تواند در کنار استفاده محاسباتی از روابط خطی وجود داشته باشد.

این تمایز برای تفسیرپذیری مکانیکی اهمیت دارد؛ حوزه‌ای که می‌کوشد با بررسی اجزای درونی شبکه عصبی، توضیح دهد مدل چگونه محاسبه می‌کند و مداخله در آن چگونه ممکن است. یافته مقاله به یک وظیفه و یک مدل محدود است و به‌تنهایی نشان نمی‌دهد مدل‌های دیگر یا وظایف متفاوت نیز همین سازوکار را دارند.

این خبر برای چه کسانی اهمیت دارد

این نتیجه برای پژوهشگران تفسیرپذیری، طراحان آزمایش‌های مربوط به بازنمایی‌های عصبی و کسانی که سازوکارهای درونی مدل‌های زبانی را بررسی می‌کنند اهمیت دارد. پیام اصلی آن این است که برای فهم محاسبات یک مدل، مشاهده هندسه بازنمایی‌ها کافی نیست و باید نقش علّی آن‌ها در انجام وظیفه نیز سنجیده شود.