سادگی بازنمایی در GPT-2 لزوماً به مدار علّی کوچک‌تر نمی‌انجامد

اندازه مدار علّی در یک آزمایش کنترل‌شده روی GPT-2 Small، با میزان وفاداری مورد انتظار از بازسازی رفتار مدل تغییر می‌کند؛ یافته‌ای که نشان می‌دهد بازنمایی‌های مرتب‌تر لزوماً به سازوکارهای محاسباتی ساده‌تر منجر نمی‌شوند. پژوهشگران در مقاله‌ای منتشرشده در arXiv، دو نسخه از یک مدل را پس از آموزش پیوسته با روش‌های استاندارد و خصمانه مقایسه کردند و دریافتند که برتری هرکدام به آستانه ارزیابی بستگی دارد.

اندازه مدار علّی به آستانه وفاداری وابسته است

پرسش اصلی پژوهش این بود که آیا سادگی در بازنمایی‌های درونی مدل، یا تمرکز بیشتر در انتساب ویژگی‌ها، به مدار علّی کوچک‌تری می‌انجامد یا نه. مدار علّی در این زمینه مجموعه‌ای از بخش‌های محاسباتی مدل است که برای توضیح رفتار آن در یک وظیفه لازم‌اند. پژوهشگران اندازه این مدارها را با توجه به میزان وفاداری‌شان در بازسازی رفتار مدل سنجیدند.

نتیجه به سطح وفاداری موردنیاز بستگی داشت. در ارزیابی وظیفه شناسایی مفعول غیرمستقیم، در آستانه‌های پایین‌تر از ۸۵ درصد، مدل آموزش‌دیده به روش استاندارد مدار کوچک‌تری داشت یا با مدل مقاوم برابر بود. اما در سطح وفاداری ۹۰ و ۹۵ درصد، مدل مقاوم برای ساخت مدار وفادار به یال‌های کمتری نیاز داشت. یال‌ها در این تحلیل، پیوندهای میان بخش‌های مختلف محاسباتی مدل‌اند.

مقایسه دو روش آموزش روی یک نقطه‌وارسی

آزمایش از یک نقطه‌وارسی یکسان از GPT-2 Small آغاز شد. پژوهشگران دو مسیر آموزش پیوسته را با شرایط همسان دنبال کردند: یکی آموزش استاندارد و دیگری آموزش خصمانه، روشی که مدل را در برابر نمونه‌های دشوار یا تغییر‌یافته مقاوم‌تر می‌کند. هر دو مدل باید توانایی انجام وظیفه شناسایی مفعول غیرمستقیم را حفظ می‌کردند و آزمون مستقل مقاومت را می‌گذراندند تا مقایسه سازوکارهایشان انجام شود.

سپس مدل‌ها از سه جنبه بررسی شدند: تجزیه‌پذیری بازنمایی‌ها با رمزگذار خودکار تنک، تعداد ویژگی‌های درگیر در انتساب وظیفه و اندازه مدارهای وفادار استخراج‌شده از گراف محاسباتی خام. رمزگذار خودکار تنک ابزاری است که می‌کوشد فعالیت‌های پیچیده مدل را به مجموعه‌ای از ویژگی‌های جداشدنی‌تر تبدیل کند. در اینجا، «سادگی بازنمایی» به معنای منظم‌تر یا قابل‌تفکیک‌تر شدن چنین ویژگی‌هایی است.

بازنمایی مرتب‌تر، اما نتیجه‌ای نه‌چندان ساده

طبق گزارش پژوهش، مدل آموزش‌دیده با روش خصمانه در معیار رمزگذار خودکار تنک، تجزیه‌پذیری بیشتری داشت و برای انتساب وظیفه به ویژگی‌های کمتری متکی بود. با این حال، همین تفاوت‌ها به‌تنهایی پیش‌بینی نمی‌کردند که مدار علّی آن در همه سطح‌های وفاداری کوچک‌تر باشد. بنابراین، معیارهای مربوط به خوانایی بازنمایی و معیارهای مربوط به پیچیدگی مدار، دست‌کم در این آزمایش، پاسخ‌های یکسانی نمی‌دادند.

پژوهشگران می‌گویند این کار، تا آنجا که می‌دانند، نخستین آزمون تجربی کنترل‌شده برای بررسی مستقیم این رابطه است. الگوهای مربوط به بازنمایی در مجموعه‌ای شامل هفت نقطه از آزمایش و نیز در یک پیکره دوم هم دیده شدند. بااین‌حال، نتیجه وابسته به اندازه مدار در آستانه‌های مختلف، در جفت اصلی مدل‌ها بررسی شد؛ بنابراین نمی‌توان آن را بدون آزمون بیشتر به مدل‌ها و وظایف دیگر تعمیم داد.

یافته‌ها یادآوری می‌کنند که «قابل‌توضیح‌تر به نظر رسیدن» یک مدل و ساده‌تر بودن سازوکار علّی آن دو مفهوم جداگانه‌اند. همچنین، نتیجه‌گیری درباره اندازه مدار به این بستگی دارد که پژوهشگر چه میزان دقت را برای بازسازی رفتار مدل کافی بداند. این تمایز برای ارزیابی روش‌های تفسیرپذیری اهمیت دارد: یک روش ممکن است ساختار ویژگی‌ها را مرتب‌تر کند، بی‌آنکه در همه شرایط توضیح علّی کم‌هزینه‌تری فراهم آورد.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای محققان تفسیرپذیری، ایمنی و مهندسی مدل‌های یادگیری ماشین اهمیت دارد؛ به‌ویژه کسانی که از ویژگی‌های استخراج‌شده یا انتساب‌های متمرکز برای نتیجه‌گیری درباره سازوکار درونی مدل استفاده می‌کنند. نتیجه مقاله نشان می‌دهد چنین نشانه‌هایی بهتر است در کنار سنجش مستقیم مدارهای علّی و با توجه به سطح وفاداری موردنیاز بررسی شوند. این آزمایش درباره یک مدل و یک وظیفه انجام شده و برای تعیین میزان تعمیم‌پذیری یافته‌ها، بررسی‌های بیشتری لازم است.