پژوهشگران سلسله‌مراتب ویژگی‌های درونی Whisper را بررسی کردند

پژوهشی درباره تفسیرپذیری Whisper نشان می‌دهد رمزگذار این سامانه تشخیص گفتار، اطلاعاتی زبانی و غیرزبانی را در چند سطح بازنمایی می‌کند؛ یافته‌ای که می‌تواند به درک بهتر سازوکارهای درونی سامانه‌های گفتاری کمک کند. این مطالعه در نسخه تازه‌ای از مقاله‌ای در arXiv گزارش شده و با استفاده از «خودرمزگذار تنک» سراغ بازنمایی‌های درونی Whisper رفته است.

تفسیرپذیری Whisper با خودرمزگذار تنک

مدل‌های مبتنی بر ترنسفورمر در سال‌های اخیر پیشرفت زیادی داشته‌اند، اما چگونگی پردازش اطلاعات درون آن‌ها همچنان به‌روشنی شناخته نشده است. به گفته نویسندگان مقاله، پژوهش‌های تفسیرپذیری بیشتر بر مدل‌های متنی متمرکز بوده‌اند و سامانه‌های تشخیص خودکار گفتار، یا ASR، کمتر بررسی شده‌اند.

برای پرداختن به این خلأ، پژوهشگران بازنمایی‌های رمزگذار Whisper را تحلیل کردند. خودرمزگذار تنک روشی برای جداکردن الگوهای موجود در داده‌های یک مدل است؛ در این مطالعه از آن برای شناسایی ویژگی‌هایی استفاده شد که هرکدام به جنبه‌ای از اطلاعات رمزگذاری‌شده مربوط‌اند.

از ویژگی‌های آوایی تا معنایی

پژوهشگران می‌گویند ویژگی‌های شناسایی‌شده در Whisper محدود به نشانه‌های زبانی نیستند و اطلاعات غیرزبانی را نیز در بر می‌گیرند. این ویژگی‌ها در سلسله‌مراتبی از بازنمایی‌های آواشناختی تا سطوح معنایی قرار می‌گیرند؛ یعنی بخشی از آن‌ها به جنبه‌های صوتی گفتار مربوط‌اند و بخشی دیگر به محتوای زبانی و معنای آن.

بر اساس چکیده مقاله، این سلسله‌مراتب اطلاعاتی فراتر از آنچه صرفاً برای تبدیل گفتار به متن لازم است، در رمزگذار Whisper وجود دارد. پژوهشگران برای بررسی نقش این ویژگی‌ها، آن‌ها را به‌صورت علّی هدایت کردند؛ روشی که در آن پژوهشگر تغییر یک ویژگی را اعمال می‌کند و اثر آن را بر رفتار مدل می‌سنجد. این آزمایش‌ها شامل هدایت میان‌زبانی نیز بود.

هدایت ویژگی‌های سطح بالا قابل‌اتکاتر بود

یکی از نتایج گزارش‌شده این است که هدایت ویژگی‌های سطح بالاتر، مانند ویژگی‌های نزدیک‌تر به معنا، از هدایت ویژگی‌های سطح پایین‌تر قابل‌اتکاتر بود. نویسندگان احتمال می‌دهند این تفاوت با بازنمایی تکراری اطلاعات سطح پایین در مدل ارتباط داشته باشد؛ به بیان دیگر، ممکن است اطلاعات آوایی در چند مسیر یا ویژگی مختلف بازتاب پیدا کند و تغییر هدفمند آن را دشوارتر سازد.

این توضیح در مقاله به‌عنوان احتمالی برای تبیین تفاوت مشاهده‌شده مطرح شده است، نه نتیجه‌ای قطعی درباره همه سازوکارهای رمزگذار. در مجموع، مطالعه نشان می‌دهد بررسی ویژگی‌های درونی مدل‌های گفتاری می‌تواند تصویری دقیق‌تر از نحوه بازنمایی اطلاعات در این سامانه‌ها به دست دهد.

این خبر برای چه کسانی اهمیت دارد

این یافته برای پژوهشگران تفسیرپذیری، یادگیری ماشین و تشخیص گفتار اهمیت دارد؛ به‌ویژه برای کسانی که می‌خواهند بدانند مدل‌های گفتاری فراتر از رونویسی، چه اطلاعاتی را در بازنمایی‌های خود نگه می‌دارند. بااین‌حال، چکیده ارائه‌شده جزئیات آزمایش‌ها و پیامدهای عملی آن‌ها را شرح نمی‌دهد؛ بنابراین نتایج فعلی را باید در چارچوب بررسی بازنمایی‌های درونی Whisper در نظر گرفت.