EMODE برای حفظ بهتر احساس در مدل‌های زبانی گفتاری معرفی شد

مدل گفتاری EMODE با هدف حفظ بهتر احساس و آهنگ گفتار در تعامل با مدل‌های زبانی معرفی شده است؛ مسئله‌ای که به گفته پژوهشگران، با تکیه بیش از حد سامانه‌ها بر محتوای واژگانی و کم‌توجهی به شواهد صوتی مرتبط است. این پژوهش در مقاله‌ای در arXiv شرح داده شده و معماری تازه‌ای به نام «کارشناسان پویای فرازبانی‌ـ‌معنایی» یا DPSE را محور کار خود قرار می‌دهد.

جداسازی معنا از نشانه‌های عاطفی گفتار

مدل‌های زبانی گفتاری می‌توانند ورودی صوتی و زبانی را به‌صورت یکپارچه پردازش کنند، اما حفظ نشانه‌های فرازبانی همچنان دشوار است. فرازوبوم، از جمله آهنگ و ویژگی‌های صوتی همراه با گفتار، اطلاعاتی درباره احساس گوینده دارد که لزوماً در واژه‌های گفته‌شده بازتاب پیدا نمی‌کند.

به‌گفته مقاله، بسیاری از سامانه‌های موجود از بازنمایی‌های صوتی درهم‌تنیده استفاده می‌کنند. در چنین وضعیتی، مدل زبانی ممکن است بیش از اندازه به متن یا واژه‌های بازیابی‌شده تکیه کند و پاسخ خود را به شواهد صوتی و آهنگ گفتار متصل نکند. EMODE برای مواجهه با این محدودیت طراحی شده است.

مسیرهای پویای DPSE و آموزش مرحله‌ای

در معماری DPSE، ویژگی‌های پیوسته گفتار به دو مسیر تقسیم می‌شوند: مسیری برای اطلاعات معنایی و مسیری برای اطلاعات فرازبانی، از جمله نشانه‌های مرتبط با احساس. این مسیرها به‌طور پویا هدایت و پیش از ادغام با مدل زبانی دوباره ترکیب می‌شوند.

پژوهشگران برای شکل‌دادن به تخصص هر مسیر، از یک برنامه آموزشی سه‌مرحله‌ای استفاده کرده‌اند: آماده‌سازی معنایی، فعال‌سازی مسیر فرازبانی و پالایش مشترک. سه سازوکار نیز این روند را هدایت می‌کنند: راهنمایی متعامد کارشناسان (OEG)، هم‌ترازی معنا با صوت (SAA) و منظم‌سازی تنوع در دروازه‌بندی (GDR). مقاله این اجزا را راهی برای تبدیل جداسازی ساختاری به تخصص کارکردی معرفی می‌کند.

آزمایش‌ها و نتایج گزارش‌شده

ارزیابی EMODE در سه حوزه انجام شده است: آزمون SER برای تشخیص احساس در گفتار، ارزیابی پاسخ همدلانه و بنچمارک دوزبانه MEPA که در همین پژوهش ساخته شده است. طبق چکیده مقاله، نتایج نشان می‌دهند مدل توازن بهتری میان وفاداری واژگانی و حساسیت عاطفی برقرار می‌کند و در تولید پاسخ‌هایی که به احساس موجود در صوت متکی هستند، عملکرد قوی‌تری دارد.

پژوهش همچنین بر ارزش تفکیک صریح اطلاعات معنایی و فرازبانی برای فهم احساس در مجموعه‌داده‌های متفاوت تأکید می‌کند. چکیده، جزئیات عددی نتایج را ارائه نمی‌دهد؛ بنابراین میزان بهبود یا مقایسه کمی با سامانه‌های دیگر از اطلاعات در دسترس قابل تعیین نیست.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای سازندگان دستیارهای صوتی و سامانه‌های گفت‌وگویی اهمیت دارد؛ به‌ویژه اگر محصول آن‌ها باید به لحن و حالت عاطفی کاربر نیز توجه کند، نه فقط به واژه‌های بیان‌شده. برای پژوهشگران پردازش گفتار و مدل‌های چندوجهی هم EMODE نمونه‌ای از این رویکرد است که اطلاعات معنایی و عاطفی را پیش از ترکیب با مدل زبانی جداگانه سازمان‌دهی می‌کند.