روش Gacha Decoding برای افزایش تنوع پاسخ مدل‌های زبانی معرفی شد

تنوع خروجی مدل‌های زبانی موضوع روش تازه‌ای به نام Gacha Decoding است که در مقاله‌ای منتشرشده در arXiv معرفی شده است. این روش هنگام تولید پاسخ، توانایی مدل در پیروی از دستور را با تصادفی‌سازی بیرونی ترکیب می‌کند تا پاسخ‌های متنوع‌تری بسازد؛ رویکردی که به گفته پژوهشگران می‌تواند بدون افت کیفیت، حالت‌های بیشتری از پاسخ را پیدا کند.

تنوع پاسخ با نمونه‌های کمتر

پژوهشگران Gacha Decoding را در چند حوزه باز و متفاوت ارزیابی کرده‌اند: گفت‌وگوی آزاد، نویسندگی خلاق، برنامه‌ریزی برای تولید تصویر و طراحی پروتئین. طبق چکیده مقاله، این روش در سطح کیفیت برابر، از روش‌های پیشین برای افزایش تنوع بهتر عمل کرده است.

در برخی مقایسه‌ها، امتیاز تنوع آن با معیار Vendi تا ۲٫۴ برابر روش پیشین بعدی بوده است. همچنین مقاله می‌گوید Gacha Decoding برای یافتن همان تعداد حالت باکیفیت، به بیش از یک‌دهم نمونه‌ها نیاز داشته است؛ یعنی ۱۱ برابر نمونه کمتر. نویسندگان همچنین گزارش کرده‌اند که روش آن‌ها حالت‌هایی را پیدا کرده که رویکردهای دیگر به آن‌ها نرسیده‌اند.

پیروی از دستور به‌جای اتکا به آنتروپی

روش‌های متداول تولید پاسخ متنوع، اغلب به آنتروپی توکن‌ها تکیه می‌کنند؛ مفهومی که به‌طور ساده نشان می‌دهد انتخاب واژه بعدی تا چه اندازه نامطمئن یا پراکنده است. ایده مقاله این است که تنوع فقط از این نوع تصادفی‌بودن زبانی به دست نمی‌آید: مدل می‌تواند با دریافت دستورهای مناسب، به بخش‌های متفاوتی از فضای پاسخ‌ها هدایت شود.

Gacha Decoding برای این کار توانایی پیروی از دستور را با یک ابزار تولید اعداد تصادفی ترکیب می‌کند. نویسندگان این ایده را «برنامه‌ریزی با تاس» توصیف می‌کنند: تصادفی‌سازی مسیرهای متفاوت را انتخاب می‌کند و مدل می‌کوشد دستور مربوط به هر مسیر را اجرا کند.

بر اساس نتایج گزارش‌شده، با قوی‌ترشدن توانایی مدل در پیروی از دستور، تنوع خروجی در این روش نیز افزایش می‌یابد؛ حتی اگر آنتروپی توکن‌ها یا تنوع حاصل از روش‌های قبلی کاهش پیدا کند. این یافته، به گفته پژوهشگران، نشان می‌دهد که توانایی دنبال‌کردن دستور می‌تواند در کنار تصادفی‌سازی، راهی برای تولید پاسخ‌های گوناگون باشد. چکیده موجود درباره محدودیت‌های آزمایش‌ها جزئیاتی ارائه نمی‌کند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای توسعه‌دهندگان مدل‌های زبانی و ابزارهای تولید محتوا اهمیت دارد؛ به‌ویژه در کاربردهایی که یافتن چند راه‌حل یا ایده متفاوت مهم است. با این حال، نتایج گزارش‌شده به ارزیابی‌های همین مقاله مربوط‌اند و به‌تنهایی نشان نمی‌دهند که روش در همه مدل‌ها و کاربردها به همین اندازه مؤثر خواهد بود.