پژوهش: رمزگشایی می‌تواند دقت بازیابی مولد را تا ۱۳٫۷ واحد تغییر دهد

بازیابی مولد، روشی که در آن یک مدل زبانی شناسه سند مرتبط را تولید می‌کند، در پژوهشی تازه به‌دلیل حساسیت نتایج به شیوه رمزگشایی بررسی شده است. مطالعه‌ای منتشرشده در arXiv در ۷ اکتبر ۲۰۲۶، مدل‌های خودرگرسیو و دو نوع مدل diffusion را با تنظیمات کنترل‌شده مقایسه می‌کند و نشان می‌دهد انتخاب روش رمزگشایی به‌تنهایی می‌تواند امتیاز برخی مدل‌ها را ۶٫۶ تا ۱۳٫۷ واحد جابه‌جا کند.

مقایسه‌ای با کنترل شناسه و بودجه آموزش

به‌گفته چکیده مقاله، پژوهشگران روی دو مجموعه NQ320K و MS300K، مدل‌های خودرگرسیو، masked-diffusion و block-diffusion را آموزش دادند. این مدل‌ها برای شناسایی اسناد از شناسه‌هایی با سه شیوه ساخت استفاده کردند: residual-quantised، product-quantised و تصادفی.

برای آن‌که تفاوت نتیجه‌ها فقط به یک عامل نسبت داده نشود، طول شناسه‌ها و بودجه آموزش ثابت نگه داشته شد و هر مدل با چند روش رمزگشایی آزمایش شد. رمزگشایی، فرایندی است که طی آن خروجی مدل به پاسخ نهایی تبدیل می‌شود. پژوهشگران تأکید می‌کنند در مقایسه میان رویکردهای مختلف، نمی‌توان هم‌زمان نوع مدل، شیوه ساخت شناسه و رمزگشایی را تغییر داد و تفاوت عملکرد را تنها به معماری نسبت داد.

رمزگشایی در بازیابی مولد چقدر اثر دارد؟

در روش مرجع generate-and-match، مدل ابتدا یک شناسه تولید می‌کند و سپس نزدیک‌ترین شناسه‌های موجود در پیکره اسناد برای یافتن نتیجه بررسی می‌شوند. طبق نتایج مقاله، شناسه تولیدشده برای ۱۴ تا ۲۱ درصد پرسش‌های NQ320K درست بوده است.

پژوهشگران روش دیگری به نام one-pass scoring را نیز آزمودند. در این روش، مدل یک‌بار شناسه‌ای کاملاً پوشیده را می‌خواند و امتیاز هر سند از احتمال کدهای شناسه آن به‌دست می‌آید. این روش در ۱۱ مورد از ۱۲ تنظیم آزمایش‌شده با generate-and-match برابر یا بهتر عمل کرد.

معیار گزارش‌شده، Hit@1 است؛ یعنی اینکه آیا سند درست در رتبه نخست نتایج قرار گرفته است یا نه. با این معیار، مدل‌های خودرگرسیو در مجموع هنوز از مدل‌های diffusion جلوتر بودند. در NQ320K، پژوهشگران می‌گویند این برتری از خود مدل ناشی می‌شود، نه از استفاده از beam search؛ روشی که چند مسیر احتمالی تولید پاسخ را هم‌زمان دنبال می‌کند.

شناسه‌ها و پیامدهای مقایسه

نتایج درباره شناسه اسناد نیز نکته‌ای قابل‌توجه دارد: در NQ320K، شناسه‌های تصادفی ۸۳ تا ۹۰ درصد از Hit@1 شناسه‌های residual-quantised را حفظ کردند. این یافته نشان می‌دهد در این مجموعه، مدل‌ها تا حد زیادی یاد گرفته‌اند هر پرسش به کدام شناسه پاسخ می‌دهد؛ بنابراین، عملکرد بالا لزوماً به معنای آن نیست که شناسه‌ها ساختار معنایی پیچیده‌ای را منتقل می‌کنند.

در مدل خودرگرسیو، شناسه‌های product-quantised در NQ320K، ۳٫۴ واحد بهتر از residual-quantised بودند. در مدل‌های diffusion اختلاف این دو نوع شناسه بین منفی ۰٫۷ تا مثبت ۳٫۶ واحد تغییر کرد. مقاله همچنین گزارش می‌کند که فاصله میان این دو نوع شناسه در روش‌های رمزگشایی مختلف برای مدل خودرگرسیو ۱٫۵ تا ۲٫۳ واحد بیشتر از مدل‌های diffusion بود؛ اختلافی که پژوهشگران آن را نزدیک به آستانه ۲ واحدی خود می‌دانند.

در آزمایش دیگری، one-pass scoring توانست با شروع از یک شناسه نمونه‌گیری‌شده، ۴۶ تا ۸۳ درصد از فاصله عملکرد مدل diffusion پوشیده با beam search را حذف کند. اما اگر نقطه شروع generate-and-match بود، این روش حداکثر یک‌چهارم فاصله را جبران می‌کرد. این تفاوت نشان می‌دهد ارزیابی روش رمزگشایی به مسیر اولیه تولید شناسه نیز وابسته است.

این خبر برای چه کسانی اهمیت دارد

یافته‌ها برای پژوهشگرانی مهم است که سامانه‌های بازیابی مبتنی بر مدل زبانی را طراحی یا ارزیابی می‌کنند. نتیجه عملی مقاله این است که مقایسه مدل‌های خودرگرسیو و diffusion باید برای هرکدام با تنظیمات و بهترین روش رمزگشایی مناسب همان رویکرد انجام شود؛ در غیر این صورت، اثر رمزگشایی ممکن است با برتری یا ضعف معماری اشتباه گرفته شود.