Perplexity مدل تعبیه‌سازی زمینه‌ای تازه‌ای برای بازیابی اسناد منتشر کرد

مدل تعبیه‌سازی زمینه‌ای تازه Perplexity برای سامانه‌های بازیابی اطلاعات، پاسخ را تنها از روی یک قطعه متن پیدا نمی‌کند و هم‌زمان بخش‌هایی را که برای بررسی پاسخ لازم‌اند نیز در نظر می‌گیرد. Perplexity Research و turbopuffer این مدل با نام pplx-embed-v2-context-9b-preview را به‌عنوان پیش‌نمایشی خودمیزبان منتشر کرده‌اند؛ انتشار آن می‌تواند برای توسعه‌دهندگانی اهمیت داشته باشد که می‌خواهند پاسخ‌های بازیابی‌شده را با شواهد موجود در سند بسنجند.

این مدل برای پایپ‌لاین‌های RAG ساخته شده است؛ روشی که در آن سامانه هوش مصنوعی پیش از تولید پاسخ، اطلاعات مرتبط را از اسناد یا منابع بیرونی بازیابی می‌کند. طبق توضیحات انتشار، تفاوت اصلی مدل فقط در روش نمایش قطعه‌های متن نیست، بلکه به شیوه آموزش آن برمی‌گردد: مدل یاد می‌گیرد پاسخ را همراه با زمینه‌ای بازیابی کند که امکان تأیید آن را فراهم می‌کند.

چرا انتخاب یک قطعه طلایی کافی نیست؟

سامانه‌های RAG معمولاً اسناد طولانی را به بخش‌های کوچک‌تر تقسیم می‌کنند تا جست‌وجو در آن‌ها آسان‌تر شود. اما معنای یک بخش ممکن است به نام یک شخص یا موضوع، عنوان یک فصل یا تعریفی وابسته باشد که در قسمت دیگری از همان سند آمده است. در نتیجه، بازیابی یک قطعه مرتبط به‌تنهایی همیشه برای فهم یا راستی‌آزمایی پاسخ کافی نیست.

روش‌های تعبیه‌سازی زمینه‌ای تلاش می‌کنند این مشکل را با درنظرگرفتن کل سند هنگام پردازش هر قطعه کاهش دهند. در روشی که به «قطعه‌بندی دیرهنگام» معروف است، ابتدا کل سند یک‌جا پردازش می‌شود و سپس برای هر قطعه نمایش عددی جداگانه‌ای ساخته می‌شود. این نمایش‌ها که «تعبیه‌سازی» نام دارند، به سامانه کمک می‌کنند متن‌های مرتبط با پرس‌وجو را پیدا کند.

به گفته Perplexity، آموزش متداول این مدل‌ها معمولاً یک قطعه را به‌عنوان پاسخ درست یا «قطعه طلایی» برچسب می‌زند و بقیه قطعه‌ها را منفی تلقی می‌کند؛ حتی اگر برخی از آن‌ها شواهد لازم برای بررسی پاسخ را داشته باشند. این شرکت همچنین به محدودبودن برچسب‌های دودویی، هزینه بالای برچسب‌گذاری با مدل‌های زبانی و وابستگی برچسب‌ها به روش تقسیم سند اشاره کرده است.

آموزش مدل با توجه به پاسخ و شواهد

در آموزش pplx-embed-v2-context-9b-preview، یک مدل فشرده‌سازی زمینه‌ایِ پرس‌وجومحورِ Perplexity نقش «معلم» را دارد. این مدل پرس‌وجو و سند را با هم می‌خواند و به توکن‌ها، یعنی واحدهای کوچک متن، امتیاز می‌دهد. سپس برای هر قطعه، میانگین امتیاز بالاترین توکن‌های آن محاسبه می‌شود تا میزان ارتباطش مشخص شود.

امتیازها به توزیعی نرم از میزان ارتباط قطعه‌های سند تبدیل می‌شوند؛ بنابراین به‌جای برچسب ساده درست یا نادرست، دانشجو از درجه ارتباط هر بخش نیز یاد می‌گیرد. طبق شرح فنی انتشار، آموزش از واگرایی KL برای نزدیک‌کردن توزیع مدل دانشجو به توزیع معلم استفاده می‌کند. همچنین تابع زیان InfoNCE به مدل کمک می‌کند سندهای مرتبط را رتبه‌بندی کند و امتیاز سند را بر پایه بهترین قطعه آن در نظر بگیرد.

در زمان آموزش، راهبرد تقسیم سند به‌صورت تصادفی میان نمونه‌ها تغییر می‌کند. این کار به مدل امکان می‌دهد با شیوه‌های متفاوت قطعه‌بندی مواجه شود. مدل معلم فقط هنگام آموزش به کار می‌رود؛ به گفته شرکت، در نتیجه اجرای مدل برای بازیابی به محاسبات یا فضای ذخیره‌سازی اضافی ناشی از حضور معلم نیاز ندارد.

مشخصات و وضعیت انتشار

مدل بر پایه مدل بازیابی ColBERT داخلیِ ۹ میلیاردپارامتری Perplexity ساخته شده است. یک لایه خطی، خروجی آن را به نمایش‌هایی با ۲۰۴۸ بُعد تبدیل می‌کند و آموزش Matryoshka امکان استفاده از نمایش‌های ۱۰۲۴بعدی را نیز فراهم می‌آورد. این دو اندازه تعداد اعداد به‌کاررفته برای نمایش هر متن را مشخص می‌کنند و می‌توانند در طراحی سامانه‌های بازیابی، میان اندازه نمایش و نیازهای کاربردی انتخاب ایجاد کنند. آموزش آگاه از کوانتیزه‌سازی نیز پشتیبانی بومی از تعبیه‌سازی‌های int8 را ممکن می‌کند؛ قالبی کم‌حجم‌تر برای نمایش عددی.

طبق اطلاعات انتشار، مدل نهایی ترکیبی از چند checkpoint است و آموزش آن با حدود ۴۳۰ مجموعه‌داده، شامل بیش از ۵۰ زبان، انجام شده است. در اعلام شرکت آمده که داده‌های ConTEB در آموزش استفاده نشده‌اند.

وزن‌های مدل در Hugging Face و با مجوز MIT در دسترس‌اند و اجرای آن به transformers نسخه ۵.۴.۰ یا بالاتر، همراه با فعال‌بودن trust_remote_code=True، نیاز دارد. این انتشار هنوز در API Perplexity ارائه نشده است. مدل‌کارت نیز هشدار می‌دهد که وزن‌ها و رابط ممکن است تغییر کنند و این تغییرات لزوماً با نسخه‌های پیشین سازگار نخواهند بود.

این خبر برای چه کسانی اهمیت دارد

انتشار این مدل بیش از همه برای توسعه‌دهندگان سامانه‌های RAG، تیم‌های جست‌وجوی سازمانی و پژوهشگرانی مهم است که به بازیابی پاسخ‌های قابل‌بررسی نیاز دارند. رویکرد مدل می‌تواند در مواردی مفید باشد که فهم پاسخ به اطلاعات پراکنده در چند بخش سند وابسته است. بااین‌حال، انتشار فعلی پیش‌نمایش است و خودمیزبان؛ بنابراین استفاده از آن مستلزم آماده‌کردن محیط اجرای لازم و توجه به احتمال تغییر وزن‌ها و رابط در نسخه‌های بعدی است.