Cohere مدل Embed 5 را برای جست‌وجوی سازمانی عرضه کرد

مدل Embed 5، خانواده تازه مدل‌های تعبیه‌سازی Cohere، از اول اکتبر ۲۰۲۶ برای استفاده عمومی عرضه شده است؛ این مدل‌ها با پشتیبانی از متن و تصویر و دو مسیر اجرایی متفاوت، برای جست‌وجوی سازمانی، سامانه‌های RAG و بازیابی اطلاعات در عامل‌های هوش مصنوعی طراحی شده‌اند. عرضه آن‌ها می‌تواند به شرکت‌ها امکان دهد کیفیت جست‌وجو را با سرعت و هزینه متناسب با نیازشان تنظیم کنند، هرچند بخشی از برتری‌های اعلام‌شده هنوز به تأیید مستقل نرسیده است.

مدل Embed 5 چه قابلیت‌هایی دارد؟

Embed 5 مجموعه‌ای از مدل‌های تعبیه‌سازی است. در این روش، مدل متن، تصویر یا محتوای دیگر را به یک بردار عددی تبدیل می‌کند؛ برداری که نمایی فشرده از معنا و ویژگی‌های محتواست. سامانه جست‌وجو می‌تواند با مقایسه این بردارها، موارد مرتبط با پرس‌وجوی کاربر را پیدا کند. چنین مدلی معمولاً یکی از اجزای اصلی جست‌وجوی معنایی و تولید تقویت‌شده با بازیابی، یا RAG، است؛ روشی که در آن مدل زبانی برای پاسخ‌گویی، اطلاعات مرتبط را از یک منبع بیرونی بازیابی می‌کند.

Cohere دو نسخه از این خانواده عرضه کرده است: Embed 5 Pro برای بیشینه‌کردن کیفیت بازیابی و Embed 5 Fast برای کاهش تأخیر و هزینه در مسیر اجرای پرس‌وجو. هر دو نسخه ورودی متنی، تصویری و ترکیبی از متن و تصویر را می‌پذیرند، بیش از ۱۰۰ زبان را پوشش می‌دهند و می‌توانند با ورودی‌هایی تا ۱۲۸ هزار توکن کار کنند. توکن واحدی است که مدل‌های هوش مصنوعی متن را با آن پردازش می‌کنند و الزاماً با یک واژه برابر نیست.

پشتیبانی از تصویر برای مواردی مانند اسناد اسکن‌شده، اسلایدها، نقشه‌های فنی و نمودارها اهمیت دارد. در این نوع محتوا، تبدیل تصویر به متن ممکن است بخشی از اطلاعات چیدمان یا جزئیات بصری را از بین ببرد. طبق توضیحات منتشرشده، Embed 5 می‌تواند خود تصویر یک صفحه را به بردار تبدیل کند یا تصویر را همراه فراداده‌هایش در یک بردار واحد ادغام کند.

دو نسخه Embed 5 با یک فضای برداری مشترک

یکی از تصمیم‌های طراحی اعلام‌شده از سوی Cohere این است که Pro و Fast از یک فضای تعبیه‌سازی مشترک استفاده می‌کنند. به این ترتیب، سازمان می‌تواند مجموعه داده را با Pro نمایه‌سازی کند و هنگام دریافت پرس‌وجو از Fast بهره ببرد؛ یعنی لازم نیست برای هر نسخه، نمایه‌ای جداگانه بسازد. نمایه‌سازی در این زمینه به آماده‌کردن و ذخیره‌کردن بردارهای محتوا برای جست‌وجوی بعدی گفته می‌شود.

Cohere می‌گوید این ترکیب را روی ۴۰ مجموعه‌داده توسعه آزمایش کرده است. در مقایسه‌ای که عملکرد ترکیب Pro با Pro را ۱۰۰ در نظر می‌گیرد، نمایه‌سازی با Pro و پرس‌وجو با Fast امتیاز ۹۸٫۴ گرفته و استفاده از Fast در هر دو مرحله به ۹۶٫۶ رسیده است. بر پایه این نتایج، پیشنهاد شرکت آن است که داده‌ها با Pro نمایه‌سازی شوند و درخواست‌های جست‌وجو با Fast پردازش شوند.

این الگو برای عامل‌های هوش مصنوعی اهمیت دارد؛ عامل ممکن است برای انجام یک وظیفه چندین جست‌وجو پیاپی اجرا کند و تأخیر هر جست‌وجو به زمان کلی کار اضافه شود. Cohere گزارش کرده که Fast در آزمایش‌هایش ۳۷۷٫۳ سند در ثانیه پردازش کرده، در حالی که این رقم برای Pro برابر با ۱۵۹٫۷ سند در ثانیه بوده است. یک محدودیت فنی نیز وجود دارد: بردارهای خروجی دو نسخه باید بُعد یکسان داشته باشند تا بتوان از آن‌ها در یک جریان کاری مشترک استفاده کرد.

شناسه‌های API این مدل‌ها embed-v5.0-pro و embed-v5.0-fast هستند. هر دو می‌توانند بردارهایی با ۲۰۴۸، ۱۵۳۶، ۱۰۲۴، ۷۶۸، ۵۱۲ یا ۲۵۶ بُعد تولید کنند؛ مقدار پیش‌فرض ۲۰۴۸ است. خروجی نیز در قالب‌های float، int8 یا binary ارائه می‌شود. این قالب‌ها شیوه نمایش اعداد در بردار را تعیین می‌کنند و بر میزان حافظه موردنیاز اثر می‌گذارند.

نتایج بنچمارک و مقایسه با رقبا

در مجموعه ارزیابی ViDoRe V3، Cohere برای Embed 5 Pro میانگین امتیاز ۸۵٫۸ و برای Fast امتیاز ۸۴٫۵ را گزارش کرده است. بنا بر همین گزارش، امتیاز Pro نسبت به Embed 4 هشت‌وهشت دهم واحد بالاتر است. ارقام اعلام‌شده برای مدل‌های دیگر عبارت‌اند از ۸۳٫۷ برای Voyage 4 Large، ۸۳٫۲ برای Gemini Embedding 2 و ۷۵٫۵ برای OpenAI text-embedding-3-large.

در آزمون اسناد PDF پردازش‌شده از سوی Cohere، Pro امتیاز ۸۴٫۸ گرفته و از Voyage 4 Large با امتیاز ۸۳٫۶ جلوتر بوده است. شرکت همچنین نتایج قوی‌تری را در ارزیابی‌های مالی اعلام کرده: Pro در FinanceBench امتیاز ۸۰٫۱، در FinQA امتیاز ۹۰ و در بخش مالی ViDoRe V3 امتیاز ۸۵ داشته است. طبق داده‌های منتشرشده، Fast در هر سه مورد در جایگاه دوم قرار گرفته است.

نتایج چندزبانه یکدست نیستند. Pro در میانگین زبان‌های اروپایی امتیاز ۷۷ را ثبت کرده، اما در جدول خود Cohere، Gemini Embedding 2 در ۹ مورد از ۱۰ زبان دیگر عملکرد بهتری داشته است. ژاپنی، عربی، هندی و تلوگو از جمله زبان‌هایی هستند که در این مقایسه به آن‌ها اشاره شده است. بنابراین، ارقام کلی را نباید نشانه برتری Embed 5 در همه زبان‌ها دانست.

در تفسیر این اعداد باید به شیوه سنجش هم توجه کرد. بیشتر نتایج با معیار RCP-nDCG@10 محاسبه شده‌اند؛ معیاری که مجموعه‌ای ثابت از گزینه‌های نامزد را دوباره مرتب می‌کند و بیش از آن‌که کیفیت مرحله نخست بازیابی را بسنجد، کیفیت رتبه‌بندی مجدد را نشان می‌دهد. Cohere کد ارزیابی را منتشر کرده است، اما طبق گزارش منبع، بازتولید مستقل نتایج هنوز انجام نشده است. این نکته دامنه برداشت از ادعای برتری مدل را محدود می‌کند.

هزینه، فضای ذخیره‌سازی و شیوه دسترسی

قیمت اعلام‌شده برای Pro برابر با ۰٫۱۲ دلار به‌ازای هر یک میلیون توکن متنی و برای Fast برابر با ۰٫۰۸ دلار است. پردازش ورودی تصویری برای هر دو نسخه ۰٫۴۰ دلار به‌ازای هر یک میلیون توکن هزینه دارد. این قیمت‌ها تفاوت هزینه دو مدل را در مسیر متنی نشان می‌دهند، اما انتخاب عملی شرکت‌ها به حجم ورودی، نیاز به سرعت و نوع محتوا نیز بستگی خواهد داشت.

برای کاهش نیاز به ذخیره‌سازی، Embed 5 از یادگیری بازنمایی Matryoshka و خروجی‌های کم‌دقت‌تر پشتیبانی می‌کند. ایده Matryoshka این است که بتوان از نسخه‌های کوتاه‌تر یک بردار نیز استفاده کرد، نه فقط از بردار کامل. به‌گفته Cohere، یک بردار ۲۰۴۸‌بُعدی با قالب float32 حدود ۸ کیلوبایت فضا می‌گیرد؛ بردار ۱۰۲۴‌بُعدی int8 حدود یک کیلوبایت و بردار ۲۵۶‌بُعدی binary حدود ۳۲ بایت. شرکت برای ۱۰۰ میلیون قطعه داده، کاهش فضای خام ذخیره‌سازی از حدود ۸۱۹ گیگابایت به ۳٫۲ گیگابایت را مطرح کرده است. پیشنهاد Cohere برای استفاده معمول، خروجی ۱۰۲۴‌بُعدی int8 است که به گفته شرکت کیفیتی نزدیک به دقت کامل دارد.

این دو مدل از طریق API شرکت، Model Vault، Microsoft Foundry و Amazon SageMaker در دسترس عمومی قرار گرفته‌اند. برای میزبانی در محیط خصوصی VPC یا زیرساخت داخلی نیز می‌توان از vLLM استفاده کرد. در نتیجه، سازمان‌ها می‌توانند بر اساس نیازشان میان سرویس‌های ابری و اجرای خصوصی انتخاب کنند؛ هرچند جزئیات استقرار نهایی به محیط فنی هر سازمان وابسته است.

این خبر برای چه کسانی اهمیت دارد

عرضه Embed 5 برای تیم‌هایی اهمیت دارد که موتور جست‌وجوی سازمانی، پایگاه دانش مبتنی بر RAG یا عامل‌هایی با جست‌وجوهای پرتکرار می‌سازند. نسخه Fast می‌تواند برای سامانه‌هایی که تأخیر در پاسخ‌گویی مهم است جذاب باشد و نسخه Pro برای مواردی که کیفیت بازیابی اولویت دارد. امکان ترکیب دو نسخه نیز گزینه‌ای برای جداکردن مرحله آماده‌سازی داده از پردازش زنده پرس‌وجو فراهم می‌کند.

پشتیبانی تصویری و چندزبانه ممکن است برای آرشیوهای ترکیبی از متن و سندهای بصری مفید باشد؛ کاهش ابعاد و استفاده از قالب‌های فشرده هم می‌تواند هزینه نگهداری بردارها را پایین بیاورد. با این حال، تیم‌های فنی پیش از انتخاب باید نتایج را روی داده‌های خود بسنجند، به‌ویژه اگر زبان‌های غیراروپایی یا رتبه‌بندی اولیه اهمیت زیادی داشته باشد. تا زمان ارزیابی مستقل، ارقام بنچمارک منتشرشده بهتر است به‌عنوان نتایج اعلامی Cohere در نظر گرفته شوند، نه تضمینی برای عملکرد یکسان در همه کاربردها.