پروتکل KBF برای شناسایی جایگزینی پنهان مدل‌های زبانی

ممیزی مدل‌های زبانی در سرویس‌های واسطه دشوار است، چون کاربران معمولاً نمی‌توانند ببینند پشت یک API دقیقاً کدام مدل پاسخ می‌دهد. پژوهشگران در مقاله‌ای که اول اکتبر ۲۰۲۶ در arXiv منتشر شده، پروتکلی به نام KBF معرفی کرده‌اند تا با پرسش‌های factual و قابل‌تکرار، پاسخ یک سرویس را با رفتار مدل مرجع مقایسه کند. هدف، شناسایی مواردی است که API به‌جای مدل مورد انتظار، مدلی دیگر را به کار می‌گیرد.

ممیزی مدل‌های زبانی با ردپای مرز دانش

KBF مخفف روشی است که «مرز دانش» مدل را به‌عنوان نوعی اثر انگشت به کار می‌گیرد. ایده اصلی این است که مدل‌ها در پاسخ‌گویی به پرسش‌های نزدیک به مرز دانسته‌هایشان الگوهای نسبتاً پایداری دارند؛ حتی گاهی پاسخ نادرست آن‌ها نیز تکرارپذیر است. به‌گفته چکیده مقاله، پروتکل از این الگوها برای ساخت پرسش‌های ممیزی استفاده می‌کند.

این پرسش‌ها، طبق توضیح پژوهشگران، بی‌ضرر و قابل‌تولید دوباره‌اند. KBF همچنین تصمیم‌های ممیزی را با تغییرپذیری طبیعی پاسخ‌های خود مدل مرجع تنظیم می‌کند. به بیان ساده، روش می‌کوشد تفاوت ناشی از پاسخ‌های متغیر یک مدل را با نشانه‌های احتمالی استفاده از مدلی دیگر اشتباه نگیرد.

نتایج آزمون روی endpointها

پژوهشگران این روش را روی ۱۶ endpoint عملیاتی آزمایش کردند. طبق گزارش مقاله، KBF هر ۱۵۵ مورد از جایگزینی‌هایی را شناسایی کرد که از نظر اقتصادی اهمیت داشتند. در مقابل، هیچ‌یک از ۱۶ کنترل متصل به همان مدل مرجع به‌اشتباه رد نشدند. این نتایج به مجموعه endpointها و شرایط آزموده‌شده در پژوهش مربوط‌اند و به‌تنهایی تضمین نمی‌کنند عملکرد روش در هر سرویس یا سناریویی همین باشد.

در شبیه‌سازی مسیریابی ترکیبی نیز، مقاله نرخ شناسایی مثبت واقعی یا TPR را ۹۵ درصد گزارش می‌کند؛ این نرخ حتی زمانی به دست آمد که سهم جایگزینی در مسیر پاسخ‌گویی ۱۵ درصد بود. در چنین مسیریابی‌ای ممکن است یک endpoint بخشی از درخواست‌ها را به مدلی متفاوت بفرستد. پژوهشگران همچنین می‌گویند روش در برابر تفاوت‌های استقرار مقاوم باقی ماند.

یافته‌های ممیزی میدانی و هزینه

در ممیزی میدانی، KBF هفت مورد از ۲۸ endpoint را در شش پلتفرم از نظر آماری با مدل‌های مرجعشان ناسازگار تشخیص داد. این عبارت به‌معنای شناسایی ناسازگاری است، نه اثبات قطعی اینکه هر مورد نتیجه جایگزینی عمدی یا پنهانی مدل بوده است. چکیده مقاله جزئیات هویت پلتفرم‌ها یا علت ناسازگاری‌ها را ارائه نمی‌کند.

هزینه اجرای ممیزی نیز یکی از ملاحظات عملی پژوهش است. بر اساس قیمت‌های API ثبت‌شده در مطالعه، پس از ثبت اولیه مدل مرجع، هر ممیزی آنلاین حتی برای GPT-6 Astra حدود ۰٫۶۷ دلار هزینه داشته است. این برآورد به قیمت‌های ذکرشده در پژوهش وابسته است و لزوماً با تعرفه‌های دیگر یا قیمت‌های آینده یکسان نخواهد بود.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای سازمان‌هایی اهمیت دارد که دسترسی به مدل‌های زبانی را از طریق APIهای واسطه، بازفروشندگان یا سرویس‌های مسیریابی‌شده فراهم می‌کنند. چنین سازمان‌هایی ممکن است برای ارزیابی کیفیت، هزینه یا انطباق به دانستن مدل پشت سرویس نیاز داشته باشند، اما امکان مشاهده مستقیم آن را نداشته باشند. KBF روشی برای بررسی آماری این موضوع پیشنهاد می‌کند؛ بااین‌حال، نتایج گزارش‌شده هنوز به معنای اثبات عمومی کارایی آن در همه سرویس‌ها نیست.

برای شرکت‌های عرضه‌کننده API نیز ممیزی مستقل می‌تواند راهی برای سنجش سازگاری پاسخ‌ها با مدل مرجع باشد. اهمیت عملی این رویکرد به کیفیت مرجع، تغییرپذیری پاسخ‌ها و شرایط هر endpoint وابسته است؛ جزئیاتی که باید هنگام تفسیر نتیجه در نظر گرفته شوند.