CORE-BREW برای واترمارک مقاوم‌تر در متن‌های مدل‌های زبانی معرفی شد

واترمارک زبانی مقاوم‌تر در برابر ویرایش و بازنویسی، هدف روش تازه‌ای به نام CORE-BREW است که پژوهشگران در مقاله‌ای منتشرشده در arXiv معرفی کرده‌اند. این روش برای شناسایی منشأ متن‌های تولیدشده با مدل‌های زبانی بزرگ (LLM) طراحی شده و، طبق چکیده مقاله، در آزمایش‌ها بازیابی پیام واترمارک را نسبت به روش پایه BREW عموماً بهبود داده است؛ آن هم در حالی که نرخ مثبت کاذب مشاهده‌شده پایین مانده است.

چرا واترمارک چندبیتی به رمزگشایی مقاوم نیاز دارد؟

واترمارک متنی نشانه‌ای است که در فرایند تولید متن به خروجی مدل افزوده می‌شود تا تشخیص منشأ آن امکان‌پذیر باشد. در روش‌های چندبیتی، این نشانه می‌تواند اطلاعات بیشتری از یک علامت ساده در خود داشته باشد. اما اگر متن پس از تولید ویرایش یا بازنویسی شود، بخشی از نشانه ممکن است تغییر کند و شناسایی آن دشوارتر شود.

به گفته نویسندگان، بسیاری از روش‌های مبتنی بر کدهای تصحیح خطا (ECC) هنگام رمزگشایی تصمیمی سخت می‌گیرند: هر توکن را به یکی از گزینه‌های مشخص نسبت می‌دهند و میزان اطمینان به آن تصمیم را کنار می‌گذارند. توکن در اینجا واحدی از متن است که مدل آن را پردازش یا تولید می‌کند. کنار گذاشتن اطلاعات اطمینان می‌تواند توان روش را برای بازیابی واترمارک پس از تغییرات متن محدود کند.

CORE-BREW چگونه از اطمینان توکن‌ها استفاده می‌کند؟

CORE-BREW توسعه‌ای برای روش BREW است و نام آن از عبارت «جاسازی با نرخ برخورد ثابت» گرفته شده است. روش، کانال واترمارک را با هدف‌گذاری یک نرخ برخورد ثابت تنظیم می‌کند. بر پایه چکیده مقاله، این کالیبراسیون امکان محاسبه نسبت‌های درست‌نمایی لگاریتمی (LLR) را برای هر توکن فراهم می‌کند؛ مقادیری که نشان می‌دهند شواهد هر توکن تا چه اندازه از یک تفسیر پشتیبانی می‌کنند.

سپس به‌جای تکیه بر تصمیم‌های قطعی، از رمزگشایی نرم استفاده می‌شود؛ یعنی رمزگشا درجه اطمینان شواهد را نیز در نظر می‌گیرد. روش همچنین از حذف‌های آگاه از آنتروپی بهره می‌برد. در اینجا آنتروپی معیاری برای میزان عدم‌قطعیت است و حذف‌ها کمک می‌کنند در بافت‌هایی که پیش‌بینی متن اطمینان کمتری دارد، دست‌کاری متن محدود بماند. CORE-BREW امتیازدهی مبتنی بر درست‌نمایی را با رمزگشایی فهرستی نرم ترکیب می‌کند تا از شواهد ضعیف‌تر نیز استفاده کند.

نتایج آزمایش‌ها چه می‌گویند؟

طبق گزارش پژوهش، آزمایش‌ها روی مدل‌های زبانی متن‌باز و در شرایطی شامل ویرایش در سطح توکن و بازنویسی انجام شده‌اند. CORE-BREW عموماً در مقایسه با BREW مقاومت تشخیص را افزایش داده و بازیابی محتوای واترمارک‌شده را بهبود داده است. چکیده مقاله درباره اندازه این بهبود یا جزئیات مدل‌ها و مجموعه‌داده‌های آزمایش‌شده اطلاعاتی ارائه نمی‌کند.

یک ملاحظه گزارش‌شده، افزایش «پریپلکسیتی شرطی» است؛ معیاری که به میزان غافلگیری مدل از متن در شرایط مشخص مربوط می‌شود. بااین‌حال، BLEU و BERTScore، دو معیار سنجش شباهت متن با یک متن مرجع، به مقادیر متن‌های بدون واترمارک نزدیک بودند. نویسندگان این نتیجه را نشانه‌ای از کیفیت ترجمه مرجع‌محور مشابه دانسته‌اند. این معیارها به‌تنهایی همه جنبه‌های کیفیت متن را نشان نمی‌دهند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای گروه‌هایی اهمیت دارد که به دنبال روش‌هایی برای تشخیص منشأ خروجی مدل‌های زبانی هستند؛ از جمله پژوهشگران پردازش زبان طبیعی و توسعه‌دهندگان سامانه‌های واترمارک. نتیجه اصلی مقاله این است که استفاده از اطلاعات اطمینان توکن‌ها می‌تواند به بازیابی واترمارک پس از تغییر متن کمک کند، اما ارزیابی CORE-BREW در کاربردهای واقعی به جزئیاتی فراتر از خلاصه منتشرشده نیاز دارد.