روش GAP-DPO انتخاب ترجیحات را به هدف کاربر پیوند می‌دهد

بهینه‌سازی ترجیحات شخصی‌سازی‌شده در مدل‌های زبانی به انتخاب درست نمونه‌هایی وابسته است که نشان می‌دهند کاربر کدام پاسخ را ترجیح می‌دهد. مقاله‌ای منتشرشده در arXiv در ۲ اکتبر ۲۰۲۶، روشی به نام GAP-DPO را معرفی می‌کند که این انتخاب را با جهت مطلوبیت کاربر پیوند می‌دهد. نویسندگان مقاله می‌گویند انتخاب جفت‌های ترجیحی، صرفاً مرحله‌ای مقدماتی نیست و می‌تواند تعیین کند که بهینه‌سازی رفتار مدل به ترجیحات فردی نزدیک‌تر شود یا از آن‌ها فاصله بگیرد.

چرا انتخاب جفت‌های ترجیحی اهمیت دارد؟

مدل‌های زبانی برای شخصی‌سازی باید پاسخ‌هایی تولید کنند که با سلیقه هر کاربر سازگار باشد، نه فقط با کیفیتی که در میانگین برای گروهی از کاربران مناسب است. در یادگیری ترجیحی، معمولاً نمونه‌هایی از پاسخ‌ها با یکدیگر مقایسه می‌شوند تا مدل یاد بگیرد کدام پاسخ مطلوب‌تر است.

روش DPO، یا بهینه‌سازی مستقیم ترجیحات، چارچوبی برای آموزش مدل بر پایه همین مقایسه‌ها فراهم می‌کند. به گفته مقاله، کارایی آن در کاربردهای شخصی‌سازی‌شده به این بستگی دارد که جفت‌های پاسخ چگونه انتخاب شوند. روش‌های موجود گاهی از معیارهای ابتکاری، مانند انتخاب پاسخ‌هایی با احتمال تولید بسیار متفاوت، استفاده می‌کنند؛ اما این معیارها ممکن است با مطلوبیت مشخص یک کاربر ارتباط مستقیمی نداشته باشند.

هم‌راستایی گرادیان در GAP-DPO

پژوهشگران مسئله را از منظر هندسه بهینه‌سازی بررسی می‌کنند؛ به بیان ساده، می‌سنجند که جهت تغییرات پیشنهادی برای آموزش مدل تا چه اندازه با جهتی که مطلوبیت کاربر را افزایش می‌دهد، هم‌سو است. گرادیان در این زمینه برداری است که جهت تغییر یک کمیت را نشان می‌دهد.

تحلیل مقاله می‌گوید در نمونه‌گیری خارج از سیاست، یعنی وقتی داده‌های استفاده‌شده برای آموزش الزاماً از سیاست فعلی مدل به دست نیامده‌اند، جهت به‌روزرسانی DPO می‌تواند تغییر کند. اگر فاصله ترجیح میان پاسخ‌ها با گرادیان مطلوبیت کاربر هم‌راستا باشد، به‌روزرسانی از سیگنالی صرفاً اصلاح‌کننده خطا به سیگنالی شبیه تقویت رفتار مطلوب نزدیک می‌شود.

بر پایه این تحلیل، GAP-DPO جفت‌های ترجیحی را به‌صورت تکرارشونده و با توجه به مطلوبیت کاربر انتخاب می‌کند. مقاله همچنین از بازتولید جفت‌ها در پایان هر دوره آموزش برای کنترل تغییر توزیع داده‌ها نام می‌برد؛ یعنی جلوگیری از فاصله گرفتن بیش از حد داده‌های آموزشی از آنچه مدل در فرایند بهینه‌سازی می‌بیند.

نتایج گزارش‌شده و محدودیت اطلاعات

طبق چکیده مقاله، ارزیابی روی معیارهای تولید متن شخصی‌سازی‌شده نشان داده است که GAP-DPO در وفاداری به سبک کاربر، هم‌خوانی با ترجیحات و کیفیت تولید، به‌طور پیوسته از گونه‌های استاندارد DPO بهتر عمل می‌کند. چکیده، جزئیات عددی آزمایش‌ها یا نام معیارها را ارائه نمی‌دهد؛ بنابراین نمی‌توان اندازه این بهبودها را از اطلاعات منتشرشده در این خلاصه مشخص کرد.

نتیجه اصلی مقاله این است که انتخاب جفت‌های ترجیحی باید بخشی از طراحی خودِ بهینه‌سازی باشد، نه یک مرحله ابتکاری و جداگانه پیش از آموزش. این دیدگاه می‌تواند به پژوهش‌های بعدی کمک کند تا در کنار تابع آموزش، نحوه گزینش داده‌های ترجیحی را نیز برای هر کاربر بررسی کنند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای محققان یادگیری ماشین و تیم‌هایی اهمیت دارد که روی دستیارهای زبانی شخصی‌سازی‌شده کار می‌کنند. برای این گروه‌ها، پیام مقاله آن است که کیفیت شخصی‌سازی فقط به مدل یا تابع آموزش وابسته نیست؛ انتخاب پاسخ‌هایی که مدل از آن‌ها ترجیح را می‌آموزد نیز می‌تواند مسیر بهینه‌سازی را تغییر دهد. با این حال، اطلاعات موجود در چکیده برای سنجش میزان برتری روش در کاربردهای واقعی کافی نیست.