آموزش با رأی نهایی هم می‌تواند شواهد متنی را بهبود دهد

پژوهشی تازه درباره بازیابی شواهد نشان می‌دهد می‌توان یک مدل زبانی کوچک را فقط با رأی نهاییِ ثبت‌شده آموزش داد و درعین‌حال، ارجاع‌های آن به متن را بهبود بخشید؛ بدون آن‌که انسان‌ها بخش‌های پشتیبان هر رأی را برچسب‌گذاری کنند. این مطالعه که در ۷ اکتبر ۲۰۲۶ در arXiv منتشر شده، همچنین هشدار می‌دهد درست‌بودن رأی لزوماً به معنای ارائه شواهد درست و قابل‌بررسی نیست.

بازیابی شواهد بدون برچسب‌گذاری انسانی

در بسیاری از فرایندهای بازبینی، نتیجه یا رأی نهایی نگه‌داری می‌شود، اما بخش‌های متنی‌ای که آن رأی را پشتیبانی می‌کنند علامت‌گذاری نمی‌شوند؛ زیرا ثبت این شواهد هزینه‌برتر از ثبت تصمیم است. پژوهشگران بررسی کردند که یک مدل زبانی کوچک تا چه اندازه می‌تواند با آموزش پسینی بر رأی‌های نهایی، شواهد مرتبط را بازیابی کند.

آزمایش روی مجموعه‌داده ContractNLI انجام شد. بخش‌های شواهدی که انسان‌ها مشخص کرده بودند، در زمان آموزش در اختیار مدل نبودند و فقط هنگام ارزیابی استفاده شدند. به این ترتیب، مطالعه توانایی مدل در بازسازی شواهد را از توانایی آن در پیش‌بینی رأی جدا کرد.

دقت رأی با کیفیت شواهد یکی نیست

پژوهش شش سیستم را مقایسه کرد و دریافت که امتیاز تطبیق رأی مدل با نتیجه ثبت‌شده، ارتباط ضعیفی با میزان توافق آن با بخش‌های شواهد دارد. این دو معیار همچنین سیستم‌ها را به شکل متفاوتی رتبه‌بندی کردند. بنابراین، اگر ارجاع‌ها باید برای بازبینی قابل‌استفاده باشند، دقت رأی به‌تنهایی تصویر کاملی از عملکرد مدل نمی‌دهد.

برای سنجش شواهد، پژوهشگران از امتیاز F1 بخش‌ها استفاده کردند؛ معیاری که میزان هم‌پوشانی بخش‌های انتخاب‌شده توسط مدل و بخش‌های شواهد انسانی را می‌سنجد. آن‌ها همچنین «نقل‌قول دقیق» را بررسی کردند؛ یعنی این‌که آیا متن نقل‌شده با عبارت‌های منبع مطابقت دارد یا نه.

مقایسه دو روش آموزش

در روش برچسب‌محور، مدل با رأی‌های نهایی ثبت‌شده آموزش دید، بدون آن‌که برچسبی درباره شواهد به آن داده شود. این روش به دقت ۰٫۸۹۶ و امتیاز F1 شواهد ۰٫۵۶۴ رسید. سهم نقل‌قول‌های دقیق نیز از مقدار پایه ۰٫۵۹۷ به ۰٫۷۲۹ افزایش یافت.

روش دیگر، نمونه‌گیری ردشده بود: مدل چند مسیر استدلال تولید می‌کرد، مسیرهایی که رأی‌شان با رأی ثبت‌شده مطابقت نداشت کنار گذاشته می‌شدند و از میان بقیه، مسیری با امتیاز خودکارِ بهتر برای اتکا به منبع انتخاب می‌شد. این روش به دقت ۰٫۷۹۷ و F1 شواهد ۰٫۵۵۶ رسید و نقل‌قول دقیق را به ۰٫۷۰۱ رساند. پیش از آموزش، دقت ۰٫۷۴۷، F1 شواهد ۰٫۴۹۳ و نقل‌قول دقیق ۰٫۵۹۷ گزارش شده بود.

نویسندگان تأکید می‌کنند که آزمایش فقط روی یک مجموعه‌داده و با یک بذر تصادفی انجام شده است؛ بنابراین از این نتایج نمی‌توان برتری قطعی یکی از دو روش را نتیجه گرفت. یافته محدودتر این است که هر دو روش، در این آزمایش، شواهد را بدون نیاز به برچسب‌گذاری انسانی بهبود دادند.

این خبر برای چه کسانی اهمیت دارد

این نتیجه برای تیم‌هایی که سامانه‌های زبانی را در بازبینی قراردادها یا کارهای مشابه به کار می‌گیرند، راهی برای کاهش هزینه تولید برچسب‌های شواهد مطرح می‌کند. در عین حال، پژوهش نشان می‌دهد ارزیابی چنین سامانه‌هایی باید علاوه بر درستی رأی، کیفیت و قابلیت بررسی ارجاع‌ها را هم بسنجد.