پژوهش: مرزبندی توکن‌ها هزینه فشرده‌سازی را افزایش می‌دهد

مرزبندی توکن‌ها می‌تواند شمار واحدهای لازم برای نمایش متن را به‌طور چشمگیری افزایش دهد؛ پژوهشی تازه در arXiv هزینه‌ی این محدودیت را اندازه‌گیری کرده و نشان داده است که فرهنگ‌واژگانی مناسب برای فشرده‌سازی لزوماً به پیش‌بینی بهتر متن منجر نمی‌شود. نتایج مقاله که در ۳۰ سپتامبر ۲۰۲۶ منتشر شده، راهی برای سنجش این هزینه ارائه می‌کند و مرزگذاری را از کیفیت پیش‌بینی جداگانه بررسی می‌کند.

مرزهای پیش‌پردازش چه هزینه‌ای دارند؟

در مدل‌های زبانی، متن معمولاً پیش از ورود به مدل به واحدهایی به نام توکن تبدیل می‌شود. مرحله‌ی پیش‌توکن‌سازی ممکن است با قواعدی مانند عبارت‌های منظم، متن را در مرزهای مشخصی ببرد. در این حالت، واژگان توکن‌ساز نمی‌تواند هر قطعه‌ی ممکن از متن را به‌عنوان یک واحد انتخاب کند؛ برخی توکن‌ها اجازه ندارند از مرزهای از پیش تعیین‌شده عبور کنند.

نویسندگان مقاله می‌گویند هزینه‌ی این محدودیت زمانی پنهان می‌ماند که توکن‌سازها فقط با همان مرزها مقایسه شوند. برای آشکارکردن آن، حداقل شمار توکن‌های لازم را هم در حالت دارای قاعده‌ی مرزی و هم بدون آن، از دو سو محدود کرده‌اند. این کران‌ها راهی برای مقایسه‌ی هزینه‌ی مرزبندی با حالتی فراهم می‌کند که توکن‌ساز آزادی بیشتری در انتخاب قطعات متن دارد.

برای ساخت گواهی‌های این کران‌ها، پژوهشگران به هر رخداد توکن یک قیمت نامنفی نسبت می‌دهند و از مسئله‌ی کوتاه‌ترین مسیر برای به‌دست‌آوردن حد پایین استفاده می‌کنند. انتخاب واژگان نیز با درنظرگرفتن بودجه‌ی محدود آن انجام می‌شود. به گفته‌ی مقاله، بیشینه‌سازی روی قیمت‌های ممکن، رهایی خطی مسئله را بازسازی می‌کند؛ یک بررسی‌گر عددصحیح مستقل هم مقادیر گزارش‌شده را تأیید می‌کند.

مرزبندی توکن‌ها و تفاوت در شمار توکن‌ها

در متن‌های ویکی‌پدیای انگلیسی، اعمال مرزها شمار بهینه‌ی توکن‌ها را بین ۲۸٫۳ تا ۳۶٫۸ درصد افزایش داده است. این نتیجه نشان می‌دهد که محدودکردن قطعات مجاز در توکن‌سازی فقط یک انتخاب فنی خنثی نیست و می‌تواند مقدار متنی را که مدل باید برای نمایش محتوا پردازش کند، تغییر دهد.

مقاله همچنین کدگذاری جفت‌شده‌ی بایت (BPE)، یکی از روش‌های رایج ساخت توکن، را با کران‌های محاسبه‌شده مقایسه می‌کند. شمار توکن‌های BPE در این بررسی ۲٫۱ درصد بالاتر از کران پایینِ حالتی بود که مرزها حفظ می‌شدند؛ در مقایسه با کران پایینِ حالت بدون محدودیت مرزی، فاصله به ۱۰٫۹ درصد می‌رسید. این اختلاف‌ها هزینه‌ی باقی‌مانده نسبت به هر یک از دو حالت مقایسه را نشان می‌دهند، نه اینکه BPE در همه‌ی کاربردها به همان اندازه ضعیف‌تر باشد.

فشرده‌سازی کمتر به معنای پیش‌بینی بهتر نیست

پژوهشگران جدا از شمار توکن‌ها، کیفیت پیش‌بینی مدل را نیز آزموده‌اند. آن‌ها مدل‌هایی با ۸۵ میلیون پارامترِ غیرِتعبیه‌ای را با بودجه‌ی آموزشی همسان از نظر تعداد توکن مقایسه کردند. در ارزیابی از بیت بر بایت استفاده شد؛ این معیار مقدار اطلاعات لازم برای پیش‌بینی متن را می‌سنجد و مقدار بالاتر آن در این مقایسه به معنای هزینه‌ی پیش‌بینی بیشتر است.

طبق گزارش مقاله، برازش واژگان بدون محدودیت مرزی در آزمون جفت‌شده، در هر ۱۲ زبانِ بررسی‌شده میانگین بیت بر بایت بالاتری داشت. وقتی تنظیم و ارزیابی مستقل انجام شد، این نتیجه در ۱۱ زبان از ۱۲ زبان باقی ماند. بنابراین، واژگانی که به کاهش شمار توکن‌ها کمک می‌کند الزاماً همان واژگانی نیست که برای پیش‌بینی متن مناسب‌تر است. این یافته بر تفاوت میان دو هدف تأکید دارد: فشرده‌کردن متن و پیش‌بینی واحدهای بعدی آن.

راه میانه با «مجوزهای مرزی»

برای بررسی سیاست‌های میانی، مقاله روشی به نام «مجوزهای مرزی» معرفی می‌کند. این روش تعیین می‌کند چه سهمی از مدخل‌های واژگان اجازه دارند از مرزهای پیش‌پردازش عبور کنند و همان نوع گواهی ریاضی برای سنجش نتیجه را می‌پذیرد.

در داده‌های جداگانه‌ی انگلیسی و چینی، اختصاص ۱۰ درصد بودجه‌ی واژگان به این مجوزها، به‌ترتیب ۸۵٫۲ درصد و ۱۰۰ درصد از کاهش شمار توکن‌هایی را بازیابی کرد که با حذف کامل مرزها به دست آمده بود. این ارقام به همان پیکربندی‌ها و مجموعه‌های برازش گزارش‌شده در پژوهش مربوط‌اند و به‌تنهایی نشان نمی‌دهند که یک سهم ثابت برای همه‌ی زبان‌ها یا مدل‌ها بهترین انتخاب است.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای پژوهشگران توکن‌سازی، طراحان مدل‌های زبانی و کسانی اهمیت دارد که هزینه‌ی آموزش یا پردازش متن را بررسی می‌کنند. نتیجه‌ی اصلی آن این است که مرزهای پیش‌پردازش می‌توانند شمار توکن‌ها را بالا ببرند، اما حذف این محدودیت هم لزوماً کیفیت پیش‌بینی را بهتر نمی‌کند. سنجش جداگانه‌ی فشرده‌سازی و پیش‌بینی می‌تواند به تصمیم‌گیری دقیق‌تر درباره‌ی ساخت واژگان و قواعد توکن‌سازی کمک کند.