پژوهش: بودجه شِما در Text-to-SQL از نوع نمایش مهم‌تر است

پژوهش درباره بودجه شِمای پایگاه‌داده در Text-to-SQL نشان می‌دهد که در بعضی شرایط، مقدار اطلاعات ساختاریِ در اختیار مدل از شیوه نمایش آن مهم‌تر است. مطالعه‌ای با معرفی ابزار ارزیابی BudgetSchemaBench بررسی می‌کند مدل‌های زبانی هنگام تبدیل پرسش متنی به پرس‌وجوی پایگاه‌داده، چگونه باید میان پوشش جدول‌های بیشتر و ارائه جزئیات شِما در یک بودجه محدود انتخاب کنند.

چرا بودجه شِما اهمیت دارد؟

عامل‌های داده برای پاسخ‌گویی به پرسش‌ها از پایگاه‌های داده ساخت‌یافته استفاده می‌کنند و باید شِمای مربوط به آن‌ها را در پنجره متنی مدل جا دهند. شِما، در این کاربرد، توصیفی از ساختار پایگاه‌داده است؛ از جمله نام جدول‌ها و ستون‌ها. وقتی کاتالوگ داده شامل چندین پایگاه‌داده و هزاران ستون باشد، ارائه همه این اطلاعات ممکن است با محدودیت هزینه روبه‌رو شود؛ حتی پیش از آن‌که کل پنجره متنی مدل پر شود.

در چنین وضعیتی، سامانه باید تصمیم بگیرد جدول‌های بیشتری را در اختیار مدل بگذارد یا جزئیات بیشتری از ساختار جدول‌های انتخاب‌شده ارائه کند. پژوهشگران BudgetSchemaBench را برای سنجش این انتخاب طراحی کرده‌اند. این معیار، به‌جای تکیه بر برچسب‌گذاری انسانی یا خروجی تولیدشده با مدل زبانی، ارتباط جدول‌ها را به‌صورت مکانیکی و بر اساس پرس‌وجوی SQL مرجع تعیین می‌کند.

آزمایش روی ۸۰ پایگاه‌داده

ارزیابی با کاتالوگی ترکیبی از ۸۰ پایگاه‌داده انجام شده است. پژوهشگران چهار سطح بودجه برای شِما را آزموده‌اند و سه روش نمایش را با هم سنجیده‌اند؛ در این مقایسه، رتبه‌بندی جدول‌ها به‌وسیله هر بازیاب ثابت نگه داشته شده است. به این ترتیب، مطالعه می‌تواند اثر بودجه و قالب ارائه شِما را جداگانه بررسی کند.

آزمایش سه وضعیت دارد: بازیابی سرتاسری، حالتی که در آن جدول‌های موردنیاز از پیش تضمین شده‌اند، و یک آزمون کاوشی که همان جدول‌های لازم را حذف می‌کند. همچنین یک بررسیِ فضای نام منبع، پاسخ‌هایی را رد می‌کند که نتیجه درست را از پایگاه‌داده اشتباه به دست آورده باشند. این کنترل اهمیت دارد، چون درست‌بودن خروجی به‌تنهایی تضمین نمی‌کند مدل از منبع داده موردنظر استفاده کرده باشد.

افزایش بودجه برای بازیابی واژگانی مؤثرتر بود

در آزمایش حل‌گر اصلی با نمایش خام شِما، افزایش بودجه از ۲٫۵ درصد به ۵۰ درصد کاتالوگ، دقت اجرا را در ۱٬۲۷۹ پرسش آزمایشیِ کنارگذاشته‌شده برای بازیابی واژگانی ۱۸ واحد درصد بالا برد. در بازیابی چگال، بهبود متناظر فقط ۳ واحد درصد بود. به گفته پژوهشگران، بازیاب چگال در کمترین بودجه هم بیشتر جدول‌های ضروری را پیدا می‌کرد؛ بنابراین گسترش بودجه اثر کمتری داشت.

در وضعیتی که جدول‌های لازم از ابتدا تضمین شده بودند، تفاوت سه روش نمایش شِما برای دو حل‌گر اصلی حداکثر ۲ واحد درصد بود. بازه اطمینان ۹۵ درصدیِ گسترده‌تر نیز اختلاف را در محدوده مثبت یا منفی ۴ واحد درصد نگه داشت. پژوهشگران همین الگوهای کلی را با یک مدل استدلالی از خانواده‌ای دیگر هم مشاهده کردند؛ اما این نتیجه به‌تنهایی به معنای برتری همیشگی یک روش یا مدل نیست.

در آزمونی که جدول‌های لازم حذف شده بودند، ۹۴٫۶ درصد پیش‌بینی‌های درست دست‌کم نام یکی از آن جدول‌ها را دقیقاً ذکر می‌کردند. نویسندگان این مشاهده را سازگار با بازسازی اطلاعات شِمای غایب از دانش درونی مدل می‌دانند؛ نتیجه‌ای که باید در چارچوب همان آزمون تفسیر شود، نه به‌عنوان تضمینی برای بازیابی درست ساختار در همه سامانه‌ها.

این خبر برای چه کسانی اهمیت دارد

نتیجه اصلی برای سازندگان عامل‌های داده و سامانه‌های Text-to-SQL این است که وقتی بازیابی جدول‌ها محدودیت اصلی باشد، افزایش بودجه شِما ممکن است از تغییر قالب نمایش آن اثرگذارتر باشد. در مقابل، اگر بازیاب از همان بودجه اندک جدول‌های لازم را پیدا کند، افزایش بیشتر اطلاعات ساختاری می‌تواند سود کمتری داشته باشد. بنابراین ارزیابی جداگانه کیفیت بازیابی و شیوه ارائه شِما برای تصمیم‌گیری درباره هزینه و دقت سامانه اهمیت دارد.

BudgetSchemaBench و کد ساخت و ارزیابی آن به‌صورت عمومی در دسترس قرار گرفته‌اند. این ابزار می‌تواند به پژوهشگران و تیم‌های فنی کمک کند اثر محدودیت بودجه را در تنظیمات مختلف Text-to-SQL بسنجند، بدون آن‌که نتیجه را صرفاً به نوع نمایش شِما نسبت دهند.