NVIDIA مدل جدولی Kumo را با ادعای دقت و کارایی بالا عرضه کرد

NVIDIA در ۲۹ سپتامبر ۲۰۲۶ مدل Kumo Tabular را به‌عنوان یک مدل بنیادین برای پیش‌بینی روی داده‌های جدولی در Hugging Face منتشر کرد. این مدل برای دو کار رایج یادگیری ماشین، یعنی طبقه‌بندی و رگرسیون، طراحی شده و به‌گفتهٔ شرکت می‌تواند با دیدن ردیف‌های برچسب‌دار یک جدول، برچسب ردیف‌های تازه را در یک گذر پیش‌بینی کند؛ بدون آن‌که برای هر مسئله جداگانه آموزش ببیند، تنظیم شود یا به مهندسی ویژگی نیاز داشته باشد. انتشار مدلی که چنین کاری را وعده می‌دهد، می‌تواند بخشی از روند وقت‌گیر ساخت مدل‌های اختصاصی برای داده‌های سازمانی را کوتاه کند؛ هرچند دقت آن همچنان باید روی داده‌های واقعی هر کاربرد سنجیده شود.

مدلی برای پیش‌بینی از روی جدول

داده‌های جدولی در بسیاری از کاربردهای سازمانی حضور دارند: از تراکنش‌ها و سوابق مشتریان گرفته تا سفارش‌ها، حسگرها و پرونده‌های بیمه. پیش‌بینی ریزش مشتری، احتمال نکول، تقاضا یا قیمت از نمونه‌های مسئله‌هایی است که معمولاً با این داده‌ها حل می‌شوند. در روش متداول، برای هر مسئله باید دادهٔ برچسب‌دار آماده کرد، ویژگی‌ها را طراحی کرد، تنظیمات مدل را آزمود و سامانه را ارزیابی و مستقر کرد.

NVIDIA می‌گوید Kumo Tabular این روند را با یادگیری در متنِ داده‌ها تغییر می‌دهد. در این شیوه که «یادگیری در متن» نام دارد، مدل از نمونه‌های برچسب‌دارِ همراه با درخواست، الگوی مسئله را می‌آموزد و بدون به‌روزرسانی وزن‌هایش برای همان مسئله خروجی می‌دهد. کاربر، در عمل، ردیف‌های دارای پاسخ را به مدل می‌دهد و از آن می‌خواهد پاسخ ردیف‌های بدون برچسب را پیش‌بینی کند.

این مدل در سه اندازهٔ کوچک، متوسط و بزرگ ارائه شده و تعداد پارامترهای آن از ۲۸ میلیون تا ۲۱۵ میلیون متغیر است. پارامترها مقادیر داخلی‌ای هستند که مدل در فرایند پیش‌آموزش یاد می‌گیرد. مدل برای طبقه‌بندی احتمال تعلق هر ردیف به کلاس‌ها را برمی‌گرداند و برای رگرسیون، که هدف آن پیش‌بینی یک مقدار عددی است، خروجی عددی و برآوردی از عدم‌قطعیت فراهم می‌کند. استفاده از کتابخانهٔ متن‌باز NVIDIA برای اجرای مدل در نظر گرفته شده است و وزن‌های آن در Hugging Face قرار دارند.

مدل چگونه ساختار جدول را پردازش می‌کند؟

در توضیح NVIDIA، Kumo Tabular یک Transformer است که توجه را متناسب با ساختار ردیف‌ها و ستون‌های جدول به کار می‌گیرد. «توجه» سازوکاری است که به مدل کمک می‌کند هنگام پردازش، بخش‌های مرتبط ورودی را در نظر بگیرد. معماری آن از ایده‌هایی دربارهٔ توجه به ستون، ردیف و نمونه‌های زمینه‌ای استفاده می‌کند؛ رویکردهایی که در TabICL و TabPFN نیز به کار رفته‌اند.

در گام نخست، مقادیر سلول‌ها به نمایش‌هایی تبدیل می‌شوند که مدل بتواند پردازش کند. برای داده‌های عددی و دسته‌ای، روش‌های جداگانه‌ای به کار می‌رود و مقادیر گمشده نیز به‌شکل ویژه مدیریت می‌شوند؛ بنابراین به‌گفتهٔ شرکت، برای این مقادیر نیازی به جایگزینی یا «درون‌یابی» پیش از ورود به مدل نیست. برچسب‌های ردیف‌های زمینه نیز به نمایش هر نمونه افزوده می‌شود.

سپس مدل روابط درون ستون‌ها و میان ستون‌های هر ردیف را می‌سنجد. توجه ستونی می‌تواند به مدل کمک کند بفهمد یک مقدار در مقایسه با توزیع همان ستون عادی است یا دور از انتظار؛ توجه ردیفی نیز ارتباط میان ویژگی‌های مختلف یک نمونه را بررسی می‌کند. در مرحلهٔ بعد، Transformer نهایی ردیف‌های برچسب‌دار را به‌عنوان زمینه به کار می‌گیرد. ردیف‌های مورد پیش‌بینی به ردیف‌های زمینه توجه می‌کنند، اما خودِ آن‌ها زمینهٔ پیش‌بینی دیگر ردیف‌ها نمی‌شوند. NVIDIA می‌گوید این طراحی اجازه می‌دهد محاسبات مربوط به زمینه برای پیش‌بینی‌های بعدی دوباره استفاده شود.

برای رگرسیون، مدل به‌جای تولید تنها یک عدد، ۹۹۹ چندک را برآورد می‌کند. چندک‌ها نمایی از جایگاه یک مقدار در توزیع احتمالی‌اند و می‌توانند به تولید پیش‌بینی نقطه‌ای و سنجش عدم‌قطعیت کمک کنند. شرکت همچنین سازوکاری به نام «دمای توجه متناسب با طول» را معرفی کرده است؛ روشی برای حفظ تمرکز سازوکار توجه وقتی تعداد ردیف‌ها یا کلیدهای ورودی بیشتر می‌شود.

پیش‌آموزش با جدول‌های مصنوعی

Kumo Tabular فقط با داده‌های مصنوعی پیش‌آموزش دیده است. بر اساس توضیحات NVIDIA، جدول‌های آموزشی با نمونه‌گیری از مدل‌های علّی ساختاری ساخته می‌شوند. در این روش، متغیرهای پنهان و روابط میان آن‌ها با یک گراف تصادفی مشخص می‌شوند و تابع‌هایی مانند نگاشت‌های خطی، شبکه‌های عصبی کوچک، درخت‌ها یا فرایندهای گاوسی برای تولید داده به کار می‌روند. بخشی از متغیرها به ستون‌های قابل مشاهده و یکی از آن‌ها به متغیر هدف تبدیل می‌شود؛ بقیه نقش عوامل پنهان را دارند.

هدف از تنوع این جدول‌های ساختگی، روبه‌رو کردن مدل با الگوها و دشواری‌های گوناگون است. NVIDIA می‌گوید مولد داده، مقادیر گمشده، ستون‌های دسته‌ای با تعداد سطح زیاد، داده‌های پرت و هدف‌های رگرسیونی با توزیع‌های دنباله‌سنگین را نیز شبیه‌سازی می‌کند. برخی ویژگی‌ها عمداً کم‌جزئیات‌تر می‌شوند تا حتی ردیف‌های مشابه نیز گاهی برچسب یکسانی نداشته باشند. پیش از استفاده از هر جدول، یک بررسی سریع با مجموعه‌ای از درخت‌ها انجام می‌شود تا جدول‌های فاقد نشانهٔ قابل یادگیری کنار گذاشته شوند.

در زمان آموزش، مدل بیشتر ردیف‌های هر جدول را با برچسب به‌عنوان زمینه می‌بیند و باید برچسب ردیف‌های باقی‌مانده را حدس بزند. آموزش طبقه‌بندی و رگرسیون جداگانه انجام شده است. طبق گزارش شرکت، مرحلهٔ نخست با جدول‌هایی تا ۱۰۰ ستون و ۱٬۰۲۴ ردیف آغاز می‌شود؛ در مرحلهٔ بعد تعداد ردیف‌های زمینه از ۴۰۰ تا ۱۰٬۲۴۰ تغییر می‌کند و مرحلهٔ سوم آن را تا ۶۰٬۰۰۰ ردیف افزایش می‌دهد. نسخه‌های کوچک، متوسط و بزرگ به‌ترتیب با حدود ۳۵، ۷۱ و ۱۳۷ میلیون جدول مصنوعی آموزش دیده‌اند. NVIDIA اعلام کرده است دستورالعمل آموزش و مولدهای دادهٔ مصنوعی را بعداً منتشر می‌کند.

نتایج ارزیابی و محدودیت‌ها

NVIDIA می‌گوید هر سه اندازهٔ Kumo Tabular را با تنظیمات پیش‌فرض در TabArena ارزیابی کرده و این مدل در جدول رتبه‌بندی کلی به امتیاز ELO برابر با ۱۹۵۰ رسیده است. ELO در اینجا امتیازی برای مقایسهٔ عملکرد مدل‌هاست. بنچمارک یادشده مدل‌های درختی تنظیم‌شده، AutoGluon و مدل‌های بنیادین جدولی تازه‌تر را دربر می‌گیرد. شرکت همچنین عملکرد مدل را در BeyondArena، TALENT و ScoringBench سنجیده و مدعی شده است Kumo Tabular در هر چهار بنچمارکِ ذکرشده جایگاه نخست را دارد. این‌ها نتایجی هستند که سازنده گزارش کرده و ارزیابی مستقل یا عملکرد روی داده‌های هر سازمان را جایگزین نمی‌کنند.

طبق گزارش، Kumo Tabular در BeyondArena امتیاز ELO برابر با ۱۴۱۸ و امتیاز بهبودپذیری ۷٫۷۸ درصد گرفته است. در TALENT، شرکت از رتبهٔ کلی برتر در معیارهای دقت طبقه‌بندی، خطای لگاریتمی طبقه‌بندی و RMSE رگرسیون خبر می‌دهد. در ScoringBench نیز نسخه‌های بزرگ و متوسط در رتبه‌های نخست و دومِ میانگین قرار گرفته‌اند. NVIDIA علاوه بر دقت، بر کارایی مدل هم تأکید دارد و می‌گوید Kumo Tabular در ارزیابی TabArena در مقایسه با LimiX-2 سریع‌تر بوده است؛ بااین‌حال متن منبع ضریب یا میزان دقیق این اختلاف سرعت را مشخص نمی‌کند.

مدل محدودیت‌هایی هم دارد. ورودی مستقیم آن به ستون‌های عددی و دسته‌ای محدود است؛ متن، تصویر و زمان‌مُهر باید با روش‌های پیش‌پردازش به ویژگی تبدیل شوند. هر گذر مدل حداکثر ۱۰ کلاس را پوشش می‌دهد و کتابخانهٔ همراه، به‌گفتهٔ شرکت، با کدهای خروجیِ تصحیح خطا امکان کار با تعداد کلاس بیشتر را فراهم می‌کند. همچنین دقت ممکن است در جدول‌هایی که بسیار بزرگ‌تر یا متفاوت‌تر از محدودهٔ آموزشی‌اند، یا وقتی توزیع ردیف‌های پیش‌بینی با ردیف‌های زمینه فرق دارد، کاهش یابد. NVIDIA توصیه می‌کند کاربران پیش از استقرار، دقت و کالیبراسیون مدل را روی داده‌های جداگانهٔ خود بررسی کنند. کالیبراسیون یعنی میزان انطباق احتمال‌های اعلام‌شده با فراوانی واقعی نتیجه‌ها.

مدل با مجوز OpenMDW-1.1 عرضه شده است و NVIDIA استفادهٔ تجاری را مجاز اعلام می‌کند. بااین‌حال، استفاده از مجوز و رعایت شرایط آن همچنان بخشی از تصمیم‌گیری برای به‌کارگیری مدل است. شرکت همچنین مسئولیت ارزیابی تناسب مدل با صنعت و کاربرد مشخص و توجه به خطرهای احتمالی را بر عهدهٔ تیم‌های استفاده‌کننده می‌داند.

این خبر برای چه کسانی اهمیت دارد

Kumo Tabular برای تیم‌های داده و یادگیری ماشین اهمیت دارد، چون وعده می‌دهد بخشی از کارهای تکراری ساخت مدل‌های جدولی را با پیش‌بینی از روی نمونه‌های برچسب‌دار کاهش دهد. برای سازمان‌هایی که داده‌هایشان عمدتاً در قالب جدول است، مدل می‌تواند گزینه‌ای برای آزمایش در کنار روش‌های جاافتاده‌ای مانند درخت‌های تقویتی باشد. پژوهشگران نیز می‌توانند آن را در ارزیابی مدل‌های بنیادین جدولی بررسی کنند. بااین‌حال، رتبه‌های اعلام‌شده در بنچمارک‌ها به‌تنهایی تضمین نمی‌کنند مدل در هر مجموعه‌داده‌ای بهتر عمل کند؛ آزمون روی داده‌های واقعی، سنجش عدم‌قطعیت و بررسی مجوز و الزامات کاربرد همچنان ضروری است.