IndustryLLM؛ مدلی برای خرید صنعتی با آموزش مبتنی بر خطا

پژوهشی تازه در arXiv از معرفی IndustryLLM خبر می‌دهد؛ یک مدل زبانی بازوزن که برای کمک به خرید صنعتی آموزش دیده است. این مدل قرار است درخواست‌هایی را که با اصطلاحات عامیانه یا اطلاعات ناقص نوشته شده‌اند، به داده‌های بازار و معیارهای مهندسی پیوند دهد. بنا بر نتایج گزارش‌شده در مقاله، آزمایش‌های آنلاین این سامانه با افزایش شاخص خرید ناخالص و رضایت از پاسخ‌ها و هم‌زمان با کاهش زمان پاسخ‌گویی همراه بوده‌اند.

مدلی برای فاصله میان زبان خریدار و مشخصات فنی

خرید صنعتی فقط به یافتن کالایی با نامی مشخص محدود نیست. خریدار ممکن است از اصطلاحات رایج در محیط کار استفاده کند، در حالی که اطلاعات بازار به شکل ویژگی‌های فنی محدود ثبت شده باشد. از سوی دیگر، انتخاب محصول باید با استانداردهای مهندسی و محدودیت‌های ایمنی سازگار باشد. مقاله این فاصله میان زبان غیررسمی، اطلاعات پراکنده و استانداردهای رسمی را مسئله‌ای می‌داند که مدل‌های زبانی عمومی ممکن است در آن دچار خطا شوند.

IndustryLLM برای این کاربرد از Qwen3.5-35B-A3B-Base ساخته شده است. این مدل در مجموع ۳۵ میلیارد پارامتر دارد، اما بنا بر توضیح مقاله، حدود ۳ میلیارد پارامتر برای پردازش هر توکن فعال می‌شود. توکن واحدهای متنی کوچکی است که مدل هنگام پردازش متن با آن‌ها کار می‌کند. رمزگذار بینایی مدل نیز در فرایند آموزش توصیف‌شده ثابت نگه داشته شده است.

آموزش بر پایه داده‌های صنعتی و خطاهای واقعی

به‌جای تکیه صرف بر افزایش حجم متن عمومی، پژوهشگران روشی مبتنی بر شناسایی و اصلاح خطاها پیشنهاد کرده‌اند. این روش دو مرحله دارد: پیش‌آموزش تکمیلی (CPT)، یعنی ادامه آموزش مدل با داده‌های تخصصی، و تنظیم دقیق نظارت‌شده (SFT)، یعنی آموزش آن با نمونه‌هایی همراه با پاسخ یا رفتار مطلوب.

مجموعه داده مرحله پیش‌آموزش تکمیلی حدود ۱۰۰ میلیارد توکن برآورد شده است. طبق چکیده مقاله، این مجموعه شامل ۵ میلیارد توکن از استانداردهای ملی مانند GB/T و آرشیوهای فنی، ۱۰ میلیارد توکن از سوابق ناشناس‌سازی‌شده معاملات و پرس‌وجوهای صنعتی، و ۶۰ میلیارد توکن متن عمومی برای حفظ توانایی‌های پایه مدل است.

در بخش دیگری از کار، پژوهشگران زیرمجموعه‌ای تخصصی با حجم برآوردی ۲۰ میلیارد توکن را بازسازی کرده‌اند. این کار با بازنویسی داده‌ها در چندین گونه زبانی و سبک نوشتاری، ویرایش محدود واقعیت‌ها با توجه به میزان اطمینان، و تولید پرسش‌وپاسخ برای هدف‌گرفتن خطاها انجام شده است. در مثال‌های مقاله، شکل نادرست یا محاوره‌ای «42-luo-mu» به «42CrMo» تبدیل می‌شود و کد مبهم «16674» به استاندارد «GB/T 16674» گسترش می‌یابد. مقاله همچنین به روشن‌کردن مشخصات ابعادی متناقض اشاره می‌کند.

کنترل شواهد و نتایج ارزیابی

برای استفاده در سامانه‌های خرید، پژوهش یک رابط ارزیابی مبتنی بر شواهد را نیز توصیف می‌کند. این رابط از منطق سه‌ارزشی استفاده می‌کند: یک ادعا می‌تواند تأییدشده، ردشده یا هنوز نامعلوم باشد. هدف این است که نبودِ مدرک درباره یک ویژگی محصول، به‌اشتباه به‌معنای تأیید آن ویژگی تلقی نشود.

در ارزیابی آفلاینِ ساختاربندی پرس‌وجوهای خرید، مقاله برای حالت No-Think از بهبود ۲٫۹۷ واحد درصدی در معیار تطبیق دقیق خبر می‌دهد. بازه اطمینان ۹۵درصدی این نتیجه، طبق گزارش، از ۲٫۱۱ تا ۳٫۸۶ واحد درصد است. تطبیق دقیق می‌سنجد که خروجی مدل تا چه اندازه با پاسخ مورد انتظار یکسان است.

مقاله همچنین نتایج آزمایش‌های آنلاین تصادفی A/B را در محیط تولید گزارش می‌کند. در این آزمون‌ها، GMV یا ارزش ناخالص کالاهای فروخته‌شده ۴٫۲۵ درصد افزایش یافته و تعداد پرس‌وجوهایی که کاربران از پاسخشان رضایت داشته‌اند ۸٫۳ درصد بیشتر شده است. زمان پاسخ‌گویی نیز از ۶ تا ۷ ثانیه به ۱٫۵ ثانیه کاهش یافته است. این ارقام، نتایج گزارش‌شده در همان پژوهش‌اند و به‌تنهایی درباره عملکرد مدل در همه محیط‌های خرید صنعتی حکم قطعی نمی‌دهند.

انتشار مدل و دامنه کاربرد

پژوهشگران اعلام کرده‌اند وزن‌ها و پیکربندی‌های IndustryLLM را منتشر کرده‌اند. انتشار این اجزا امکان بررسی و استفاده از مدل را برای دیگران فراهم می‌کند، اما چکیده موجود اطلاعات بیشتری درباره شرایط دسترسی، مجوز استفاده یا جزئیات پیاده‌سازی ارائه نمی‌دهد.

وجه متمایز کار، تمرکز بر دشواری‌هایی است که در کاربرد تخصصی مدل‌های زبانی اهمیت عملی دارند: تشخیص اصطلاحات محاوره‌ای، رفع ابهام کدها و حفظ احتیاط در برابر اطلاعات تأییدنشده. نتایج گزارش‌شده امیدوارکننده‌اند، اما ارزیابی مستقل و اطلاعات بیشتر درباره دامنه آزمون‌ها برای سنجش تعمیم‌پذیری آن‌ها اهمیت دارد.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای شرکت‌هایی که از سامانه‌های هوش مصنوعی در تأمین و خرید صنعتی استفاده می‌کنند، و نیز برای تیم‌های سازنده مدل‌های تخصصی اهمیت دارد. شیوه آموزش IndustryLLM نشان می‌دهد که در چنین کاربردهایی، آشنایی با اصطلاحات حوزه کافی نیست؛ مدل باید بتواند شواهد فنی را با درخواست خریدار تطبیق دهد و در نبود اطلاعات معتبر، از قطعی جلوه‌دادن پاسخ خودداری کند. با این حال، ارقام عملکرد فعلی باید در کنار محدودیت‌های ارزیابی و شواهد تکمیلی بررسی شوند.