GPT-6 Astra Ultrafast با پردازنده‌های Blackwell عرضه شد

مدل GPT-6 Astra اکنون در حالت Ultrafast روی GPUهای NVIDIA Blackwell در دسترس است؛ حالتی که به گفته NVIDIA می‌تواند سرعت تولید توکن را تا هشت برابر نسبت به Astra Standard افزایش دهد. OpenAI این قابلیت را از طریق API عرضه کرده و دسترسی به آن برای کاربران واجد شرایط ChatGPT Work و Codex نیز فراهم است. این افزایش سرعت به‌ویژه در فرایندهایی اهمیت دارد که مدل باید بارها میان تولید پاسخ، اجرای ابزار و بررسی نتیجه جابه‌جا شود.

مدل GPT-6 Astra Ultrafast چه تغییری ایجاد می‌کند؟

تفاوت اصلی حالت Ultrafast، کوتاه‌تر کردن زمان انتظار برای تولید پاسخ است. توکن واحدهای کوچک متنی هستند که مدل هنگام پردازش و تولید متن از آن‌ها استفاده می‌کند. طبق مطلب وبلاگ NVIDIA، Ultrafast با بهینه‌سازی‌های استنتاج روی معماری Blackwell به سرعتی تا هشت برابر بالاتر از حالت Astra Standard می‌رسد. استنتاج به مرحله‌ای گفته می‌شود که مدل پس از آموزش، برای پاسخ‌دادن به درخواست کاربر اجرا می‌شود.

این رقم، سرعت تولید توکن را توصیف می‌کند و به‌تنهایی به معنای هشت برابر سریع‌تر شدن همه بخش‌های یک برنامه یا هر نوع کاری نیست. میزان اثرگذاری در عمل به گردش‌کار و نحوه استفاده از مدل بستگی دارد.

اهمیت سرعت برای عامل‌های کدنویسی

به گفته NVIDIA، زمان پاسخ کوتاه‌تر می‌تواند چرخه‌های «ویرایش، آزمایش و اشکال‌زدایی» را برای عامل‌های کدنویسی کاهش دهد. این عامل‌ها برای انجام یک کار ممکن است کد بنویسند، ابزاری را اجرا کنند، نتیجه را بررسی کنند و سپس درباره گام بعدی تصمیم بگیرند. هر بار انتظار برای پاسخ مدل می‌تواند به زمان کل این فرایند اضافه کند؛ بنابراین کاهش تأخیر در گام‌های تکراری، برای کاربردهای تعاملی اهمیت دارد.

Philippe Tillet، مسئول استنتاج در OpenAI، گفته است ابزارها و مستندات NVIDIA به این شرکت کمک کرده‌اند مدل‌هایش را برای برنامه‌نویسی روی GPUهای Blackwell و Rubin بهینه کند. او توضیح داده است که Astra می‌تواند از این دانش برای ساخت «کرنل‌های» پربازده استفاده کند؛ کرنل‌ها بخش‌هایی از نرم‌افزار هستند که عملیات مشخصی را روی سخت‌افزار اجرا می‌کنند. به گفته او، Ultrafast برای پاسخ‌گویی سریع‌تر هنگام کار عامل‌ها با کد و ابزارها طراحی شده است.

بهینه‌سازی پس از عرضه ادامه دارد

NVIDIA می‌گوید OpenAI از مدل‌های داخلی خود برای بهبود نرم‌افزار استنتاجی که روی GPUهای این شرکت اجرا می‌شود استفاده می‌کند. قابلیت برنامه‌پذیری پلتفرم NVIDIA به تیم‌ها امکان می‌دهد تغییرات را آزمایش و پیاده‌سازی کنند؛ در نتیجه، به گفته این شرکت، بهینه‌سازی عملکرد لزوماً با عرضه مدل پایان نمی‌یابد و می‌تواند در ادامه نیز ادامه پیدا کند.

Uday Ruddarraju، مدیر ارشد فناوری بخش رایانش OpenAI، گفته است این شرکت با استفاده از مدل‌های داخلی خود استنتاج را روی GPUهای NVIDIA بهینه کرده و برنامه‌پذیری این پلتفرم در شتاب‌دهی پشت Ultrafast نقش داشته است. متن NVIDIA همچنین به امکان استفاده مجدد از زیرساخت برای آموزش مدل، استنتاج و یادگیری تقویتی اشاره می‌کند؛ رویکردی که می‌تواند به تطبیق منابع رایانشی با تغییر نیازها کمک کند.

این خبر برای چه کسانی اهمیت دارد

عرضه Ultrafast بیش از همه برای توسعه‌دهندگانی اهمیت دارد که از GPT-6 Astra در برنامه‌های تعاملی، عامل‌های کدنویسی یا گردش‌کارهای متکی بر فراخوانی ابزار استفاده می‌کنند. کاهش زمان انتظار میان گام‌های متوالی می‌تواند تجربه کار با این سامانه‌ها را روان‌تر کند، هرچند میزان بهبود نهایی به کاربرد و پیاده‌سازی بستگی دارد. توسعه‌دهندگان می‌توانند از طریق API به این حالت دسترسی داشته باشند؛ طبق اعلام NVIDIA، جزئیات دسترسی، قیمت‌گذاری و پیاده‌سازی در راهنمای Ultrafast ارائه شده است.