LoLBench ضعف عامل‌های کدنویس در پروژه‌های بزرگ را می‌سنجد

بنچمارک عامل‌های کدنویس LoLBench توانایی این ابزارها را در فهم پیشنهادهای توسعه و اجرای تغییرات در سامانه‌های نرم‌افزاری بزرگ ارزیابی می‌کند. نتایج این بنچمارک نشان می‌دهد که حتی بهترین عامل از میان ۲۸ نمونه بررسی‌شده، فقط ۱۴ درصد وظایف را حل کرده است؛ موضوعی که فاصله میان تولید کد و انجام تغییرات پیچیده در پروژه‌های واقعی را برجسته می‌کند.

آزمونی از پیشنهاد توسعه تا پیاده‌سازی

بسیاری از بنچمارک‌های کدنویسی، توانایی عامل را در تولید تغییر درست بر اساس یک مشخصات فنی آماده می‌سنجند. اما در توسعه نرم‌افزار، کار همیشه با دستورالعمل دقیق شروع نمی‌شود: عامل باید ابتدا قصد کاربر و طرح کلی تغییر را بفهمد، آن‌ها را به نیازهای مشخص تبدیل کند و سپس کد را اصلاح کند.

پژوهشگران LoLBench را برای ارزیابی این فرایند کامل معرفی کرده‌اند؛ از آنچه مقاله «توانایی ادراک» می‌نامد، یعنی فهم خواسته و یافتن بخش‌های مرتبط پروژه، تا توانایی پیاده‌سازی. این بنچمارک چندزبانه ۱۰۰ وظیفه را در ۲۹ سامانه نرم‌افزاری و پنج حوزه در بر می‌گیرد. هر وظیفه بر پایه پیشنهادی برای بهبود نرم‌افزار طراحی شده که انسان آن را نوشته و شامل قصد کاربر و طرح کلی تغییر است.

عامل‌های کدنویس در مخزن‌های بزرگ

اندازه وظایف، LoLBench را از آزمون‌های ساده‌تر کدنویسی متمایز می‌کند. پیشنهادها به‌طور میانگین حدود ۵۰۰۰ واژه دارند و سامانه‌های مورد بررسی به‌طور متوسط شامل ۲.۴ میلیون خط کد منبع هستند. درخواست‌های ادغام مرجع نیز به‌طور میانگین حدود ۵۵۰۰ خط کد را تغییر می‌دهند. درخواست ادغام یا PR، مجموعه‌ای از تغییرات پیشنهادی در پروژه است که برای بررسی و اضافه‌شدن به کد اصلی ارائه می‌شود.

در ارزیابی ۲۸ عامل، بهترین نمونه فقط ۱۴ درصد وظایف را به‌طور کامل حل کرد. این عامل همچنین در سنجه Fail-to-Pass به نرخ ۵۲.۷ درصد رسید؛ سنجه‌ای که عبور از وضعیت ناموفق به موفق را دنبال می‌کند. در مجموع، اعداد گزارش‌شده نشان می‌دهند انجام تغییرات گسترده در یک مخزن واقعی همچنان دشوار است.

مکان‌یابی کد، گلوگاه اصلی

به گفته پژوهشگران، بررسی موارد شکست نشان داده است که عامل‌ها اغلب نمی‌توانند همه فایل‌ها و بخش‌های مرتبط با یک تغییر را به‌درستی پیدا کنند. این مسئله می‌تواند پیش از مرحله نوشتن کد مانع پیشرفت شود: اگر عامل تصویر کاملی از محل اثرگذاری تغییر نداشته باشد، پیاده‌سازی آن نیز ممکن است ناقص بماند.

پژوهشگران در آزمایش‌های خود، درخت فایل‌های استخراج‌شده از نسخه مرجع پروژه و مشخصات API را در اختیار عامل‌ها گذاشتند. API یا رابط برنامه‌نویسی کاربردی، راه‌های تعریف‌شده برای ارتباط میان بخش‌های نرم‌افزار است. با این اطلاعات، نرخ حل وظایف ۱۶ تا ۲۲ واحد درصد افزایش یافت و در بهترین حالت به ۳۴ درصد رسید. مقاله همچنین این بهبود را در مقایسه با وضعیت پایه، معادل ۲.۴ تا ۱۷ برابر گزارش می‌کند.

این نتایج به‌معنای حل‌شدن مسئله نیست: حتی با اطلاعات کمکی، بیشترین نرخ گزارش‌شده برای حل وظایف ۳۴ درصد بود. جمع‌بندی پژوهش این است که عامل‌های کدنویس برای کار در پروژه‌های ماژولار و بزرگ، هم باید خواسته‌ها را درست تفسیر کنند و هم بتوانند تغییرات را کامل پیاده‌سازی کنند.

این خبر برای چه کسانی اهمیت دارد

نتایج LoLBench برای تیم‌هایی اهمیت دارد که از عامل‌های هوش مصنوعی در نگهداری و توسعه مخزن‌های بزرگ نرم‌افزاری استفاده می‌کنند. این ارزیابی یادآور می‌شود که سنجش توانایی چنین ابزارهایی تنها با آزمون تولید کد بر پایه مشخصات دقیق کافی نیست؛ فهم درخواست مبهم‌تر و یافتن همه بخش‌های مرتبط پروژه نیز بخشی از کار واقعی است.