فهرست مطالب
- راهنماهای تخصصی برای دسته‌های مختلف مسئله تهیه می‌شوند.
- مدل کوچک هنگام پاسخ‌گویی نزدیک‌ترین راهنما را بازیابی می‌کند.
- در MedQA دقت میانگین ۱۰٫۶ واحد درصد افزایش یافت.
- این روش به تنظیم‌دقیق مدل یا دسترسی لحظه‌ای به مدل معلم نیاز ندارد.
بازیابی دستورالعمل روشی پژوهشی است که می‌تواند بدون تنظیم‌دقیق، عملکرد مدل‌های زبانی کوچک را در پرسش‌های تخصصی بهتر کند. در مقاله‌ای منتشرشده در arXiv، پژوهشگران نشان داده‌اند که این مدل‌ها با بازیابی راهنمایی متناسب با پرسش، در آزمون‌های پزشکی، حقوقی و ریاضی از پاسخ‌گویی بدون راهنما بهتر عمل می‌کنند؛ نتیجه‌ای که می‌تواند استفاده از مدل‌های کوچک‌تر و مناسب برای دستگاه‌های محدود را در کارهای تخصصی آسان‌تر کند.
راهنمای حل مسئله به‌جای متن خام
مدل‌های کوچک معمولاً دانش کمتری را در پارامترهای خود ذخیره می‌کنند؛ همان مقادیری که رفتار و آموخته‌های مدل را شکل می‌دهند. تنظیم‌دقیق برای یک حوزه می‌تواند دانش تخصصی را به مدل اضافه کند، اما به گفته پژوهشگران، این کار باید برای هر مدل و حوزه جداگانه انجام شود. از سوی دیگر، بازیابی یک متن مرتبط به‌تنهایی تضمین نمی‌کند که مدل بتواند نکته درست را پیدا کند یا آن را در یک روند چندمرحله‌ای به کار ببرد.
روش پیشنهادی، دانش یک مدل معلم را به مجموعه‌ای از دستورالعمل‌ها تبدیل می‌کند. برای هر دسته از مسائل یک حوزه، دستورالعمل شامل دانش زمینه‌ای لازم، روال پیشنهادی برای حل آن نوع مسئله و خطاهای رایج است. این مجموعه برای هر حوزه یک بار ساخته می‌شود و هنگام پاسخ‌گویی نیازی به دسترسی زنده به مدل معلم ندارد.
مدل کوچک چگونه از دستورالعمل استفاده می‌کند؟
هنگام دریافت پرسش، مدل کوچک نزدیک‌ترین دستورالعمل را از مجموعه بازیابی می‌کند و آن را در پاسخ‌گویی به کار می‌گیرد. خود مدل ثابت می‌ماند و پارامترهایش تغییر نمی‌کنند؛ بنابراین روش با تنظیم‌دقیق تفاوت دارد. دستورالعمل بازیابی‌شده نیز صرفاً یک متن منبع نیست، بلکه راهنمایی برای چگونگی استفاده از دانش و پرهیز از اشتباه‌های شناخته‌شده است.
نتایج در آزمون‌های پزشکی و حقوقی
طبق چکیده مقاله، این مجموعه دستورالعمل در همه وظایف بررسی‌شده از حالت بدون راهنما نتیجه بهتری داشت. در پزشکی و حقوق نیز از نمونه‌های چندمرحله‌ای، روش خودهمسانی و متن‌های بازیابی‌شده دیگر بهتر عمل کرد. در آزمون MedQA، دقت میانگین با این روش ۱۰٫۶ واحد درصد افزایش یافت؛ در حالی که بازیابی متن‌های کتاب درسی افزایش ۳٫۹ واحد درصدی داشت. نمونه‌های چندمرحله‌ای گرفته‌شده از همان مدل معلم، در این آزمون عملکرد را کاهش دادند.
تحلیل خطاها نشان داد که دانش زمینه‌ای در دستورالعمل‌ها به پرسش‌هایی کمک می‌کند که مدل کوچک همواره در پاسخ‌گویی به آن‌ها اشتباه می‌کند. در مقابل، توضیح مراحل حل و خطاهای رایج بیشتر در پرسش‌هایی مؤثر است که مدل میان چند گزینه مردد است. این نتیجه نشان می‌دهد راهنمایی ساختاریافته ممکن است از افزودن متن مرتبطِ صرف مفیدتر باشد.
این خبر برای چه کسانی اهمیت دارد
این روش برای پژوهشگران و سازندگان مدل‌های کوچک، و نیز سازمان‌هایی که به پاسخ‌گویی تخصصی نیاز دارند، اهمیت دارد. امکان استفاده دوباره از یک مجموعه راهنما بدون تنظیم‌دقیق یا اتصال لحظه‌ای به مدل معلم، می‌تواند راهی برای افزودن دانش و روال‌های تخصصی به مدل‌های محدودتر فراهم کند. با این حال، یافته‌های گزارش‌شده به آزمون‌های مقاله مربوط است و به‌تنهایی عملکرد روش را در همه کاربردهای واقعی تضمین نمی‌کند.
پرسش‌های متداول
بازیابی دستورالعمل چیست؟
آیا این روش مدل را تنظیم‌دقیق می‌کند؟
دانش آموخته مدیریت کسب و کار گرایش استراتژی و پژوهشگر ، استراتژیست و توسعه دهنده اقتصاد دیجیتال
مطالب مرتبط
تولید محتوای سئو‌شده با هوش مصنوعی| مزایا و نکات مهمتولید محتوای سئو‌شده با هوش مصنوعی تولید محتوای سئو‌شده با هوش مصنوعی، فرایند استفاده از مدل‌های…
هوش مصنوعی در سئو| راهنمای استراتژی، ابزارها و پیاده سازیهوش مصنوعی در سئو به استفاده هدفمند از مدل های زبانی، تحلیل داده، اتوماسیون و ابزارهای…
چت‌بات هوشمند در سایت | افزایش فروش و رضایت مشتریچت‌بات هوشمند در سایت می‌تواند به پرسش‌های تکراری پاسخ دهد، کاربران را به محصول مناسب هدایت…
