مدل Fiorillo v0.5 پاسخ‌های کارآزمایی بالینی را با احتمال ارائه می‌کند

مدل Fiorillo v0.5 برای استخراج نتیجه کارآزمایی‌های تصادفی از مقاله‌های پژوهشی معرفی شده است؛ مدلی متن‌باز با ۴ میلیارد پارامتر که علاوه بر انتخاب پاسخ، برای هر گزینه احتمال ارائه می‌کند. نسخه جدید در آزمونی از پیش ثبت‌شده ارزیابی شده و پژوهشگران می‌گویند همه چهار معیار تعیین‌شده برای انتشار را گذرانده است.

مدل Fiorillo چه چیزی پیش‌بینی می‌کند؟

این مدل مقاله یک کارآزمایی تصادفی را می‌خواند و درباره اثر یک مداخله در مقایسه با گزینه‌ای دیگر، یکی از سه پاسخ را انتخاب می‌کند: پیامد به‌طور معنادار افزایش یافته، به‌طور معنادار کاهش یافته یا تغییر معناداری نداشته است. این وظیفه با مجموعه‌داده Evidence Inference 2.0 انجام شده است.

متن هر مقاله پیش از ورود به مدل به حداکثر ۶٬۱۴۴ توکن محدود می‌شود. توکن واحدی برای پردازش متن است و لزوماً با یک واژه کامل برابر نیست. Fiorillo v0.5 بر پایه Qwen3-4B-Base ساخته شده و با آداپتورهای کم‌رتبه و یک سرِ تصمیم‌گیری برای همین وظیفه تنظیم شده است.

نتایج آزمون و سنجش کالیبراسیون

ارزیابی روی بخش آزمون مجموعه‌داده انجام شد: ۱٬۲۱۸ پرسش از ۳۳۳ مقاله. طبق گزارش پژوهش، خطای کالیبراسیون مورد انتظار مدل ۰٫۰۱۶۸ بود؛ پایین‌تر از سقف ۰٫۰۵ که برای این معیار تعیین شده بود. کالیبراسیون نشان می‌دهد احتمال‌هایی که مدل اعلام می‌کند تا چه اندازه با درستی پاسخ‌هایش تناسب دارند.

زیان لگاریتمی مدل نیز از مقدار مبنا ۰٫۸۶۰۳ کمتر بود. در مقایسه با Gemma 4 31B-it که همان ورودی را دریافت کرده بود، این معیار ۰٫۱۸۲۹ پایین‌تر گزارش شد. امتیاز F1 کلان Fiorillo به ۰٫۹۲۴۸ رسید؛ در برابر ۰٫۸۶۶۸ برای مقدار مقایسه‌شده در گزارش. F1 معیاری برای سنجش کیفیت طبقه‌بندی است و نسخه کلان آن میانگین عملکرد را در دسته‌های مختلف می‌سنجد.

پژوهشگران پیش از تولید پیش‌بینی‌های آزمون، چهار معیار انتشار را در Open Science Framework ثبت کرده بودند. بر اساس چکیده، هر چهار معیار برآورده شد؛ بااین‌حال، همه جزئیات آن چهار معیار در متن در دسترس این گزارش توضیح داده نشده است.

محدودیت‌ها و نحوه انتشار

برای آموزش، تنها ۱٬۴۳۱ مقاله از مجموع ۲٬۶۵۷ مقاله آموزشی استفاده شد؛ یعنی مقاله‌هایی که مجوزشان اجازه استفاده مجدد می‌داد. آموزش با همین روش، اما فقط روی مقاله‌های دارای مجوز روشن، با افت توصیفی ۰٫۰۱۲۳ در دقت همراه بود.

آزمون‌های دیگر وابستگی مدل به متن ورودی را نشان دادند. وقتی مقاله حذف شد، امتیاز F1 کلان به ۰٫۴۳۸۴ افت کرد. افزودن عنوان مقاله این امتیاز را ۰٫۰۹۳۹ بالا برد؛ پژوهشگران می‌گویند ممکن است عنوان، نتیجه مطالعه یا یادآوری آن را آشکار کرده باشد. همچنین، جابه‌جایی مداخله و گزینه مقایسه در ۰٫۶۶۵۲ پاسخ‌های مربوط به جهت اثر را معکوس کرد؛ نکته‌ای که حساسیت مدل به نحوه صورت‌بندی ورودی را نشان می‌دهد.

فایل‌های انتشار‌یافته، طبق گزارش، در محدوده‌های از پیش تعیین‌شده با پیش‌بینی‌های ارزیابی‌شده مطابقت داشتند. مدل با مجوز Apache 2.0 عرضه شده است.

این خبر برای چه کسانی اهمیت دارد

این کار برای پژوهشگران پزشکی، گروه‌های مرور شواهد و توسعه‌دهندگان ابزارهای تحلیل مقاله اهمیت دارد؛ به‌ویژه چون احتمال پاسخ را هم در کنار طبقه‌بندی ارائه می‌کند و داده‌های آموزشی آن بر اساس مجوز استفاده پالایش شده‌اند. بااین‌حال، افت شدید عملکرد بدون متن مقاله و حساسیت به ترتیب مداخله و مقایسه‌گر یادآور می‌شود که خروجی آن را نباید جدا از متن و طراحی مطالعه تفسیر کرد.