روش Vision Wormhole تبادل پیام میان عامل‌های هوش مصنوعی را بهبود می‌دهد

ارتباط نهفته چندعاملی موضوع روشی تازه به نام Vision Wormhole است که در مقاله‌ای در arXiv معرفی شده است. این روش می‌کوشد تبادل پیوسته اطلاعات میان عامل‌های هوش مصنوعی مبتنی بر مدل‌های بینایی‌ـ‌زبانی متفاوت را ممکن کند؛ مسئله‌ای که در سامانه‌های چندعاملی اهمیت دارد، چون مدل‌ها معمولاً نمایش‌های داخلی یکسانی ندارند. پژوهشگران می‌گویند روش پیشنهادی در مجموعه‌ای از آزمون‌ها، هم دقت را نسبت به ارتباط متنی افزایش داده و هم زمان اجرا را کاهش داده است.

چرا عامل‌های ناهمگون به راه ارتباطی تازه نیاز دارند؟

سامانه چندعاملی از چند مدل یا عامل تشکیل می‌شود که برای رسیدن به نتیجه، اطلاعات خود را با یکدیگر مبادله می‌کنند. وقتی این عامل‌ها از مدل‌های متفاوتی ساخته شده باشند، انتقال مستقیم حالت‌های داخلی‌شان دشوار است؛ زیرا هر مدل ممکن است داده‌ها را با ساختار و نمایش ویژه خود پردازش کند. ترجمه میان این نمایش‌ها و مدیریت محاسبات میانی نیز می‌تواند به پیچیدگی فرایند بیفزاید.

Vision Wormhole به‌جای تکیه بر پیام‌های متنی، از رابط ورودی تصویری مدل‌های بینایی‌ـ‌زبانی، یا VLMها، برای انتقال اطلاعات استفاده می‌کند. VLM مدلی است که می‌تواند با ورودی‌های تصویری و زبانی کار کند. در این روش، اطلاعات درونی یک مدل به شکلی درمی‌آید که مدل دیگر بتواند آن را از مسیر ورودی تصویری خود دریافت کند.

کدگذار تصویری و معماری ارتباطی

هسته روش، ابزاری با نام Universal Visual Codec است. این کدگذار حالت‌های نهفته تولیدشده در جریان اجرای مدل فرستنده را به پیامی با اندازه ثابت تبدیل می‌کند. سپس پیام به یک فضای مرجع مشترک نگاشت می‌شود و در سوی دیگر، کدگذار آن را به بخشی از توکن‌های تصویری ورودی مدل گیرنده تبدیل می‌کند. به این ترتیب، مدل‌ها می‌توانند اطلاعات پیوسته ردوبدل کنند، بی‌آنکه لازم باشد نمایش‌های داخلی‌شان یکسان باشد.

طبق توضیح مقاله، برای هر مدل کدگذار اختصاصی و نگاشت مرجع آفین در نظر گرفته می‌شود؛ نگاشت آفین روشی ریاضی برای تبدیل و جابه‌جایی داده‌ها میان فضاهای مختلف است. این اجزا در معماری «هاب و پره» سازمان‌دهی می‌شوند: هر مدل به فضای مرجع مشترک وصل است، نه اینکه برای هر جفت مدل یک مسیر مستقل ساخته شود. شمار اجزا با افزایش تعداد مدل‌ها در حد O(N) باقی می‌ماند؛ یعنی با تعداد مدل‌ها به‌صورت خطی رشد می‌کند.

هر مدل کدگذار خود را به‌طور مستقل و با خودتقطیر روی متن‌های لنگر آموزش می‌دهد. خودتقطیر روشی است که در آن مدل از خروجی‌ها یا دانش خود برای یادگیری استفاده می‌کند. متن‌های لنگر و هم‌ترازی مشترک نیز بنا بر مقاله، امکان استفاده دوباره از کدگذارها را میان شرکای ارتباطی مختلف فراهم می‌کنند.

نتایج ارزیابی و معنای آن‌ها

پژوهشگران Vision Wormhole را روی چهار خانواده از مدل‌های بینایی‌ـ‌زبانی، شش ترکیب تیمی و نه معیار استدلال آزموده‌اند. بر اساس نتایج گزارش‌شده، دقت این روش به‌طور میانگین ۶ واحد درصد از سامانه‌های چندعاملی متکی بر تبادل متن بیشتر بوده است. «واحد درصد» به تفاوت مستقیم میان دو مقدار درصدی اشاره دارد، نه درصد رشد نسبی.

مقاله همچنین از سرعت اجرای سرتاسریِ نرمال‌شده با اندازه دسته به میزان ۱٫۶۹ برابر خبر می‌دهد. میانگین هندسی برای محاسبه این عدد به کار رفته است؛ روشی برای خلاصه‌کردن نسبت‌های سرعت در چند ارزیابی. این نتایج نشان می‌دهد که انتقال اطلاعات در قالب نهفته، دست‌کم در پیکربندی‌ها و معیارهای آزموده‌شده، می‌تواند جایگزینی کارآمد برای تبادل متنی باشد. با این حال، اعداد اعلام‌شده به همان دامنه ارزیابی مقاله مربوط‌اند و به‌تنهایی نتیجه عملکرد در همه کاربردهای عملی نیستند.

این خبر برای چه کسانی اهمیت دارد

این پژوهش برای سازندگان سامانه‌های چندعاملی و گروه‌هایی که می‌خواهند مدل‌های متفاوت را در یک فرایند مشترک به کار بگیرند اهمیت دارد. ایده استفاده از رابط تصویری برای تبادل حالت‌های نهفته می‌تواند راهی برای کاهش وابستگی به قالب‌های متنی فراهم کند. با این حال، ارزیابی میزان سودمندی آن در محصولات واقعی به جزئیاتی مانند هزینه پیاده‌سازی و عملکرد در سناریوهای خارج از آزمون‌های گزارش‌شده وابسته است؛ جزئیاتی که در خلاصه مقاله ارائه‌شده مشخص نشده‌اند.