Build2SPARQL بنچمارکی برای پرس‌وجوی گراف‌های دانش ساختمان

بنچمارک متن‌به‌SPARQL جدیدی با نام Build2SPARQL برای ارزیابی مدل‌های هوش مصنوعی در پاسخ‌گویی به پرسش‌های مربوط به ساختمان‌ها معرفی شده است. این مجموعه، پرسش‌های زبان طبیعی را به گراف‌های دانش ساختمان پیوند می‌دهد و به پژوهشگران امکان می‌دهد توانایی مدل‌ها در ساخت پرس‌وجوهای قابل اجرا را بسنجند؛ حوزه‌ای که به گفته پژوهشگران، به‌دلیل کمبود مجموعه‌های ارزیابی بزرگ با محدودیت روبه‌رو بوده است.

Build2SPARQL چگونه ساخته شده است؟

گراف دانش، داده‌ها و روابط میان آن‌ها را به شکلی ساخت‌یافته نمایش می‌دهد. در سامانه‌های مدیریت ساختمان، این گراف‌ها می‌توانند اطلاعاتی درباره اجزا و سامانه‌های یک ساختمان در اختیار برنامه‌های هوش مصنوعی بگذارند. برای جست‌وجو در این داده‌ها از SPARQL استفاده می‌شود؛ زبانی برای نوشتن پرس‌وجو در پایگاه‌های داده گرافی.

طبق چکیده مقاله منتشرشده در arXiv، Build2SPARQL با روشی مبتنی بر خود گراف‌های دانش ساخته شده است. کدهای پیمایش گراف، پرس‌وجوهای SPARQL را تولید و اعتبارسنجی کرده‌اند و مدل‌های زبانی بزرگ تنها برای نوشتن پرسش‌های طبیعی به کار رفته‌اند. به این ترتیب، درستی پرس‌وجوها به خروجی مدل زبانی وابسته نبوده است.

این روش روی ۲۰۱ گراف دانش اجرا شده است: ۱۸۰ گراف مبتنی بر Brick و ۲۱ گراف مبتنی بر ASHRAE 223P. حاصل کار ۶٬۱۳۶ پرس‌وجوی اجرایی و ۳۰٬۶۸۰ صورت‌بندی زبانی برای پرسیدن درباره آن‌هاست.

شش نوع پرس‌وجو و پنج شیوه بیان

پژوهشگران پرس‌وجوها را در شش خانواده دسته‌بندی کرده‌اند: زنجیره‌ای، شاخه‌ای، UNION، تجمیعی، OPTIONAL و دارای فیلتر ویژگی. این دسته‌ها امکان سنجش عملکرد مدل در ساختارهای متفاوت را فراهم می‌کنند؛ برای نمونه، پرس‌وجوی شاخه‌ای چند مسیر مرتبط را دنبال می‌کند و پرس‌وجوی تجمیعی داده‌ها را خلاصه می‌کند.

هر پرس‌وجو نیز در پنج سطح واژگانی به شکل پرسش طبیعی درآمده است. هدف از این تنوع آن است که مجموعه فقط یک عبارت ثابت را برای هر پرس‌وجو نسنجد و مدل‌ها با شکل‌های مختلف بیان یک درخواست روبه‌رو شوند.

اعتبارسنجی انسانی و نتیجه ارزیابی مدل‌ها

برای بررسی کیفیت داده‌ها، دو ارزیاب انسانی ۳۰۰ پرسش را بررسی کردند. در این نمونه، وفاداری معنایی پرسش‌ها به پرس‌وجوها و طبیعی‌بودن زبان هر دو ۹۸٫۸ درصد گزارش شد. ارزیابان همچنین ۸۴ درصد پرسش‌ها را از نظر عملیاتی باورپذیر دانستند؛ یعنی آن‌ها را درخواست‌هایی محتمل در موقعیت‌های واقعی بهره‌برداری از ساختمان ارزیابی کردند.

مقاله همچنین عملکرد سه مدل زبانی با وزن‌های باز را بررسی می‌کند. در حالت بدون نمونه، دقت تطبیق دقیق پاسخ‌ها میان مدل‌ها از ۰٫۲ تا ۲۰ درصد بود. تطبیق دقیق یعنی پرس‌وجوی تولیدشده با پاسخ مرجع به‌طور کامل یکسان باشد. در ارزیابی سه‌نمونه‌ای همراه با بازیابی، این دقت به بازه ۵۶ تا ۶۵ درصد رسید. بازیابی در اینجا به معنای ارائه نمونه‌های مرتبط به مدل پیش از تولید پاسخ است.

این نتایج نشان می‌دهد استفاده از مثال‌های مرتبط می‌تواند در این ارزیابی تفاوت چشمگیری ایجاد کند؛ با این حال، اعداد گزارش‌شده به تنظیمات آزموده‌شده در مقاله مربوط‌اند و به‌تنهایی عملکرد سامانه‌ها در همه ساختمان‌ها یا کاربردهای واقعی را تعیین نمی‌کنند.

این خبر برای چه کسانی اهمیت دارد

Build2SPARQL برای پژوهشگرانی که روی تبدیل زبان طبیعی به پرس‌وجو، گراف‌های دانش و عامل‌های هوش مصنوعی کار می‌کنند، یک ابزار ارزیابی تازه فراهم می‌کند. همچنین برای توسعه‌دهندگان سامانه‌های ساختمان هوشمند اهمیت دارد، زیرا سنجش دقیق‌تر پرسش‌وپاسخ روی داده‌های ساخت‌یافته می‌تواند به بررسی قابلیت استفاده از زبان طبیعی برای جست‌وجو در اطلاعات ساختمان کمک کند.