پژوهش: مسیرهای مستقل ممکن است خطای کاتالوگ ماهواره‌ای را تکرار کنند

راستی‌آزمایی هوش مصنوعی و سامانه‌های داده، موضوع یک مطالعه تازه در arXiv است که نشان می‌دهد دو مسیر محاسباتیِ ظاهراً مستقل می‌توانند یک خطای مشترک را از دید پنهان کنند. پژوهشگران در بررسی دو فهرست باز از اجرام مدار زمین، همچنین دریافتند بیشتر مسیرهایی که سه مدل مشخص در یک آزمایش تولید کردند، شمارش نادرست را بازتولید می‌کردند. نتیجه، به گفته نویسندگان، محدود به همین خطا و همین خط لوله داده است.

توافق دو مسیر، با وجود سه شمارش نادرست

این مطالعه یک سازوکار کنترلی را بررسی می‌کند که در آن یک عدد از دو راه متفاوت محاسبه می‌شود و سامانه تنها در صورت توافق آن‌ها اجازه ادامه می‌دهد. در خط لوله مورد بررسی، یک مسیر با کد Python داده‌ها را به شکل مجموعه‌ای شمارش می‌کرد و مسیر دیگر با پرس‌وجوهای SPARQL، نمودار RDF تولیدشده را بررسی می‌کرد. RDF روشی برای نمایش داده‌ها به صورت رابطه میان موجودیت‌هاست.

این کنترل برای هفت شمارش پیام «همه بررسی‌های متقاطع توافق دارند» صادر کرد؛ اما سه شمارش اشتباه بود. در یکی از موارد، خط لوله عدد ۹۳۲ را گزارش کرد، در حالی که مقدار درست ۲۲۰ بود؛ اختلافی بیش از چهار برابر. پژوهشگران برای روشن‌کردن اختلاف‌ها، جدولی در سطح تک‌تک اجرام تهیه کردند که اعداد را با یکدیگر تطبیق می‌دهد.

منشأ خطا در معنای داده‌ها بود

بررسی پژوهشگران نشان داد هر دو مسیر، با وجود تفاوت در فناوری، از ثابت‌های مشترکی استفاده می‌کردند. این ثابت‌ها واژگان وضعیت در منبع اصلی را نادرست تفسیر کرده بودند. بنابراین، دو محاسبه به‌جای آن‌که مستقلاً درستی داده‌ها را بسنجند، یک برداشت غلط را به شکل‌های متفاوت اجرا کردند.

نویسندگان سه بررسی را که به مستندات منبع رجوع می‌کنند، روی کد معیوب و نسخه اصلاح‌شده آزمایش کردند. اما اصلاح اولیه هم بی‌نقص نبود: پس از مقایسه با تاریخچه وضعیت هر جرم در فایلی که خط لوله اصلاً نخوانده بود، پژوهشگران گزارش کردند ۴۲ مورد از ۲۶۱ اختلافِ نسخه اصلاح‌شده، اختلاف‌های کاذب بوده‌اند. هیچ‌یک از آن سه بررسی این موارد را شناسایی نکرد.

مدل‌ها هم شمارش معیوب را تکرار کردند

در بخش دیگری از مطالعه، پژوهشگران سه مدل را با نسخه‌های مشخص و در حالی که ابزارها غیرفعال بودند، به کار گرفتند تا مسیرهای بررسی مستقل تولید کنند. از ۷۵ مسیر تولیدشده، ۷۲ مسیر عدد معیوب را محاسبه کردند. حتی وقتی تعریف‌های خود منبع از کدهای وضعیت در متن درخواست قرار داشت، ۲۹ مسیر از ۳۰ مسیر به همان شمارش نادرست رسیدند.

این آزمایش نشان نمی‌دهد همه مدل‌ها یا همه سامانه‌های راستی‌آزمایی در چنین وضعیتی شکست می‌خورند؛ خود پژوهش نیز شواهد را به یک خط لوله و یک خانواده از خطاها محدود می‌کند. نکته اصلی این است که تفاوت در روش اجرا به‌تنهایی استقلال واقعی ایجاد نمی‌کند: اگر دو مسیر یا مدل به یک تفسیر نادرست از داده تکیه کنند، توافق میان آن‌ها ممکن است فقط همان خطا را تأیید کند.

این خبر برای چه کسانی اهمیت دارد

این یافته برای تیم‌هایی اهمیت دارد که از محاسبه موازی یا مدل‌های زبانی برای کنترل کیفیت داده استفاده می‌کنند؛ از جمله پژوهشگران، مهندسان داده و سازمان‌هایی که فهرست‌های عمومی را گردآوری می‌کنند. مطالعه یادآوری می‌کند که بررسی مستقل باید تا حد امکان به تعریف‌ها و مستندات منبع بازگردد، نه این‌که تنها یک پیاده‌سازی متفاوت از همان برداشت را دوباره اجرا کند. با این حال، این پژوهش به‌تنهایی اثربخشی یک روش جایگزین را در حوزه‌های دیگر اثبات نمی‌کند.