مطالعه‌ای ۱۳ هزار نشانه نوشتاری در مدل‌های هوش مصنوعی یافت

نشانه‌های نوشتاری هوش مصنوعی در یک مطالعه تازه از Graphite به حدود ۱۳ هزار عبارت و الگوی زبانی می‌رسد؛ عباراتی که در متن‌های تولیدشده با مدل‌های هوش مصنوعی دست‌کم دو برابر بیشتر از نمونه‌های انسانی ظاهر شده‌اند. نتایج این بررسی نشان می‌دهد مدل‌های پیشرفته، حتی با کنارگذاشتن نشانه‌های آشنایی مانند خط تیره بلند، همچنان عادت‌های زبانی خاص خود را دارند و این عادت‌ها با تغییر نسخه مدل دگرگون می‌شوند.

این مطالعه که به گزارش TechCrunch در اول اکتبر ۲۰۲۶ منتشر شد، نوشته‌های چند مدل پیشرفته را با متونی که پیش از انتشار ChatGPT نوشته شده بودند مقایسه کرده است. یافته‌های Graphite هم تفاوت میان مدل‌ها را برجسته می‌کند و هم این پرسش را پیش می‌کشد که تا چه اندازه می‌توان سبک نوشتاری مدل‌های زبانی بزرگ را به‌طور کامل کنترل کرد. مدل زبانی بزرگ، سامانه‌ای هوش مصنوعی است که با آموزش روی حجم زیادی از متن، می‌تواند متن تولید کند.

نشانه‌های نوشتاری هوش مصنوعی چگونه شناسایی شدند؟

پژوهشگران Graphite برای ساختن گروه مقایسه انسانی، مجموعه‌ای شامل ۱۰ هزار مقاله را گردآوری کردند که پیش از انتشار ChatGPT منتشر شده بودند. سپس از مدل‌های مختلف خواستند مقاله‌ها را بر پایه خلاصه‌هایشان بازنویسی کنند. هدف این روش آن بود که متن‌های تولیدشده از محتوای اولیه فاصله بگیرند و اثر مستقیم عبارت‌ها و سبک نوشتاری مقاله‌های اصلی تا حد ممکن کاهش یابد.

پس از آن، نمونه‌هایی از نوشته‌های انسانی و متن‌های هر مدل در کنار هم بررسی شدند. پژوهشگران هم میزان تکرار واژه‌ها و عبارت‌ها را سنجیدند و هم به الگوهای گسترده‌تر جمله‌سازی توجه کردند. در این پژوهش، «نشانه» به عبارتی گفته می‌شود که در محتوای تولیدشده با هوش مصنوعی دست‌کم دو برابر بیش از محتوای انسانی دیده شده باشد. Graphite در مجموع حدود ۱۳ هزار عبارت را با این معیار شناسایی کرد.

این عدد به این معنا نیست که هر یک از عبارت‌ها به‌تنهایی راهی قطعی برای تشخیص متن ماشینی است. نتیجه مطالعه، تفاوت‌های آماری میان مجموعه‌های نوشتاری را نشان می‌دهد؛ یعنی یک عبارت در نمونه‌های بررسی‌شده بیشتر تکرار شده است. به همین دلیل، پژوهش به‌جای تکیه بر یک واژه مشهور، دامنه گسترده‌ای از انتخاب‌های زبانی و ساختارهای جمله را بررسی می‌کند.

تفاوت‌های Claude Opus 5.5 و Astra در نوشتن

بر اساس یافته‌های Graphite، یکی از برجسته‌ترین نشانه‌های Claude Opus 5.5 واژه «dependable» است که در نمونه‌های این مدل ۲۳ برابر بیشتر از نوشته‌های انسانی به‌کار رفته بود. این مدل، به گفته پژوهش، از ساختار «این X نیست، بلکه Y است» کمتر استفاده می‌کند؛ اما همچنان گرایش دارد چیزی را «بیش از یک X، بلکه یک Y» توصیف کند.

تکرار عبارت‌های مربوط به اهمیت موضوع نیز در نوشته‌های Opus 5.5 چشمگیر بود. عبارت «this matters» در متن‌های این مدل ۱۱۶ برابر بیشتر از نمونه‌های انسانی و ساختار «why X matters» ۹۲ برابر بیشتر دیده شد. این الگو نشان می‌دهد که نشانه نوشتاری لزوماً به یک واژه منفرد محدود نیست؛ گاهی شیوه‌ای برای برجسته‌کردن اهمیت یک موضوع در جمله‌های مختلف تکرار می‌شود.

در مقابل، Graphite برای OpenAI Astra الگوهای دیگری گزارش کرد. این مدل از تعبیر «another dimension» برای پرداختن به جنبه‌ای دیگر از موضوع استفاده می‌کند و در بیان فایده‌ها ممکن است عبارت‌هایی مانند «may provide» یا «can provide» را به‌کار ببرد. پژوهش همچنین نوعی ساختار را «چارچوب‌بندی اصلاحی» نامیده است: جمله‌هایی که موضوعی را «نه صرفاً X» تعریف می‌کنند یا آن را در برابر رویکردی دیگر، «به‌جای تکیه بر X»، قرار می‌دهند. به گفته Graphite، این ساختارها در نوشته‌های Astra بیش از ۱۰۰ برابر بیشتر از متن‌های انسانی دیده شده‌اند.

کاهش خط تیره بلند، اما نه کاهش همه نشانه‌ها

خط تیره بلند در سال‌های اخیر به یکی از نشانه‌های رایج در بحث‌های عمومی درباره متن‌های تولیدشده با هوش مصنوعی تبدیل شده بود. اما نمونه‌های Graphite نشان می‌دهد چند مدل پیشرفته اکنون کمتر از آن استفاده می‌کنند. بر اساس این بررسی، Claude Opus 5.5 نسبت به Opus 5، استفاده از این نشانه را ۹۹ درصد کاهش داده است. Astra نیز ۸۸ درصد کمتر از نمونه‌های انسانی از آن استفاده کرده و Gemini 3.1 Pro تقریباً این نشانه را به‌طور کامل از نوشته‌هایش کنار گذاشته است.

با این حال، کم‌شدن یک الگوی مشهور لزوماً به معنی محو شدن عادت‌های نوشتاری مدل‌ها نیست. Greg Druck، مدیر ارشد هوش مصنوعی Graphite، به TechCrunch گفت تعداد کلی نشانه‌ها تقریباً ثابت مانده است. به گفته او، مدل‌ها و شرکت‌های سازنده‌شان توانسته‌اند برخی الگوهای شناخته‌شده را حذف کنند، اما الگوهای دیگری جای آن‌ها را گرفته‌اند و هر نسخه مدل نیز نشانه‌های خاص خود را دارد.

این تفاوت‌ها در گذر زمان هم یکسان نیستند. Druck گفت توزیع واژه‌ها در مدل‌های Claude به‌تدریج به توزیع نوشته‌های انسانی نزدیک‌تر شده، در حالی که برای مدل‌های GPT فاصله بیشتر شده است. این اظهارنظر به معنای آن نیست که همه جنبه‌های نوشتار Claude انسانی‌تر شده یا کیفیت همه مدل‌های GPT افت کرده است؛ او درباره الگوی توزیع واژگان در بررسی Graphite صحبت می‌کرد.

چرا حذف کامل الگوهای ماشینی دشوار است؟

ماندگاری این نشانه‌ها با توجه به توجه شرکت‌های هوش مصنوعی به تولید متن طبیعی، از نکته‌های قابل‌توجه مطالعه است. Anthropic هنگام معرفی Opus 5.5 گفته بود این مدل در مقایسه با مدل‌های پیشین طبیعی‌تر ارتباط برقرار می‌کند و کاربران اولیه، نوشته‌های آن را روشن‌تر و آسان‌تر برای دنبال‌کردن دانسته‌اند. OpenAI نیز هنگام معرفی نسخه‌های GPT-6 از Sol و Luna از وضوح بیشتر، اصطلاحات تخصصی کمتر و عبارت‌بندی‌های نامعمول کمتر سخن گفته بود.

با وجود این ادعاها، Druck درباره امکان کنترل کامل ویژگی‌های زبانی مدل‌ها تردید دارد. او به TechCrunch گفت شرکت‌ها ممکن است توان کنترل بعضی از این الگوها را کمتر از آنچه انتظار می‌رود داشته باشند. به گفته او، مدل‌ها سامانه‌هایی بسیار بزرگ با میلیاردها پارامتر هستند و سازندگان آن‌ها می‌توانند تعداد محدودی آزمون انجام دهند؛ بنابراین بعضی عادت‌ها از فرایند ارزیابی عبور می‌کنند و در خروجی باقی می‌مانند.

این نتیجه، محدودیت مهمی را برای تلاش‌های تشخیص متن ماشینی نیز برجسته می‌کند: اگر یک الگوی قابل‌شناسایی در نسخه بعدی کاهش یابد، این احتمال وجود دارد که نشانه‌های دیگری جای آن را بگیرند. پژوهش Graphite نمی‌گوید یک عبارت مشخص همیشه متن تولیدشده با هوش مصنوعی را افشا می‌کند؛ بلکه نشان می‌دهد تفاوت‌ها می‌توانند در سطح واژه، عبارت و ساختار جمله پدیدار شوند. همچنین، چون بررسی بر نمونه‌های مشخصی از متن‌های انسانی و بازنویسی‌های مدل‌ها متکی است، یافته‌های آن را باید در چارچوب همان روش و مجموعه‌داده خواند.

این خبر برای چه کسانی اهمیت دارد

نتایج این بررسی برای نویسندگان، ویراستاران و ناشرانی اهمیت دارد که با متن‌های تولیدشده یا ویرایش‌شده به کمک هوش مصنوعی سروکار دارند. شناخت الگوهای پرتکرار می‌تواند به فهم تفاوت سبک مدل‌ها کمک کند، اما یافته‌های Graphite مبنایی برای داوری قطعی درباره منشأ هر متن فراهم نمی‌کند. یک واژه یا ساختار جمله، به‌تنهایی ثابت نمی‌کند که نوشته را مدل تولید کرده است.

این خبر برای شرکت‌های سازنده مدل‌ها نیز اهمیت دارد، زیرا نشان می‌دهد بهبود طبیعی‌بودن متن فقط با حذف یک نشانه مشهور به دست نمی‌آید. در عین حال، پژوهش برای کاربران عمومی یادآوری می‌کند که سبک نوشتاری مدل‌ها ثابت نیست: نشانه‌های هر نسخه ممکن است تغییر کند و حذف برخی عادت‌ها الزاماً به حذف همه تفاوت‌ها با نوشتار انسانی منجر نمی‌شود.