گوگل Guided Vision را برای Gemini Live در اندروید عرضه کرد

قابلیت Guided Vision در Gemini Live از امروز روی دستگاه‌های اندرویدی سازگار عرضه شده است؛ ابزاری که با تکیه بر دوربین گوشی، محیط اطراف را به‌صورت صوتی توصیف می‌کند و به پرسش‌های کاربر پاسخ می‌دهد. Google می‌گوید این ویژگی با هدف کمک به افراد نابینا و کم‌بینا ساخته شده، اما کاربرد آن به این گروه محدود نیست و می‌تواند برای کارهای روزمره‌ای مانند خواندن نوشته‌های ریز یا پیدا کردن یک وسیله نیز به کار بیاید.

کاربر هنگام گفت‌وگو با Gemini Live می‌تواند دوربین را به اشتراک بگذارد و از دستیار درباره آنچه مقابل دوربین قرار دارد بپرسد. تفاوتی که Google برای Guided Vision برجسته می‌کند، تعامل پیوسته و صوتی آن است: کاربر می‌تواند سؤال‌های جزئی‌تر بپرسد و در صورت نیاز، برای تنظیم زاویه دوربین راهنمایی بگیرد. این ویژگی با این حال ابزاری کمکی است و Google درباره محدودیت‌های مهم آن در محیط‌های فیزیکی هشدار می‌دهد.

Guided Vision در Gemini Live چگونه کار می‌کند؟

برای استفاده از Guided Vision، کاربر در جریان یک جلسه Gemini Live تصویر دوربین خود را به اشتراک می‌گذارد. سپس می‌تواند درباره محیط یا اشیای داخل تصویر سؤال کند و توصیف صوتی دریافت کند. به گفته Google، تعامل فقط به پاسخ‌گویی پس از یک پرسش محدود نیست: این ابزار می‌تواند در جریان کار، نشانه‌های صوتی پیش‌دستانه‌ای ارائه کند تا کاربر چیزی را که می‌خواهد بررسی کند بهتر در کادر قرار دهد.

برای نمونه، اگر دوربین بیش از حد بالا گرفته شده باشد، خیلی به یک شیء نزدیک باشد یا کمی به یک سمت منحرف شده باشد، Guided Vision می‌تواند با زبانی طبیعی از کاربر بخواهد دوربین را آرام به راست بچرخاند، آن را پایین‌تر بیاورد یا کمی عقب برود. هدف از این راهنمایی‌ها فراهم‌کردن تصویر روشن‌تر از موضوع است تا سیستم بتواند به پرسش کاربر پاسخ دهد. این فرایند را می‌توان نوعی گفت‌وگوی رفت‌وبرگشتی دانست: کاربر دوربین را تنظیم می‌کند، دستیار تصویر را توصیف می‌کند و کاربر درباره جزئیات بیشتر می‌پرسد.

Google می‌گوید Guided Vision با همکاری نزدیک با جامعه دسترس‌پذیری توسعه یافته است. این همکاری برای محصولاتی از این دست اهمیت دارد، چون نیازهای کاربران را نمی‌توان تنها با افزودن قابلیت پردازش تصویر پیش‌بینی کرد؛ شیوه توصیف، زمان‌بندی راهنمایی‌ها و چگونگی اصلاح کادر نیز بر مفیدبودن ابزار اثر می‌گذارد. در توضیح شرکت آمده است که این قابلیت قرار است در کارهای عادی، کمک دیداری را از راه گفت‌وگو در دسترس قرار دهد.

از خواندن برچسب تا پیدا کردن وسایل

یکی از کاربردهای مورد اشاره Google، خواندن نوشته‌های کوچک یا دشوار است. Guided Vision می‌تواند برای بررسی برچسب تغذیه‌ای روی بسته‌بندی مواد غذایی، خواندن صفحه یا درجه‌های روی وسایل خانگی و مرور منوی چاپی در رستورانی با نور کم به کار رود. این نمونه‌ها موقعیت‌هایی را هدف می‌گیرند که در آن‌ها تشخیص سریع یک نوشته یا جزئیات کوچک می‌تواند انجام یک کار روزانه را آسان‌تر کند.

این ابزار همچنین می‌تواند در جست‌وجوی وسایل در محدوده نزدیک کاربر کمک کند. برای مثال، کاربر می‌تواند از آن بخواهد هدفون کوچکی را که روی زمین افتاده پیدا کند یا در کابینت شلوغ جای فلفل سیاه را تشخیص دهد. کاربرد دیگری که شرکت مطرح کرده، پرسش درباره ویژگی‌های ظاهری اشیاست؛ از جمله رنگ، طرح و شکل. کاربر ممکن است بخواهد بداند یک پیراهن راه‌راه با شلواری که در تصویر است هماهنگ به نظر می‌رسد یا رنگ یک کت خاص چیست.

توصیف فضای اطراف نیز از دیگر استفاده‌های معرفی‌شده است. کاربر می‌تواند درباره چیدمان یک اتاق ناآشنا یا اشیایی که روی میز قرار گرفته‌اند توضیح بخواهد. در چنین سناریوهایی، پاسخ صوتی ممکن است تصویری کلی از محیط ارائه کند، اما نباید آن را با تشخیص مطمئن همه جزئیات یا راهنمایی برای حرکت در فضا یکی دانست؛ خود Google تأکید می‌کند که این قابلیت برای تشخیص موانع و مسیریابی طراحی نشده است.

طبق اعلام شرکت، Guided Vision از گفت‌وگو به چندین زبان پشتیبانی می‌کند. Google می‌گوید در آزمایش و دریافت بازخورد، با جوامع نابینا و کم‌بینا در کشورهایی از جمله هند، برزیل، سنگاپور، اندونزی و ژاپن تعامل داشته است. هدف اعلام‌شده این بوده که توصیف‌ها، راهنمایی‌های مربوط به تنظیم کادر و پاسخ‌ها در زبان‌های مختلف طبیعی و مفید باشند؛ متن معرفی‌شده جزئیات فهرست زبان‌های پشتیبانی‌شده را مشخص نمی‌کند.

همکاری با Aira و ارزیابی ایمنی

Google می‌گوید برای آماده‌سازی Gemini Live برای تفسیر تصویر در موقعیت‌های واقعی و گفت‌وگویی، با Aira همکاری کرده است. Aira در زمینه کمک‌رسانی به افراد نابینا و کم‌بینا فعالیت می‌کند. بر اساس توضیح Google، در این همکاری داده‌های تفسیر بصری در مجموع ده‌ها هزار ساعت بررسی شده‌اند. همچنین بیش از هزار نفر از اعضای شبکه Trusted Tester شرکت Aira، این قابلیت را در جریان کارهای روزمره آزموده و در اصلاح آن نقش داشته‌اند.

در کنار این آزمایش‌ها، متخصصان Aira مستقیماً با تیم‌های Google همکاری کرده‌اند تا به‌عنوان کارشناسان موضوعی در ایجاد و ارزیابی تدابیر ایمنی مشارکت کنند. این نقش اهمیت دارد، چون پاسخ یک ابزار دیداری ممکن است بر تصمیم‌های کاربر در محیط واقعی اثر بگذارد. مشارکت کاربران و متخصصان می‌تواند به شناسایی موقعیت‌هایی کمک کند که در آن‌ها توصیف نادرست، مبهم یا نامتناسب با نیاز کاربر مشکل‌ساز می‌شود؛ با این حال، چنین همکاری‌ای به معنای بی‌خطا بودن سامانه نیست.

Google صریحاً هشدار می‌دهد که Guided Vision، مانند دیگر فناوری‌های هوش مصنوعی مولد، ممکن است اشتباه کند. این شرکت می‌گوید قابلیت یادشده وسیله پزشکی، ابزار کمک‌حرکتی یا جایگزین عصای سفید نیست. همچنین برای ناوبری، راهنمایی درباره سفر ایمن یا تشخیص موانع در محیط فیزیکی ساخته نشده است. بنابراین کاربر باید همچنان به وسایل کمک‌حرکتی شناخته‌شده و روش‌های متعارف ایمنی در رفت‌وآمد تکیه کند.

فعال‌سازی از اپ Gemini و تنظیمات دسترس‌پذیری

برای فعال‌کردن این ویژگی، کاربر می‌تواند در اپ موبایل Gemini وارد تنظیمات نمایه شود و گزینه Use Guided Vision in Live را روشن کند. پس از آن، باید Gemini Live را باز کند و اشتراک‌گذاری دوربین را آغاز کند. این مسیر، امکان دسترسی به قابلیت را از داخل اپ فراهم می‌کند و استفاده از آن را به گفت‌وگوی زنده با Gemini پیوند می‌دهد.

راه‌های دیگری هم برای دسترسی سریع در اندروید در نظر گرفته شده است. در تنظیمات Android، کاربر می‌تواند به بخش Accessibility، سپس Vision assistance و در ادامه Guided Vision برود و میان‌بر دسترس‌پذیری را تنظیم کند. بنا بر توضیح Google، این میان‌بر می‌تواند از طریق دکمه شناور دسترس‌پذیری، حرکت کشیدنی دو‌انگشتی یا فشردن هم‌زمان هر دو دکمه تنظیم صدا اجرا شود.

کاربران Google TalkBack نیز می‌توانند با ضربه سه‌انگشتی، منوی TalkBack را باز کنند و Guided Vision را مستقیماً از آن‌جا انتخاب کنند. این مسیرها برای کاهش تعداد گام‌های لازم جهت شروع قابلیت طراحی شده‌اند؛ موضوعی که در ابزارهای دسترس‌پذیری مهم است، زیرا هرچه دسترسی به یک امکان ساده‌تر باشد، استفاده از آن در موقعیت‌های روزانه آسان‌تر خواهد بود.

این خبر برای چه کسانی اهمیت دارد

عرضه Guided Vision برای افراد نابینا و کم‌بینا مهم است، زیرا نمونه‌ای از افزودن تعامل صوتی و تصویری به دستیارهای هوش مصنوعی روی تلفن همراه به شمار می‌رود. افراد مسن، کسانی که خواندن متن‌های ریز برایشان دشوار است یا کاربرانی که در نور کم به کمک دیداری نیاز دارند نیز ممکن است از برخی کاربردهای معرفی‌شده بهره ببرند. در عین حال، استفاده از این ابزار باید با درک محدودیت‌های آن همراه باشد: توصیف هوش مصنوعی جای مشاهده مستقیم، وسایل کمکی مطمئن یا راهنمایی تخصصی برای رفت‌وآمد ایمن را نمی‌گیرد.

برای توسعه‌دهندگان و فعالان دسترس‌پذیری نیز این عرضه نمونه‌ای از اهمیت آزمودن محصولات با مشارکت کاربران هدف است. همکاری Google با Aira و اعضای شبکه Trusted Tester در توسعه و ارزیابی ایمنی قابلیت نقش داشته است، اما تجربه استفاده در شرایط واقعی همچنان برای سنجش کارایی آن ضروری خواهد بود. معیار اصلی موفقیت چنین ابزاری فقط توانایی فهم تصویر نیست؛ بلکه میزان وضوح، تناسب و اتکاپذیری راهنمایی صوتی آن در موقعیت‌هایی است که کاربران واقعاً با آن روبه‌رو می‌شوند.