پژوهشگر MIT یادگیری تقویتی را برای بهبود حمل‌ونقل به‌کار می‌گیرد

یادگیری تقویتی در پژوهش تازه‌ای از Cathy Wu، استاد مؤسسه فناوری ماساچوست (MIT)، برای بررسی مسائل پیچیده حمل‌ونقل به کار گرفته شده است؛ از تحلیل جریان ترافیک تا ارزیابی سیاست‌هایی که می‌توانند آلایندگی خودروها را کاهش دهند. به گزارش MIT News، گروه Wu در کنار توسعه کاربردهای این روش، راهی برای کارآمدتر کردن آموزش آن یافته است؛ مسئله‌ای مهم، چون الگوریتم‌های یادگیری تقویتی ممکن است روی یک مسئله خوب عمل کنند اما در نمونه‌ای بسیار مشابه ناکام بمانند.

از تجربه ترافیک روزمره تا پژوهش هوش مصنوعی

Wu، دانشیار گروه مهندسی عمران و محیط‌زیست MIT و عضو مؤسسه داده، سامانه‌ها و جامعه این دانشگاه، روی استفاده از یادگیری ماشین و یادگیری تقویتی برای بهبود سامانه‌های پیچیده کار می‌کند. حمل‌ونقل یکی از محورهای اصلی این پژوهش‌هاست؛ حوزه‌ای که به گفته او برای همه اهمیت دارد، زیرا مردم هر روز از آن استفاده می‌کنند و پیامدهای ناکارآمدی آن را تجربه می‌کنند.

علاقه Wu به طراحی سامانه‌های حمل‌ونقل ایمن‌تر و کارآمدتر از تجربه‌های شخصی و دانشگاهی‌اش شکل گرفت. پدرش هر روز مسیر طولانی‌ای را برای رفتن به محل کار طی می‌کرد و او در کودکی، به‌دلیل شلوغی خیابان محل زندگی‌شان، بیشتر در خانه می‌ماند و بازی‌هایی مانند «SimCity» انجام می‌داد. او در گفت‌وگو با MIT News این تجربه‌ها را از زمینه‌های شکل‌گیری علاقه‌اش به حمل‌ونقل می‌داند.

در دوران کارشناسی در MIT، شرکت در سخنرانی‌ای درباره خودروهای خودران، علاقه او را به استفاده از هوش مصنوعی در حمل‌ونقل پررنگ‌تر کرد. Wu پس از همکاری با استادانی که روی خودروهای خودران و روباتاکسی پژوهش می‌کردند، این مسیر را در تحصیلات تکمیلی ادامه داد و در نهایت دکترای خود را از دانشگاه کالیفرنیا در برکلی گرفت.

چرا یادگیری تقویتی برای حمل‌ونقل اهمیت دارد؟

طراحی سامانه‌های حمل‌ونقل معمولاً به بررسی تعداد زیادی گزینه نیاز دارد. ممکن است پژوهشگران ناچار شوند ده‌ها، صدها یا حتی هزاران حالت متفاوت را مدل‌سازی و ارزیابی کنند. Wu می‌گوید ابزارهای کنونی انجام چنین بررسی‌هایی را به شیوه‌ای مبتنی بر شواهد دشوار می‌کنند. یادگیری تقویتی می‌تواند بخشی از این فرایند را خودکار کند و به پژوهشگران و نهادهای اجرایی امکان دهد گزینه‌های بیشتری را بررسی کنند.

یادگیری تقویتی شاخه‌ای از یادگیری ماشین است که در آن یک الگوریتم با آزمودن تصمیم‌ها و دریافت بازخورد، می‌آموزد برای رسیدن به هدف چه کاری انجام دهد. در یک مسئله ترافیکی، برای نمونه، هدف می‌تواند بهبود جریان خودروها یا کاهش توقف‌های غیرضروری باشد. اهمیت این روش در پژوهش Wu فقط انجام محاسبات بیشتر نیست؛ هدف این است که بررسی سامانه‌های پیچیده سریع‌تر شود و نتایج بتوانند به تصمیم‌گیری عملی کمک کنند.

Wu در سال پایانی دوره دکترای خود، در سال ۲۰۱۸، یادگیری تقویتی را برای تحلیل خودکار اثر احتمالی خودروهای خودران بر جریان ترافیک در شبکه‌های مختلف به کار برد. این پژوهش توجه زیادی جلب کرد، اما ادامه مسیر آسان نبود. او پس از کار روی نظریه یادگیری تقویتی در دوره پسادکتری در Microsoft و بازگشت به MIT، چند سال با دشواری در استفاده از این روش برای مسائل ترافیکی روبه‌رو شد.

راهی برای کنار آمدن با حساسیت الگوریتم‌ها

Wu و دانشجویانش در سال ۲۰۲۲ به این نتیجه رسیدند که الگوریتم‌های یادگیری تقویتی به‌شدت به ویژگی‌های مسئله وابسته‌اند: الگوریتمی که برای یک مسئله جواب می‌دهد ممکن است در مسئله‌ای نزدیک به آن موفق نباشد. این حساسیت، کاربرد روش را محدود می‌کرد و ساخت مدل برای هر مسئله به‌صورت جداگانه می‌توانست زمان و منابع زیادی بخواهد.

در سال ۲۰۲۳، گروه پژوهشی راهی برای کاهش این مانع ارائه کرد. طبق توضیح MIT News، یادگیری تقویتی در بخش کوچکی از مجموعه‌ای از مسائل، حدود ۱۰ درصد آن‌ها، ممکن است به‌خوبی آموزش ببیند؛ درحالی‌که در بخش بزرگ‌تری موفق نشود. ایده گروه این بود که مسئله‌هایی را پیدا کند که آموزش روی آن‌ها نتیجه می‌دهد و مدل‌های حاصل را برای حل مجموعه‌ای از مسائل مرتبط به کار بگیرد.

پژوهشگران الگوریتمی طراحی کردند که انتخاب می‌کند آموزش یادگیری تقویتی روی کدام مسئله‌ها انجام شود. به گفته Wu، این روش کارایی آموزش را تا ۳۰ برابر افزایش داده است. او این دستاورد را نشانه‌ای دانست که یادگیری تقویتی می‌تواند در حل مسائل دشوار بهینه‌سازی نقشی داشته باشد. «یادگیری تقویتی با بافتار» نیز به همین نوع مسئله‌ها می‌پردازد: شرایطی که در آن الگوریتم باید به جای یک مسئله منفرد، مجموعه‌ای از مسائل مرتبط را حل کند.

از کاهش آلایندگی تا سیاست‌گذاری مبتنی بر شواهد

یکی از کاربردهای تازه‌تر پژوهش گروه Wu، بررسی رانندگی سازگار با محیط‌زیست است. در این رویکرد، سرعت خودروها به‌صورت هوشمند تنظیم می‌شود تا توقف و حرکت‌های پی‌درپی و غیرضروری کاهش یابد. بر اساس نتیجه‌ای که MIT News گزارش کرده، چنین اقداماتی می‌توانند انتشار آلایندگی خودروها را بین ۱۱ تا ۲۲ درصد کاهش دهند.

این نتیجه به‌تنهایی به معنای اجرای یک سیاست مشخص نیست؛ اما می‌تواند شواهدی برای سنجش پیامد احتمالی آن فراهم کند. Wu می‌گوید یکی از هدف‌های پژوهش، استفاده از داده و تحلیل نظام‌مند برای بررسی پرسش‌هایی است که بر سر پاسخ آن‌ها اختلاف نظر وجود دارد. به باور او، برخی از این پرسش‌ها را می‌توان با داده‌ها ارزیابی کرد و پاسخ‌هایی مبتنی بر شواهد به دست آورد. در این نگاه، هوش مصنوعی ابزاری برای پشتیبانی از تصمیم‌گیری اجتماعی است، نه جایگزینی برای آن.

گروه Wu همچنین روش‌هایی برای ساده‌تر کردن ساخت حل‌گرها توسعه می‌دهد. حل‌گرها الگوریتم‌هایی هستند که برای یافتن پاسخ یا راه‌حل بهینه در مسائل پیچیده به کار می‌روند. این کار به حمل‌ونقل محدود نیست و می‌تواند در حوزه‌هایی مانند لجستیک، زنجیره تأمین، تولید و تخصیص منابع نیز کاربرد داشته باشد. Wu رویکرد پژوهشی خود را «پژوهش بنیادی الهام‌گرفته از کاربرد» توصیف می‌کند: آغاز از یک مسئله واقعی و توسعه دانشی که ممکن است در مسائل عملی دیگر هم به کار آید.

MIT News همچنین به اهمیت آموزش و راهنمایی دانشجویان در کار Wu اشاره می‌کند. او در سال ۲۰۲۳ جایزه شغلی اولیه اعضای هیئت علمی بنیاد ملی علوم آمریکا را دریافت کرد و در سال ۲۰۲۵ نیز جایزه راهنمایی Ole Madsen به او اهدا شد. Wu به دانشجویانی که با مسئله‌های بسیار پیچیده روبه‌رو هستند، توصیه می‌کند صبور باشند، از گام‌های کوچک شروع کنند و برای شناخت دقیق مسئله پرسش‌های زیادی بپرسند.

این خبر برای چه کسانی اهمیت دارد

یافته‌های گروه Wu برای پژوهشگران یادگیری ماشین و حمل‌ونقل اهمیت دارد، زیرا نشان می‌دهد انتخاب هوشمندانه مسئله‌های آموزشی می‌تواند بخشی از ناکارآمدی یادگیری تقویتی را کاهش دهد. مدیران و برنامه‌ریزان حمل‌ونقل نیز می‌توانند از چنین روش‌هایی برای مقایسه گزینه‌های مختلف پیش از تصمیم‌گیری درباره سامانه‌ها و سیاست‌ها بهره بگیرند. برای عموم مردم، اهمیت اصلی در پیوند میان پژوهش هوش مصنوعی و موضوعاتی روزمره مانند ترافیک، آلایندگی و کیفیت خدمات حمل‌ونقل است؛ هرچند تبدیل نتایج پژوهشی به سیاست اجرایی همچنان به ارزیابی و تصمیم‌گیری نهادهای مسئول نیاز دارد.