ترجمه مقاله کنترل چراغ ترافیک(راهنمایی) در محیط­های غیرثابت براساسیادگیری-Qچند عاملی

کنترلچراغترافیک(راهنمایی) در محیط­های غیرثابت براساسیادگیری-Qچند عاملی

چکیده - در بسیاری ازمناطق شهری که در آنجاتراکم ترافیک دارای الگویاوج نیست،روش­های زمان­ بندی چراغ­های معمولی باعث کنترل موثری نمی­شود. یک روش جایگزین این است که یادگیری نحوه تنظیم چراغ بر اساس وضعیت ترافیک توسط کنترلرهای سیگنال ترافیکی میسر شود. با این حال، اینامر باعث ایجاد یک محیط غیرثابت کلاسیک می­شود زیرا هر کنترلر تغییرات ناشی ازدیگرکنترلرها را تطبیق می­دهد. دریادگیریچند عاملی، اینکار به احتمال زیاد ناکارآمد بوده ودارای پیچیدگی­های محاسباتیاست، یعنی باافزایشتعداد عامل­ها (کنترلرها)، بازده کاهش می­یابد. در این مقاله، یک شبکهترافیکی نسبتا بزرگرا بصورت سیستمچند عاملیمدل­سازی می­کنیم و از تکنیک­های یادگیری تقویتی چند عاملی استفاده می­کنیم.بطور خاص،یادگیری-Qبه کار گرفته شده است، که در آن طول متوسط صف​​درلینک­های نزدیک شونده به منظور برآوردحالت­ها استفاده می­شود. یک بیانپارامتری از فضایعمل، این روش را قابل توسعه به انواع مختلفی از تقاطع­ها کرده است. نتایج شبیه ­سازی نشان می­دهد کهیادگیری-Qپیشنهادی عملکرد بهتری نسبت به روش زمان ثابت تحت نیازهای ترافیکی متفاوت دارد.

Traffic Light Control in Non-stationary Environments based on Multi
Agent Q-learning
Monireh Abdoos , Nasser Mozayani and Ana L. C. Bazzan
Abstract—In many urban areas where traffic congestion does not have the peak pattern, conventional traffic signal timing methods does not result in an efficient control. One alternativeis to let traffic signal controllers learn how to adjust the lights based on the traffic situation. However this creates aclassical non-stationary environment since each controller is adapting to the changes caused by other controllers. In multi-agent learning this is likely to be inefficient and computationally challenging,i.e., the efficiency decreases with the increase in the number of agents (controllers). In this paper, we model a relatively large traffic network as a multi-agent system and use techniques from multi-agent reinforcement learning. In particular, Q-learning is employed, where the average queue length in approaching links is used to estimate states. A parametric representation ofthe action space has made the method extendable to different types of intersection. The simulation results demonstrate that the proposed Q-learning outperformed the fixed time method under different traffic demands.

1. 1.       مقدمه

کنترلسیگنالیکی ازحوزه­های مورد نظر درکل تحقیق است که تحتعنوان سیستم­هایحمل و نقل هوشمند (ITS) شناخته می­شود. می­توان ITSرا توسط برخی از تکنیک­هاپیاده­سازی کرد. در این مقاله حاضر، ازسیستم­های چندعاملیو یادگیری ماشینبرای توسعهیک مکانیزم کنترلنورترافیک استفاده می­کنیم.