Все выпуски

[ Switch to English ]

Адаптивное управление сигналами светофоров на основе обучения с подкреплением, инвариантное к конфигурации светофорного объекта

Юмаганов А.С., Агафонов А.А., Мясников В.В.
 pdf (425K)

В работе представлен метод адаптивного управления сигналами светофоров, инвариантный к конфигурации светофорного объекта. Предложенный метод использует одну модель нейронной сети для управления светофорами различных конфигураций, отличающихся как по числу контролируемых полос движения, так и по используемому набору фаз. Для описания пространства состояний используется как динамическая информация о состоянии транспортного потока, так и статические данные о конфигурации контролируемого перекрестка. Для повышения скорости обучения модели предлагается использовать эксперта, предоставляющего дополнительные данные для обучения модели. В качестве эксперта используется метод адаптивного управления, основанный на максимизации взвешенного потока транспортных средств через перекресток. Экспериментальные исследования разработанного метода, проведенные в системе микроскопического моделирования движения транспортных средств, подтвердили его работоспособность и эффективность. Была показана возможность применения разработанного метода в сценарии моделирования, не используемом в процессе обучения. Представлено сравнение предложенного метода с другими известными решениями задачи управления светофорным объектом, в том числе с методом, используемым в качестве эксперта. В большинстве сценариев разработанный метод показал лучший результат по критериям среднего времени движения и среднего времени ожидания. Преимущество над методом, используемым в качестве эксперта, в зависимости от исследуемого сценария составило от 2% до 12% по критерию среднего времени ожидания транспортных средств и от 1% до 7% по критерию среднего времени движения.

Ключевые слова: управление сигналами светофоров, обучение с подкреплением, подключенные транспортные средства, имитационное моделирование
Цитата: Юмаганов А.С., Агафонов А.А., Мясников В.В. Адаптивное управление сигналами светофоров на основе обучения с подкреплением, инвариантное к конфигурации светофорного объекта // Компьютерные исследования и моделирование, 2024, т. 16, № 5, с. 1253-1269
Citation in English: Yumaganov A.S., Agafonov A.A., Myasnikov V.V. Reinforcement learning-based adaptive traffic signal control invariant to traffic signal configuration // Computer Research and Modeling, 2024, vol. 16, no. 5, pp. 1253-1269
DOI: 10.20537/2076-7633-2024-16-5-1253-1269
URL: http://crm.ics.org.ru/journal/article/3527/
Creative Commons License Статья доступна по лицензии Creative Commons Attribution-NoDerivs 3.0 Unported License.

Журнал индексируется в Scopus

Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU

Журнал входит в систему  Российского индекса научного цитирования.

Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science

Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"

Международная Междисциплинарная Конференция МАТЕМАТИКА. КОМПЬЮТЕР. ОБРАЗОВАНИЕ.

Copyright © 2009–2024 Институт компьютерных исследований