Все выпуски

Данная работа предлагает новый подход к построению высокоточных маршрутов на основе данных от транспортных детекторов в пакете моделирования трафика SUMO. Существующие инструменты, такие как flowrouter и routeSampler, имеют ряд недостатков, таких как отсутствие взаимодействия с сетью в процессе построения маршрутов. Наш rlRouter использует мультиагентное обучение с подкреплением (MARL), где агенты — это входящие полосы движения, а окружающая среда — дорожная сеть. Добавляя в сеть транспортные средства с определенными маршрутами, агенты получают вознаграждение за сопоставление данных с детекторами транспорта. В качестве алгоритма мультиагентного обучения с подкреплением использовался DQN с разделением параметров между агентами и LSTM-слоем для обработки последовательных данных.

Поскольку rlRouter обучается внутри симуляции SUMO, он может лучше восстанавливать маршруты, принимая во внимание взаимодействие транспортных средств внутри сети друг с другом и с сетевой инфраструктурой. Мы смоделировали различные дорожные ситуации на трех разных перекрестках, чтобы сравнить производительность маршрутизаторов SUMO с rlRouter. Мы использовали среднюю абсолютную ошибку (MAE) в качестве меры отклонения кумулятивных данных детекторов и от данных маршрутов. rlRouter позволил добиться высокого соответствия данным с детекторов. Мы также обнаружили, что, максимизируя вознаграждение за соответствие детекторам, результирующие маршруты также становятся ближе к реальным. Несмотря на то, что маршруты, восстановленные с помощью rlRouter, превосходят маршруты, полученные с помощью инструментов SUMO, они не полностью соответствуют реальным из-за естественных ограничений петлевых детекторов. Чтобы обеспечить более правдоподобные маршруты, необходимо оборудовать перекрестки другими видами транспортных счетчиков, например, детекторами-камерами.

This work provides a new approach for constructing high-precision routes based on data from transport detectors inside the SUMO traffic modeling package. Existing tools such as flowrouter and routeSampler have a number of disadvantages, such as the lack of interaction with the network in the process of building routes. Our rlRouter uses multi-agent reinforcement learning (MARL), where the agents are incoming lanes and the environment is the road network. By performing actions to launch vehicles, agents receive a reward for matching data from transport detectors. Parameter Sharing DQN with the LSTM backbone of the Q-function was used as an algorithm for multi-agent reinforcement learning.

Since the rlRouter is trained inside the SUMO simulation, it can restore routes better by taking into account the interaction of vehicles within the network with each other and with the network infrastructure. We have modeled diverse traffic situations on three different junctions in order to compare the performance of SUMO’s routers with the rlRouter. We used Mean Absoluter Error (MAE) as the measure of the deviation from both cumulative detectors and routes data. The rlRouter achieved the highest compliance with the data from the detectors. We also found that by maximizing the reward for matching detectors, the resulting routes also get closer to the real ones. Despite the fact that the routes recovered using rlRouter are superior to the routes obtained using SUMO tools, they do not fully correspond to the real ones, due to the natural limitations of induction-loop detectors. To achieve more plausible routes, it is necessary to equip junctions with other types of transport counters, for example, camera detectors.