Все выпуски

Локализация транспортного средства является важной задачей в области интеллектуальных транспортных систем. Хорошо известно, что слияние показаний с разных датчиков (англ. Sensor Fusion) позволяет создавать более робастные и точные навигационные системы для автономных транспортных средств. Стандартные подходы, такие как расширенный фильтр Калмана или многочастичный фильтр, либо неэффективны при работе с сильно нелинейными данными, либо потребляют значительные вычислительные ресурсы, что осложняет их использование во встроенных системах. При этом точность сливаемых сенсоров может сильно различаться. Значительный прирост точности, особенно в ситуации, когда GPS (англ. Global Positioning System) не доступен, может дать использование ориентиров, положение которых заранее известно, — таких как дорожные знаки, светофоры, или признаки SLAM (англ. Simultaneous Localization and Mapping). Однако такой подход может быть неприменим в случае, если априорные локации неизвестны или неточны. Мы предлагаем новый подход для уточнения координат транспортного средства с использованием визуальных ориентиров, таких как дорожные знаки. Наша система представляет собой байесовский фреймворк, уточняющий позицию автомобиля с использованием внешних данных о прошлых наблюдениях дорожных знаков, собранных методом краудсорсинга (англ. Crowdsourcing — сбор данных широким кругом лиц). Данная статья представляет также подход к комбинированию траекторий, полученных с помощью глобальных GPS-координат и локальных координат, полученных с помощью акселерометра и гироскопа (англ. Inertial Measurement Unit, IMU), для создания траектории движения транспортного средства в неизвестной среде. Дополнительно мы собрали новый набор данных, включающий в себя 4 проезда на автомобиле в городской среде по одному маршруту, при которых записывались данные GPS и IMU смартфона, видеопоток с камеры, установленной на лобовом стекле, а также высокоточные данные о положении с использованием специализированного устройства Real Time Kinematic Global Navigation Satellite System (RTK-GNSS), которые могут быть использованы для валидации. Помимо этого, с использованием той же системы RTK-GNSS были записаны точные координаты знаков, присутствующих на маршруте. Результаты экспериментов показывают, что байесовский подход позволяет корректировать траекторию движения транспортного средства и дает более точные оценки при увеличении количества известной заранее информации. Предложенный метод эффективен и требует для своей работы, кроме показаний GPS/IMU, только информацию о положении автомобилей в моменты прошлых наблюдений дорожных знаков.

The localization of a vehicle is an important task in the field of intelligent transportation systems. It is well known that sensor fusion helps to create more robust and accurate systems for autonomous vehicles. Standard approaches, like extended Kalman Filter or Particle Filter, are inefficient in case of highly non-linear data or have high computational cost, which complicates using them in embedded systems. Significant increase of precision, especially in case when GPS (Global Positioning System) is unavailable, may be achieved by using landmarks with known location — such as traffic signs, traffic lights, or SLAM (Simultaneous Localization and Mapping) features. However, this approach may be inapplicable if a priori locations are unknown or not accurate enough. We suggest a new approach for refining coordinates of a vehicle by using landmarks, such as traffic signs. Core part of the suggested system is the Bayesian framework, which refines vehicle location using external data about the previous traffic signs detections, collected with crowdsourcing. This paper presents an approach that combines trajectories built using global coordinates from GPS and relative coordinates from Inertial Measurement Unit (IMU) to produce a vehicle's trajectory in an unknown environment. In addition, we collected a new dataset, including from smartphone GPS and IMU sensors, video feed from windshield camera, which were recorded during 4 car rides on the same route. Also, we collected precise location data from Real Time Kinematic Global Navigation Satellite System (RTK-GNSS) device, which can be used for validation. This RTK-GNSS system was used to collect precise data about the traffic signs locations on the route as well. The results show that the Bayesian approach helps with the trajectory correction and gives better estimations with the increase of the amount of the prior information. The suggested method is efficient and requires, apart from the GPS/IMU measurements, only information about the vehicle locations during previous traffic signs detections.

Адекватное моделирование сложной динамики городских транспортных потоков требует сбора больших объемов данных для определения характера соответствующих моделей и их калибровки. Вместе с тем оборудование специализированных постов наблюдения является весьма затратным мероприятием и не всегда технически возможно. Совокупность этих факторов приводит к недостаточному фактографическому обеспечению как систем оперативного управления транспортными потоками, так и специалистов по транспортному планированию с очевидными последствиями для качества принимаемых решений. В качестве способа обеспечить массовый сбор данных хотя бы для качественного анализа ситуаций достаточно давно применяется обзорные видеокамеры, транслирующие изображения в определенные ситуационные центры, где соответствующие операторы осуществляют контроль и управление процессами. Достаточно много таких обзорных камер предоставляют данные своих наблюдений в общий доступ, что делает их ценным ресурсом для транспортных исследований. Вместе с тем получение количественных данных с таких камер сталкивается с существенными проблемами, относящимися к теории и практике обработки видеоизображений, чему и посвящена данная работа. В работе исследуется практическое применение некоторых мейнстримовских нейросетевых технологий для определения основных характеристик реальных транспортных потоков, наблюдаемых камерами общего доступа, классифицируются возникающие при этом проблемы и предлагаются их решения. Для отслеживания объектов дорожного движения применяются варианты сверточных нейронных сетей, исследуются способы их применения для определения базовых характеристик транспортных потоков. Простые варианты нейронной сети используются для автоматизации при получении обучающих примеров для более глубокой нейронной сети YOLOv4. Сеть YOLOv4 использована для оценки характеристик движения (скорость, плотность потока) для различных направлений с записей камер видеонаблюдения.

Correct modeling of complex dynamics of urban transportation flows requires the collection of large volumes of empirical data to specify types of the modes and their identification. At the same time, setting a large number of observation posts is expensive and technically not always feasible. All this results in insufficient factographic support for the traffic control systems as well as for urban planners with the obvious consequences for the quality of their decisions. As one of the means to provide large-scale data collection at least for the qualitative situation analysis, the wide-area video cameras are used in different situation centers. There they are analyzed by human operators who are responsible for observation and control. Some video cameras provided their videos for common access, which makes them a valuable resource for transportation studies. However, there are significant problems with getting qualitative data from such cameras, which relate to the theory and practice of image processing. This study is devoted to the practical application of certain mainstream neuro-networking technologies for the estimation of essential characteristics of actual transportation flows. The problems arising in processing these data are analyzed, and their solutions are suggested. The convolution neural networks are used for tracking, and the methods for obtaining basic parameters of transportation flows from these observations are studied. The simplified neural networks are used for the preparation of training sets for the deep learning neural network YOLOv4 which is later used for the estimation of speed and density of automobile flows.

В данной работе представлено описание конструкции водного робота, движущегося по поверхности жидкости и приводимого в движение двумя внутренними подвижными массами. Корпус водного робота в сечении имеет форму симметричного крылового профиля с острой кромкой. На данном прототипе две внутренние массы перемещаются по окружностям и приводятся во вращение за счет одного двигателя постоянного тока и зубчатого механизма, передающего вращательный момент от двигателя к каждой массе. В качестве управляющего воздействия используются угловые скорости подвижных масс, а разработанная кинематическая схема передачи вращения от двигателя к подвижным массам позволяет реализовать вращение двух масс с равными по модулю угловыми скоростями, но при этом разным направлением вращения. А также на корпус данного робота имеется возможность устанавливать дополнительные хвостовые плавники различных форм и размеров. Также в работе для данного объекта представлены уравнения движения, записанные в форме уравнений Кирхгофа для движения твердого тела в идеальной жидкости, дополненные слагаемыми вязкого сопротивления. Представлено математическое описание дополнительных сил, действующих на гибкий хвостовой плавник. С разработанным прототипом робота проведены экспериментальные исследования по влиянию различных хвостовых плавников на скорость передвижения в жидкости. В данной работе на робота устанавливались хвостовые плавники одной формы и размеров, при этом обладающие разной жесткостью. Эксперименты проводились в бассейне с водой, над которым устанавливалась камера, на которую были получены видеозаписи всех экспериментов. Дальнейшая обработка видеозаписей позволила получить перемещения объекта, а также его линейные и угловые скорости. В работе показано различие в развиваемых роботом скоростях при движении без хвостового плавника, а также с хвостовыми плавниками, имеющими разную жесткость. Приведено сравнение развиваемых роботом скоростей, полученных в экспериментальных исследованиях, с результатами математического моделирования системы.

This paper describes the design of an aquatic robot moving on the surface of a fluid and driven by two internal moving masses. The body of the aquatic robot in cross section has the shape of a symmetrical airfoil with a sharp edge. In this prototype, two internal masses move in circles and are rotated by a single DC motor and a gear mechanism that transmits torque from the motor to each mass. Angular velocities of moving masses are used as a control action, and the developed kinematic scheme for transmitting rotation from the motor to the moving masses allows the rotation of two masses with equal angular velocities in magnitude, but with a different direction of rotation. It is also possible to install additional tail fins of various shapes and sizes on the body of this robot. Also in the work for this object, the equations of motion are presented, written in the form of Kirchhoff equations for the motion of a solid body in an ideal fluid, which are supplemented by terms of viscous resistance. A mathematical description of the additional forces acting on the flexible tail fin is presented. Experimental studies on the influence of various tail fins on the speed of motion in the fluid were carried out with the developed prototype of the robot. In this work, tail fins of the same shape and size were installed on the robot, while having different stiffness. The experiments were carried out in a pool with water, over which a camera was installed, on which video recordings of all the experiments were obtained. Next processing of the video recordings made it possible to obtain the object’s movements coordinates, as well as its linear and angular velocities. The paper shows the difference in the velocities developed by the robot when moving without a tail fin, as well as with tail fins having different stiffness. The comparison of the velocities developed by the robot, obtained in experimental studies, with the results of mathematical modeling of the system is given.

Эффективность подвижных робототехнических комплексов (ПРТК), осуществляющих мониторинг дорожной обстановки, городской инфраструктуры, последствий чрезвычайных ситуаций и пр., напрямую зависит от качества функционирования систем технического зрения, являющихся важнейшей частью ПРТК. В свою очередь, точность обработки изображений в системах технического зрения в существенной степени зависит от точности пространственной ориентации видеокамеры, размещаемой на ПРТК. Но при размещении видеокамер на ПРТК резко возрастает уровень погрешностей их пространственной ориентации, вызванных ветровыми и сейсмическими колебаниями мачты, движением ПРТК по пересеченной местности и пр. В связи с этим в статье рассмотрено общее решение задачи стохастической оценки параметров пространственной ориентации видеокамер в условиях как случайных колебаний мачты, так и произвольного характера движения ПРТК. Так как методы решения данной задачи на основе спутниковых измерений при высокой интенсивности естественных и искусственных радиопомех (способы формирования которых постоянно совершенствуются) не в состоянии обеспечить требуемую точность решения, то в основу предложенного подхода положено использование автономных средств измерения — инерциальных и неинерциальных. Но при их использовании возникает проблема построенияи стохастической оценки общей модели движения видеокамеры, сложность которой определяется произвольным движением ПРТК, случайными колебаниями мачты, помехами измеренияи др. В связи с нерешенностью данной проблемы на сегодняшний день в статье рассмотрен синтез как модели движения видеокамеры в самом общем случае, так и стохастической оценки ее параметров состояния. При этом разработанный алгоритм совместной оценки параметров пространственной ориентации видеокамеры, размещенной на мачте ПРТК, является инвариантным и к характеру движения мачты, и видеокамеры, и самого ПРТК, обеспечивая при этом устойчивость и требуемую точность оценивания при самых общих предположениях о характере помех чувствительных элементов используемого автономного измерительного комплекса. Результаты численного эксперимента позволяют сделать вывод о возможности практического применения предложенного подхода для решения задачи текущей пространственной ориентации ПРТК и размещенных на них видеокамер, причем с использованием недорогих автономных средств измерения.

The efficiency of mobile robotic systems (MRS) that monitor the traffic situation, urban infrastructure, consequences of emergency situations, etc., directly depends on the quality of vision systems, which are the most important part of MRS. In turn, the accuracy of image processing in vision systems depends to a great extent on the accuracy of spatial orientation of the video camera placed on the MRS. However, when video cameras are placed on the MRS, the level of errors of their spatial orientation increases sharply, caused by wind and seismic vibrations, movement of the MRS over rough terrain, etc. In this connection, the paper considers a general solution to the problem of stochastic estimation of spatial orientation parameters of video cameras in conditions of both random mast vibrations and arbitrary character of MRS movement. Since the methods of solving this problem on the basis of satellite measurements at high intensity of natural and artificial radio interference (the methods of formation of which are constantly being improved) are not able to provide the required accuracy of the solution, the proposed approach is based on the use of autonomous means of measurement — inertial and non-inertial. But when using them, the problem of building and stochastic estimation of the general model of video camera motion arises, the complexity of which is determined by arbitrary motion of the video camera, random mast oscillations, measurement disturbances, etc. The problem of stochastic estimation of the general model of video camera motion arises. Due to the unsolved nature of this problem, the paper considers the synthesis of both the video camera motion model in the most general case and the stochastic estimation of its state parameters. The developed algorithm for joint estimation of the spatial orientation parameters of the video camera placed on the mast of the MRS is invariant to the nature of motion of the mast, the video camera, and the MRS itself, providing stability and the required accuracy of estimation under the most general assumptions about the nature of interference of the sensitive elements of the autonomous measuring complex used. The results of the numerical experiment allow us to conclude that the proposed approach can be practically applied to solve the problem of the current spatial orientation of MRS and video cameras placed on them using inexpensive autonomous measuring devices.

Промышленная обработка изображений или «машинное зрение» в настоящее время является ключевой технологией во многих отраслях, поскольку эта технология может использоваться для оптимизации различных процессов. Целью настоящей работы является создание программно-аппаратного комплекса измерения габаритно-весовых характеристик груза на базе интеллектуальной системы, основанной на нейросетевых способах идентификации, позволяющих преодолеть технологические ограничения аналогичных комплексов, реализованных на ультразвуковых и инфракрасных измерительных датчиках. Разрабатываемый комплекс будет производить измерения грузов без ограничения на объемные и весовые характеристики груза, который необходимо тарифицировать и сортировать в рамках работы складских комплексов. В состав системы будет входить интеллектуальная компьютерная программа, определяющая объемно-весовые характеристики груза с использованием технологии машинного зрения и экспериментальный образец стенда измерения объёма и веса груза.

Проведен анализ исследований, посвященных решению аналогичных задач. Отмечено, что недостатком изученных способов являются очень высокие требования к расположению камеры, а также необходимость ручной работы при вычислении размеров, автоматизировать которую не представляется возможным без существенных доработок. В процессе работы исследованы различные способы распознавания объектов на изображениях с целью проведения предметной фильтрации по наличию груза и измерения его габаритных размеров. Получены удовлетворительные результаты при применении камер, сочетающих в себе как оптический способ захвата изображений, так и инфракрасные датчики. В результате работы разработана компьютерная программа, позволяющая захватывать непрерывный поток с видеокамер Intel RealSense с последующим извлечением из обозначенной области трехмерный объект и вычислять габаритные размеры объекта. На данном этапе выполнено: проведен анализ методик компьютерного зрения; разработан алгоритм для реализации задачи автоматического измерения грузов с использованием специальных камер; разработано программное обеспечение, позволяющее получать габаритные размеры объектов в автоматическом режиме.

Данная разработка по завершении работы может применяться как готовое решение для транспортных компаний, логистических центров, складов крупных производственных и торговых предприятий.

Industrial imaging or “machine vision” is currently a key technology in many industries as it can be used to optimize various processes. The purpose of this work is to create a software and hardware complex for measuring the overall and weight characteristics of cargo based on an intelligent system using neural network identification methods that allow one to overcome the technological limitations of similar complexes implemented on ultrasonic and infrared measuring sensors. The complex to be developed will measure cargo without restrictions on the volume and weight characteristics of cargo to be tariffed and sorted within the framework of the warehouse complexes. The system will include an intelligent computer program that determines the volume and weight characteristics of cargo using the machine vision technology and an experimental sample of the stand for measuring the volume and weight of cargo.

We analyzed the solutions to similar problems. We noted that the disadvantages of the studied methods are very high requirements for the location of the camera, as well as the need for manual operations when calculating the dimensions, which cannot be automated without significant modifications. In the course of the work, we investigated various methods of object recognition in images to carry out subject filtering by the presence of cargo and measure its overall dimensions. We obtained satisfactory results when using cameras that combine both an optical method of image capture and infrared sensors. As a result of the work, we developed a computer program allowing one to capture a continuous stream from Intel RealSense video cameras with subsequent extraction of a three-dimensional object from the designated area and to calculate the overall dimensions of the object. At this stage, we analyzed computer vision techniques; developed an algorithm to implement the task of automatic measurement of goods using special cameras and the software allowing one to obtain the overall dimensions of objects in automatic mode.

Upon completion of the work, this development can be used as a ready-made solution for transport companies, logistics centers, warehouses of large industrial and commercial enterprises.

Рассмотрена задача оптимального управления транспортным потоком в сети городских дорог. Управление осуществляется изменением длительностей рабочих фаз светофоров на регулируемых перекрестках. Приведено описание разработанной системы управления. В системе управления предусмотрено использование трех видов управлений: программного, с обратной связью и ручного. При управлении с обратной связью для определения количественных характеристик транспортного потока используются детекторы дорожной инфраструктуры, видеокамеры, индуктивные петлевые и радиолокационные датчики. Обработка сигналов с детекторов позволяет определить состояние транспортного потока в каждый текущий момент времени. Для определения моментов переключения рабочих фаз светофоров количественные характеристики транспортных потоков поступают в математическую модель транспортного потока, реализованную в вычислительной среде системы автоматического управления транспортными потоками. Модель представляет собой систему конечно-разностных рекуррентных уравнений и описывает изменение транспортного потока на каждом участке дороги в каждый такт времени на основе рассчитанных данных по характеристикам транспортного потока в сети, пропускным способностям маневров и распределению потока на перекрестках с альтернативными направлениями движения. Модель обладает свойствами масштабирования и агрегирования. Структура модели зависит от структуры графа управляемой сети дорог, а количество узлов в графе равно количеству рассматриваемых участков дорог сети. Моделирование изменений транспортного потока в режиме реального времени позволяет оптимально определять длительности рабочих фаз светофоров и обеспечивать управление транспортным потоком с обратной связью по его текущему состоянию. В работе рассмотрена система автоматического сбора и обработки данных, поступающих в модель. Для моделирования состояний транспортного потока в сети и решения задачи оптимального управления транспортным потоком разработан программный комплекс CTraf, краткое описание которого представлено в работе. Приведен пример решения задачи оптимального управления транспортным потокам в сети дорог города Москва на основе реальных данных.

The problem of optimal control of traffic flow in an urban road network is considered. The control is carried out by varying the duration of the working phases of traffic lights at controlled intersections. A description of the control system developed is given. The control system enables the use of three types of control: open-loop, feedback and manual. In feedback control, road infrastructure detectors, video cameras, inductive loop and radar detectors are used to determine the quantitative characteristics of current traffic flow state. The quantitative characteristics of the traffic flows are fed into a mathematical model of the traffic flow, implemented in the computer environment of an automatic traffic flow control system, in order to determine the moments for switching the working phases of the traffic lights. The model is a system of finite-difference recurrent equations and describes the change in traffic flow on each road section at each time step, based on retrived data on traffic flow characteristics in the network, capacity of maneuvers and flow distribution through alternative maneuvers at intersections. The model has scaling and aggregation properties. The structure of the model depends on the structure of the graph of the controlled road network. The number of nodes in the graph is equal to the number of road sections in the considered network. The simulation of traffic flow changes in real time makes it possible to optimally determine the duration of traffic light operating phases and to provide traffic flow control with feedback based on its current state. The system of automatic collection and processing of input data for the model is presented. In order to model the states of traffic flow in the network and to solve the problem of optimal traffic flow control, the CTraf software package has been developed, a brief description of which is given in the paper. An example of the solution of the optimal control problem of traffic flows on the basis of real data in the road network of Moscow is given.