Все выпуски

В работе рассмотрен алгоритм нечеткой системы управления существенно нелинейным динамическим объектом. Для решения нелинейной задачи оптимального управления предлагается использовать линейно-квадратичное регулирование (LQR — linear quadratic regulator) с моделью Такаги–Сугено (Takagi–Sugeno). Алгоритм может быть использован для проектирования систем оптимального управления детерминированными нелинейными объектами. Предложено использование алгоритма функционирования оптимальной системы управления для управления вращательным движением летательного аппарата.

The algorithm of fuzzy control system essentially nonlinear dynamic object is considered in this article. For solving nonlinear optimal control problem is proposed to use the method of linear quadratic regulation (LQR) with fuzzy Takagi–Sugeno model. The algorithm can be used for the design of deterministic optimal control of nonlinear objects. The algorithm of optimal control for controlling the rotational motion of a space vehicle is proposed.

Наиболее простым и востребованным практикой методом управления светофорной сигнализацией является предрассчитанное регулирование, когда параметры работы светофорного объекта рассчитываются заранее и затем активируются согласно расписанию. В работе предложена методика формирования сигнального плана, позволяющая рассчитать программы регулирования и установить период их активности. Подготовка исходных данных для проведения расчета включает формирование временного ряда суточной интенсивности движения с интервалом 15 минут. При проведении полевых обследований возможно отсутствие части измерений интенсивности движения. Для восполнения недостающих значений предложено использование кубической сплайн-интерполяции временного ряда. Следующем шагом методики является расчет суточного набора сигнальных планов. В работе приведены зависимости, позволяющие рассчитать оптимальную длительность цикла регулирования и разрешающих движение фаз и установить период их активности. Существующие системы управления движением имеют ограничения на количество используемых программ регулирования. Для сокращения количества сигнальных планов и определения периода их активности используется кластеризация методом $k$-средних в пространстве длительности транспортных фаз. В новом суточном сигнальном плане длительность фаз определяется координатами полученных центров кластеров, а периоды активности устанавливаются элементами, вошедшими в кластер. Апробация на числовом примере показала, что при количестве кластеров 10 отклонение оптимальной длительности фаз от центров кластеров не превышает 2 с. Для проведения оценки эффективности разработанной методики на примере реального пересечения со светофорным регулированием. На основе натурных обследований схемы движения и транспортного спроса разработана микроскопическая модель для программы SUMO (Simulation of Urban Mobility). Оценка эффективности произведена на основе потерь транспорта, оцениваемых затратами времени на передвижение. Имитационное моделирование многопрограммного управления сигналами светофора показало снижение времени задержки (в сравнении с однопрограммным управлением) на 20 %. Предложенная методика позволяет автоматизировать процесс расчета суточных сигнальных планов и установки времени их активности.

The simplest and most desirable method of traffic signal control is precalculated regulation, when the parameters of the traffic light object operation are calculated in advance and activated in accordance to a schedule. This work proposes a method of forming a signal plan that allows one to calculate the control programs and set the period of their activity. Preparation of initial data for the calculation includes the formation of a time series of daily traffic intensity with an interval of 15 minutes. When carrying out field studies, it is possible that part of the traffic intensity measurements is missing. To fill up the missing traffic intensity measurements, the spline interpolation method is used. The next step of the method is to calculate the daily set of signal plans. The work presents the interdependencies, which allow one to calculate the optimal durations of the control cycle and the permitting phase movement and to set the period of their activity. The present movement control systems have a limit on the number of control programs. To reduce the signal plans' number and to determine their activity period, the clusterization using the $k$-means method in the transport phase space is introduced In the new daily signal plan, the duration of the phases is determined by the coordinates of the received cluster centers, and the activity periods are set by the elements included in the cluster. Testing on a numerical illustration showed that, when the number of clusters is 10, the deviation of the optimal phase duration from the cluster centers does not exceed 2 seconds. To evaluate the effectiveness of the developed methodology, a real intersection with traffic light regulation was considered as an example. Based on field studies of traffic patterns and traffic demand, a microscopic model for the SUMO (Simulation of Urban Mobility) program was developed. The efficiency assessment is based on the transport losses estimated by the time spent on movement. Simulation modeling of the multiprogram control of traffic lights showed a 20% reduction in the delay time at the traffic light object in comparison with the single-program control. The proposed method allows automation of the process of calculating daily signal plans and setting the time of their activity.

В работе рассматривается возможность сравнения и классификации динамических систем на основе топологического анализа данных. Определение мер взаимодействия между каналами динамических систем на основе методов HIIA (Hankel Interaction Index Array) и PM (Participation Matrix) позволяет построить графы HIIA и PM и их матрицы смежности. Для любой линейной динамической системы может быть построен аппроксимирующий ориентированный граф, вершины которого соответствуют компонентам вектора состояния динамической системы, а дуги — мерам взаимного влияния компонент вектора состояния. Построение меры расстояния (близости) между графами различных динамических систем имеет важное значение, например для идентификации штатного функционирования или отказов динамической системы или системы управления. Для сравнения и классификации динамических систем в работе предварительно формируются взвешенные ориентированные графы, соответствующие динамическим системам, с весами ребер, соответствующими мерам взаимодействия между каналами динамической системы. На основе методов HIIA и PM определяются матрицы мер взаимодействия между каналами динамических систем. В работе приведены примеры формирования взвешенных ориентированных графов для различных динамических систем и оценивания расстояния между этими системами на основе топологического анализа данных. Приведен пример формирования взвешенного ориентированного графа для динамической системы, соответствующей системе управления компонентами вектора угловой скорости летательного аппарата, который рассматривается как твердое тело с главными моментами инерции. Метод топологического анализа данных, используемый в настоящей работе для оценки расстояния между структурами динамических систем, основан на формировании персистентных баркодов и функций персистентного ландшафта. Методы сравнения динамических систем на основе топологического анализа данных могут быть использованы при классификации динамических систем и систем управления. Применение традиционной алгебраической топологии для анализа объектов не позволяет получить достаточное количество информации из-за уменьшения размерности данных (в связи потерей геометрической информации). Методы топологического анализа данных обеспечивают баланс между уменьшением размерности данных и характеристикой внутренней структуры объекта. В настоящей работе используются методы топологического анализа данных, основанные на применении фильтраций Vietoris-Rips и Dowker для присвоения каждому топологическому признаку геометрической размерности. Для отображения персистентных диаграмм метода топологического анализа данных в гильбертово пространство и последующей количественной оценки сравнения динамических систем используются функции персистентного ландшафта. На основе построения функций персистентного ландшафта предлагаются сравнение графов динамических систем и нахождение расстояний между динамическими системами. Для этой цели предварительно формируются взвешенные ориентированные графы, соответствующие динамическим системам. Приведены примеры нахождения расстояния между объектами (динамическими системами).

The paper considers the possibility of comparing and classifying dynamical systems based on topological data analysis. Determining the measures of interaction between the channels of dynamic systems based on the HIIA (Hankel Interaction Index Array) and PM (Participation Matrix) methods allows you to build HIIA and PM graphs and their adjacency matrices. For any linear dynamic system, an approximating directed graph can be constructed, the vertices of which correspond to the components of the state vector of the dynamic system, and the arcs correspond to the measures of mutual influence of the components of the state vector. Building a measure of distance (proximity) between graphs of different dynamic systems is important, for example, for identifying normal operation or failures of a dynamic system or a control system. To compare and classify dynamic systems, weighted directed graphs corresponding to dynamic systems are preliminarily formed with edge weights corresponding to the measures of interaction between the channels of the dynamic system. Based on the HIIA and PM methods, matrices of measures of interaction between the channels of dynamic systems are determined. The paper gives examples of the formation of weighted directed graphs for various dynamic systems and estimation of the distance between these systems based on topological data analysis. An example of the formation of a weighted directed graph for a dynamic system corresponding to the control system for the components of the angular velocity vector of an aircraft, which is considered as a rigid body with principal moments of inertia, is given. The method of topological data analysis used in this work to estimate the distance between the structures of dynamic systems is based on the formation of persistent barcodes and persistent landscape functions. Methods for comparing dynamic systems based on topological data analysis can be used in the classification of dynamic systems and control systems. The use of traditional algebraic topology for the analysis of objects does not allow obtaining a sufficient amount of information due to a decrease in the data dimension (due to the loss of geometric information). Methods of topological data analysis provide a balance between reducing the data dimension and characterizing the internal structure of an object. In this paper, topological data analysis methods are used, based on the use of Vietoris-Rips and Dowker filtering to assign a geometric dimension to each topological feature. Persistent landscape functions are used to map the persistent diagrams of the method of topological data analysis into the Hilbert space and then quantify the comparison of dynamic systems. Based on the construction of persistent landscape functions, we propose a comparison of graphs of dynamical systems and finding distances between dynamical systems. For this purpose, weighted directed graphs corresponding to dynamical systems are preliminarily formed. Examples of finding the distance between objects (dynamic systems) are given.

Рассмотрены особенности метода компонентных цепей (МКЦ) при моделировании химико-технологических систем (ХТС) с учетом его практической значимости. Программно-алгоритмической реализацией МКЦ в настоящее время является комплекс программ компьютерного моделирования МАРС (моделирование и автоматический расчет систем). МАРС позволяет осуществлять разработку и анализ компьютерных моделей ХТС с заданными параметрами эксперимента. В ходе настоящей работы осуществлена разработка модели реактора идеального смешения с учетом физико-химических особенностей процесса экстракции урана в присутствии азотной кислоты и трибутилфосфата в среде моделирования МАРС. В качестве результатов представлены кинетические кривые концентрации урана, извлекаемого в органическую фазу. Исследована и подтверждена возможность использования МКЦ для описания и анализа сложных химико-технологических систем ядерно-топливного цикла, в том числе для экстракционных процессов. Использование полученных результатов планируется применять при разработке виртуальной лаборатории, которая будет включать основные аппараты химической промышленности, а также сложные технические управляемые системы (СТУС) на их основе и позволит приобрести широкий спектр профессиональных компетенций по работе с «цифровыми двойниками» реальных объектов управления, в том числе получить первоначальный опыт работы с основными аппаратами ядерной отрасли. Помимо непосредственной прикладной пользы, также предполагается, что успешная реализация отечественного комплекса программ компьютерного моделирования и технологий на основе полученных результатов позволит найти решения к проблемам организации национального технологического суверенитета и импортозамещения.

The features of the component circuits method (MCC) in modeling chemical-technological systems (CTS) are considered, taking into account its practical significance. The software and algorithmic implementation of which is currently a set of computer modeling programs MARS (Modeling and Automatic Research of Systems). MARS allows the development and analysis of mathematical models with specified experimental parameters. Research and calculations were carried out using a specialized software and hardware complex MARS, which allows the development of mathematical models with specified experimental parameters. In the course of this work, the model of a perfect-mixing reactor was developed in the MARS modeling environment taking into account the physicochemical features of the uranium extraction process in the presence of nitric acid and tributyl phosphate. As results, the curves of changes of the concentration of uranium extracted into the organic phase are presented. The possibility of using MCC for the description and analysis of CTS, including extraction processes, has been confirmed. The use of the obtained results is planned to be used in the development of a virtual laboratory, which will include the main apparatus of the chemical industry, as well as complex technical controlled systems (CTСS) based on them and will allow one to acquire a wide range of professional competencies in working with “digital twins” of real control objects, including gaining initial experience working with the main equipment of the nuclear industry. In addition to the direct applied benefits, it is also assumed that the successful implementation of the domestic complex of computer modeling programs and technologies based on the obtained results will make it possible to find solutions to the problems of organizing national technological sovereignty and import substitution.

Модель динамики численности популяций лесных насекомых использована для моделирования взаимодействий «лес–насекомые» и оценки возможных повреждений лесных насаждений насекомыми-вредителями. Согласно этой модели популяция рассматривалась как система автоматической регуляции, в которой входные переменные характеризуют влияние модифицирующих (прежде всего климатических) факторов, а цепи обратной связи описывают влияние регулирующих факторов (паразитов и хищников, внутрипопуляционных взаимодействий). На основе этой модели популяционной динамики предложена методика стресс-тестирования — оценки рисков повреждений и гибели лесных насаждений по отношению к вспышкам массового размножения насекомых. Такой опасный вид лесных вредителей, как сосновая пяденица (Bupalus piniarius L.), рассматривался в качестве объекта анализа; проводились компьютерные эксперименты по оценке рисков возникновения вспышек массового размножения при возможных климатических изменениях на территории Средней Сибири. Модельные эксперименты по- казали, что при достаточно умеренном потеплении (не более 4 °С в летний период) риск воздействия насекомых на лес существенно не возрастает. Однако более сильное потепление на территории Средней Сибири в сочетании с уменьшением количества осадков в летний период может вызвать существенное увеличение частоты вспышек массового размножения основного вредителя сосновых лесов — сосновой пяденицы.

A model of forest insect population dynamics used to simulate of “forest-insect” interactions and for estimation of possible damages of forest stand by pests. This model represented a population as control system where the input variables characterized the influence of modifier (climatic) factors and the feedback loop describes the effect of regulatory factors (parasites, predators and population interactions). The technique of stress testing on the basis of population dynamics model proposed for assessment of the risks of forest stand damage and destruction after insect impact. The dangerous forest pest pine looper Bupalus piniarius L. considered as the object of analysis. Computer experiments were conducted to assess of outbreak risks with possible climate change in the territory of Central Siberia. Model experiments have shown that risk of insect impact on the forest is not increased significantly in condition of sufficiently moderate warming (not more than 4 °C in summer period). However, a stronger warming in the territory of Central Siberia, combined with a dry summer condition could cause a significant increase in the risk of pine looper outbreaks.

Адекватное моделирование сложной динамики городских транспортных потоков требует сбора больших объемов данных для определения характера соответствующих моделей и их калибровки. Вместе с тем оборудование специализированных постов наблюдения является весьма затратным мероприятием и не всегда технически возможно. Совокупность этих факторов приводит к недостаточному фактографическому обеспечению как систем оперативного управления транспортными потоками, так и специалистов по транспортному планированию с очевидными последствиями для качества принимаемых решений. В качестве способа обеспечить массовый сбор данных хотя бы для качественного анализа ситуаций достаточно давно применяется обзорные видеокамеры, транслирующие изображения в определенные ситуационные центры, где соответствующие операторы осуществляют контроль и управление процессами. Достаточно много таких обзорных камер предоставляют данные своих наблюдений в общий доступ, что делает их ценным ресурсом для транспортных исследований. Вместе с тем получение количественных данных с таких камер сталкивается с существенными проблемами, относящимися к теории и практике обработки видеоизображений, чему и посвящена данная работа. В работе исследуется практическое применение некоторых мейнстримовских нейросетевых технологий для определения основных характеристик реальных транспортных потоков, наблюдаемых камерами общего доступа, классифицируются возникающие при этом проблемы и предлагаются их решения. Для отслеживания объектов дорожного движения применяются варианты сверточных нейронных сетей, исследуются способы их применения для определения базовых характеристик транспортных потоков. Простые варианты нейронной сети используются для автоматизации при получении обучающих примеров для более глубокой нейронной сети YOLOv4. Сеть YOLOv4 использована для оценки характеристик движения (скорость, плотность потока) для различных направлений с записей камер видеонаблюдения.

Correct modeling of complex dynamics of urban transportation flows requires the collection of large volumes of empirical data to specify types of the modes and their identification. At the same time, setting a large number of observation posts is expensive and technically not always feasible. All this results in insufficient factographic support for the traffic control systems as well as for urban planners with the obvious consequences for the quality of their decisions. As one of the means to provide large-scale data collection at least for the qualitative situation analysis, the wide-area video cameras are used in different situation centers. There they are analyzed by human operators who are responsible for observation and control. Some video cameras provided their videos for common access, which makes them a valuable resource for transportation studies. However, there are significant problems with getting qualitative data from such cameras, which relate to the theory and practice of image processing. This study is devoted to the practical application of certain mainstream neuro-networking technologies for the estimation of essential characteristics of actual transportation flows. The problems arising in processing these data are analyzed, and their solutions are suggested. The convolution neural networks are used for tracking, and the methods for obtaining basic parameters of transportation flows from these observations are studied. The simplified neural networks are used for the preparation of training sets for the deep learning neural network YOLOv4 which is later used for the estimation of speed and density of automobile flows.

Рассматривается применение консервативного численного метода потоков для изучения вихревых структур в массивных, быстровращающихся компактных астрофизических объектах, находящихся в условиях самогравитации. Моделирование осуществляется для объектов с различной массой и скоростью вращения. Визуализируются картины вихревой структуры объектов. В расчетах используется газодинамическая модель, в которой газ принимается совершенным и невязким. Численная методика основана на конечно-разностной аппроксимации законов сохранения аддитивных характеристик среды для конечного объема. При этом используются upwind-аппроксимации плотностей распределения массы, компонент импульса и полной энергии. Для моделирования объектов, обладающих быстрым вращением, при эволюционном расчете осуществляется контроль сохранения компонент момента импульса, законы сохранения для которых не входят в систему основных уравнений. Эволюционный расчет осуществляется на основе параллельных алгоритмов, реализованных на вычислительном комплексе кластерной архитектуры. Алгоритмы основаны на стандартизованной системе передачи сообщений Message Passing Interface (MPI). При этом используются как блокирующие, так и неблокирующие процедуры обмена с контролем завершения операций. Осуществляется распараллеливание по пространству по двум или трем направле- ниям в зависимости от размера области интегрирования и параметров вычислительной сетки. Одновременно с распараллеливанием по пространству для каждой подобласти осуществляется распараллеливание по физическим факторам: расчет конвективного переноса и гравитационных сил реализуется параллельно на разных процессорах, что позволяет повысить эффективность алгоритмов. Показывается реальная возможность прямого вычисления гравитационных сил посредством суммирования взаимодействия между всеми конечными объемами в области интегрирования. Для методов конечного объема такой подход кажется более последовательным, чем решение уравнения Пуассона для гравитационного потенциала. Численные расчеты осуществлялись на вычислительном комплексе кластерной архитектуры с пиковой производительностью 523 TFlops. В расчетах использовалось до тысячи процессоров.

The application of a conservative numerical method of fluxes is examined for studying the vortex structures in the massive, fast-turned compact astrophysical objects, which are in self-gravity conditions. The simulation is accomplished for the objects with different mass and rotational speed. The pictures of the vortex structure of objects are visualized. In the calculations the gas-dynamic model is used, in which gas is accepted perfected and nonviscous. Numerical procedure is based on the finite-difference approximation of the conservation laws of the additive characteristics of medium for the finite volume. The “upwind” approximations of the densities of distribution of mass, components of momentum and total energy are applied. For the simulation of the objects, which possess fast-spin motion, the control of conservation for the component of moment of momentun is carried out during calculation. Evolutionary calculation is carried out on the basis of the parallel algorithms, realized on the computer complex of cluster architecture. Algorithms are based on the standardized system of message transfer Message Passing Interface (MPI). The blocking procedures of exchange and non-blocking procedures of exchange with control of the completion of operation are used. The parallelization on the space in two or three directions is carried out depending on the size of integration area and parameters of computational grid. For each subarea the parallelization based on the physical factors is carried out also: the calculations of gas dynamics part and gravitational forces are realized on the different processors, that allows to raise the efficiency of algorithms. The real possibility of the direct calculation of gravitational forces by means of the summation of interaction between all finite volumes in the integration area is shown. For the finite volume methods this approach seems to more consecutive than the solution of Poisson’s equation for the gravitational potential. Numerical calculations were carried out on the computer complex of cluster architecture with the peak productivity 523 TFlops. In the calculations up to thousand processors was used.

Приведены результаты исследований по идентификации каналов управляемого объекта, основанные на постобработке измерений с созданием модели многовходового управляемого объекта и последующем активном вычислительном эксперименте. Построение модели управляемого объекта осуществляется путем аппроксимации его поведения нейросетевой моделью по трендам, полученным в ходе пассивного эксперимента в режиме нормальной эксплуатации. Рекуррентная нейронная сеть, имеющая в своем составе элементы в виде обратных связей, позволяет моделировать поведение динамических объектов. Временны́е задержки входных сигналов и сигналов обратных связей позволяют моделировать поведение инерционных объектов с чистым запаздыванием. Обученная на примерах функционирования объекта с системой управления модель представлена динамической нейронной сетью и моделью регулятора с известной функцией регулирования. Нейросетевая модель эмулирует поведение системы и используется для проведения на ней опытов активного вычислительного эксперимента. Нейросетевая модель позволяет получить отклик управляемого объекта на испытательное воздействие, в том числе и на периодическое. По полученной комплексной частотной характеристике с применением метода наименьших квадратов находят значения параметров передаточной функции каналов объекта. Представлен пример идентификации канала имитационной системы управления. Имитационный объект имеет два входа и один выход и обладает различным транспортным запаздыванием по каналам передачи. Один из входов является управляющим воздействием, второй является контролируемым возмущением. Выходная управляемая величина изменяется в результате управляющего воздействия, вырабатываемого регулятором, работающим по пропорционально-интегральному закону регулирования, на основании отклонения управляемой величины от задания. Найденные параметры передаточных функций каналов имитационного объекта близки к значениям параметров исходного имитационного объекта. Приведенная ошибка реакции на единичное ступенчатое воздействие модели системы управления, построенной по результатам идентификации имитационной системы управления, не превышает 0.08. Рассматриваемые объекты относятся к классу технологических процессов с непрерывным характером производства. Подобные объекты характерны для химической, металлургической, горно-обогатительной, целлюлозно-бумажной и ряда других отраслей промышленности.

We present results of a study aimed at identification of a controlled object’s channels based on postprocessing of measurements with development of a model of a multiple-input controlled object and subsequent active modelling experiment. The controlled object model is developed using approximation of its behavior by a neural network model using trends obtained during a passive experiment in the mode of normal operation. Recurrent neural network containing feedback elements allows to simulate behavior of dynamic objects; input and feedback time delays allow to simulate behavior of inertial objects with pure delay. The model was taught using examples of the object’s operation with a control system and is presented by a dynamic neural network and a model of a regulator with a known regulation function. The neural network model simulates the system’s behavior and is used to conduct active computing experiments. Neural network model allows to obtain the controlled object’s response to an exploratory stimulus, including a periodic one. The obtained complex frequency response is used to evaluate parameters of the object’s transfer system using the least squares method. We present an example of identification of a channel of the simulated control system. The simulated object has two input ports and one output port and varying transport delays in transfer channels. One of the input ports serves as a controlling stimulus, the second is a controlled perturbation. The controlled output value changes as a result of control stimulus produced by the regulator operating according to the proportional-integral regulation law based on deviation of the controlled value from the task. The obtained parameters of the object’s channels’ transfer functions are close to the parameters of the input simulated object. The obtained normalized error of the reaction for a single step-wise stimulus of the control system model developed based on identification of the simulated control system doesn’t exceed 0.08. The considered objects pertain to the class of technological processes with continuous production. Such objects are characteristic of chemical, metallurgic, mine-mill, pulp and paper, and other industries.

В данной статье предлагается фреймворк sumo-atclib, который предоставляет удобный единообразный интерфейс для апробации разных по ограничениям алгоритмов адаптивного управления, например ограничения на длительности фаз, последовательности фаз, ограничения на минимальное время между управляющими воздействиями, который использует среду микроскопического моделирования транспорта с открытым исходным кодом SUMO. Фреймворк разделяет функционал контроллеров (класс TrafficController) и систему наблюдения и детектирования (класс StateObserver), что повторяет архитектуру реальных светофорных объектов и систем адаптивного управления и упрощает апробацию новыха лгоритмов, так как можно свободно варьировать сочетания разных контроллеров и систем детектирования транспортных средств. Также в отличие от большинства существующих решений добавлен класс дороги Road, который объединяет набор полос, это позволяет, например, определить смежность регулируемых перекрестков, в случаях когда на пути от одного перекрестка к другому количество полос меняется, а следовательно, граф дороги разбивается на несколько ребер. При это сами алгоритмы используют одинаковый интерфейс и абстрагированы от конкретных параметров детекторов, топологии сети, то есть предполагается, что это решение позволит транспортному инженеру протестировать уже готовые алгоритмы для нового сценария, без необходимости их адаптации под новые условия, что ускоряет процесс разработки управляющей системы и снижает накладные расходы на проектирование. В настоящий момент в пакете есть примеры алгоритмов MaxPressure и метода обучения с подкреплением Q-learning, база примеров также пополняется. Также фреймворк включает в себя набор сценариев SUMO для тестирования алгоритмов, в который входят как синтетические карты, так и хорошо верифицированные SUMO-сценарии, такие как Cologne и Ingolstadt. Кроме того, фреймворк предоставляет некоторый набор автоматически подсчитываемых метрик, таких как полное время в пути, время задержки, средняя скорость; также в фреймворке представлен готовый пример для визуализации метрик.

This article proposes the sumo-atclib framework, which provides a convenient uniform interface for testing adaptive control algorithms with different limitations, for example, restrictions on phase durations, phase sequences, restrictions on the minimum time between control actions, which uses the open source microscopic transport modeling environment SUMO. The framework shares the functionality of controllers (class TrafficController) and a monitoring and detection system (class StateObserver), which repeats the architecture of real traffic light objects and adaptive control systems and simplifies the testing of new algorithms, since combinations of different controllers and vehicle detection systems can be freely varied. Also, unlike most existing solutions, the road class Road has been added, which combines a set of lanes, this allows, for example, to determine the adjacency of regulated intersections, in cases when the number of lanes changes on the way from one intersection to another, and therefore the road graph is divided into several edges. At the same time, the algorithms themselves use the same interface and are abstracted from the specific parameters of the detectors, network topologies, that is, it is assumed that this solution will allow the transport engineer to test ready-made algorithms for a new scenario, without the need to adapt them to new conditions, which speeds up the development process of the control system, and reduces design overhead. At the moment, the package contains examples of MaxPressure algorithms and the Q-learning reinforcement learning method, the database of examples is also being updated. The framework also includes a set of SUMO scripts for testing algorithms, which includes both synthetic maps and well-verified SUMO scripts such as Cologne and Ingolstadt. In addition, the framework provides a set of automatically calculated metrics, such as total travel time, delay time, average speed; the framework also provides a ready-made example for visualization of metrics.

В работе предложен адаптивный алгоритм, моделирующий процесс формирования начальных поведенческих навыков на примере системы «глаза–манипулятор» анимата. Ситуация формирования начальных поведенческих навыков возникает, например, когда ребенок осваивает управление своими руками на основе понимания связи между исходно неидентифицированными пятнами на сетчатке своих глаз и положением реального предмета. Поскольку навыки управления телом не «вшиты» исходно в головной и спинной мозг на уровне инстинктов, то человеческому ребенку, как и большинству детенышей других млекопитающих, приходится осваивать эти навыки в режиме поискового поведения. Поисковое поведение начинается с метода проб и ошибок в чистом виде, затем его вклад постепенно уменьшается по мере освоения своего тела и окружающей среды. Поскольку образцов правильного поведения на этом этапе развития организм не имеет, то единственным способом выделения правильных навыков является положительное подкрепление при достижении цели. Ключевой особенностью предлагаемого алгоритма является фиксация в режиме импринтинга только завершающих действий, которые привели к успеху, или, что очень важно, привели к уже знакомой запечатленной ситуации, однозначно приводящей к успеху. Со временем непрерывная цепочка правильных действий удлиняется — максимально используется предыдущий позитивный опыт, а негативный «забывается» и не используется. Тем самым наблюдается постепенная замена случайного поиска целенаправленными действиями, что наблюдается и у реальных детенышей.

Тем самым алгоритм способен устанавливать соответствие между закономерностями окружающего мира и «внутренними ощущениями», внутренним состоянием самого анимата. В предлагаемой модели анимата использовалось 2 типа нейросетей: 1) нейросеть NET1, на вход которой подавались текущие положения кисти руки и целевой точки, а на выходе — двигательные команды, направляющие «кисть» манипулятора анимата к целевой точке; 2) нейросеть NET2, которая на входе получала координаты цели и текущей координаты «кисти», а на выходе формировала значение вероятности того, что анимату уже «знакома» эта ситуация и он «знает», как на нее реагировать. Благодаря такой архитектуре у анимата есть возможность опираться на «опыт» нейросети в распознанных ситуациях, когда отклик от сети NET2 близок к 1, и, с другой стороны, запускать случайный поиск, когда опыта функционирования в этой области зрительного поля у анимата нет (отклик NET2 близок к 0).

In this paper, we propose an adaptive algorithm that simulates the process of forming the initial behavioral skills on the example of the system ‘eye-arm’ animat. The situation is the formation of the initial behavioral skills occurs, for example, when a child masters the management of their hands by understanding the relationship between baseline unidentified spots on the retina of his eye and the position of the real object. Since the body control skills are not ‘hardcoded’ initially in the brain and the spinal cord at the level of instincts, the human child, like most young of other mammals, it is necessary to develop these skills in search behavior mode. Exploratory behavior begins with trial and error and then its contribution is gradually reduced as the development of the body and its environment. Since the correct behavior patterns at this stage of development of the organism does not exist for now, then the only way to select the right skills is a positive reinforcement to achieve the objective. A key feature of the proposed algorithm is to fix in the imprinting mode, only the final action that led to success, and that is very important, led to the familiar imprinted situation clearly leads to success. Over time, the continuous chain is lengthened right action — maximum use of previous positive experiences and negative ‘forgotten’ and not used.

Thus there is the gradual replacement of the random search purposeful actions that observed in the real young. Thus, the algorithm is able to establish a correspondence between the laws of the world and the ‘inner feelings’, the internal state of the animat. The proposed animat model was used 2 types of neural networks: 1) neural network NET1 to the input current which is fed to the position of the brush arms and the target point, and the output of motor commands, directing ‘brush’ manipulator animat to the target point; 2) neural network NET2 is received at the input of target coordinates and the current coordinates of the ‘brush’ and the output value is formed likelihood that the animat already ‘know’ this situation, and he ‘knows’ how to react to it. With this architecture at the animat has to rely on the ‘experience’ of neural networks to recognize situations where the response from NET2 network of close to 1, and on the other hand, run a random search, when the experience of functioning in this area of the visual field in animat not (response NET2 close to 0).