Все выпуски

Приведены результаты исследований по идентификации каналов управляемого объекта, основанные на постобработке измерений с созданием модели многовходового управляемого объекта и последующем активном вычислительном эксперименте. Построение модели управляемого объекта осуществляется путем аппроксимации его поведения нейросетевой моделью по трендам, полученным в ходе пассивного эксперимента в режиме нормальной эксплуатации. Рекуррентная нейронная сеть, имеющая в своем составе элементы в виде обратных связей, позволяет моделировать поведение динамических объектов. Временны́е задержки входных сигналов и сигналов обратных связей позволяют моделировать поведение инерционных объектов с чистым запаздыванием. Обученная на примерах функционирования объекта с системой управления модель представлена динамической нейронной сетью и моделью регулятора с известной функцией регулирования. Нейросетевая модель эмулирует поведение системы и используется для проведения на ней опытов активного вычислительного эксперимента. Нейросетевая модель позволяет получить отклик управляемого объекта на испытательное воздействие, в том числе и на периодическое. По полученной комплексной частотной характеристике с применением метода наименьших квадратов находят значения параметров передаточной функции каналов объекта. Представлен пример идентификации канала имитационной системы управления. Имитационный объект имеет два входа и один выход и обладает различным транспортным запаздыванием по каналам передачи. Один из входов является управляющим воздействием, второй является контролируемым возмущением. Выходная управляемая величина изменяется в результате управляющего воздействия, вырабатываемого регулятором, работающим по пропорционально-интегральному закону регулирования, на основании отклонения управляемой величины от задания. Найденные параметры передаточных функций каналов имитационного объекта близки к значениям параметров исходного имитационного объекта. Приведенная ошибка реакции на единичное ступенчатое воздействие модели системы управления, построенной по результатам идентификации имитационной системы управления, не превышает 0.08. Рассматриваемые объекты относятся к классу технологических процессов с непрерывным характером производства. Подобные объекты характерны для химической, металлургической, горно-обогатительной, целлюлозно-бумажной и ряда других отраслей промышленности.

We present results of a study aimed at identification of a controlled object’s channels based on postprocessing of measurements with development of a model of a multiple-input controlled object and subsequent active modelling experiment. The controlled object model is developed using approximation of its behavior by a neural network model using trends obtained during a passive experiment in the mode of normal operation. Recurrent neural network containing feedback elements allows to simulate behavior of dynamic objects; input and feedback time delays allow to simulate behavior of inertial objects with pure delay. The model was taught using examples of the object’s operation with a control system and is presented by a dynamic neural network and a model of a regulator with a known regulation function. The neural network model simulates the system’s behavior and is used to conduct active computing experiments. Neural network model allows to obtain the controlled object’s response to an exploratory stimulus, including a periodic one. The obtained complex frequency response is used to evaluate parameters of the object’s transfer system using the least squares method. We present an example of identification of a channel of the simulated control system. The simulated object has two input ports and one output port and varying transport delays in transfer channels. One of the input ports serves as a controlling stimulus, the second is a controlled perturbation. The controlled output value changes as a result of control stimulus produced by the regulator operating according to the proportional-integral regulation law based on deviation of the controlled value from the task. The obtained parameters of the object’s channels’ transfer functions are close to the parameters of the input simulated object. The obtained normalized error of the reaction for a single step-wise stimulus of the control system model developed based on identification of the simulated control system doesn’t exceed 0.08. The considered objects pertain to the class of technological processes with continuous production. Such objects are characteristic of chemical, metallurgic, mine-mill, pulp and paper, and other industries.

В работе представлен метод подбора состава смесевого хладагента (СХА) с заданной изобарной кривой кипения с помощью искусственной нейронной сети (ИНС). Данный метод основан на использовании 1D-слоев сверточной нейронной сети. Для обучения нейронной сети была применена термодинамическая модель простого теплообменника в программе UniSim design с использованием уравнения состояния Пенга–Робинсона. С помощью термодинамической модели была создана синтетическая база данных по изобарным кривым кипения СХА разного состава. Для записи базы данных был разработан алгоритм на языке программирования Python, и с помощью COM интерфейса была выгружена информация по изобарным кривым кипения для 1 049 500 вариантов состава СХА. Генерация составов СХА была проведена с помощью метода Монте-Карло с равномерным распределением псевдослучайного числа. Авторами разработана архитектура искусственной нейронной сети, которая позволяет подбирать состав СХА. Для обучения ИНС была применена методика циклически изменяемого коэффициента обучения. В результате применения обученной ИНС был подобран состав СХА с минимальным температурным напором 3 К, а максимальным — не более 10 К между горячим и холодным потоками в теплообменнике. Было проведено сравнение предложенного метода с методом поиска наилучшего совпадения в исходной выборке по методу $k$-ближних соседей, а также со стандартным методом оптимизации SQP в программе UniSim design. Показано, что искусственная нейронная сеть может быть использована для подбора оптимального состава хладагента при анализе кривой охлаждения природного газа. Разработанный метод может помочь инженерам подбирать состав СХА в режиме реального времени, что позволит сократить энергетические затраты на сжижение природного газа.

The paper provides a method for selecting the composition of a refrigerant with a given isobaric cooling curve using an artificial neural network (ANN). This method is based on the use of 1D layers of a convolutional neural network. To train the neural network, we applied a technological model of a simple heat exchanger in the UniSim design program, using the Peng – Robinson equation of state.We created synthetic database on isobaric boiling curves of refrigerants of different compositions using the technological model. To record the database, an algorithm was developed in the Python programming language, and information on isobaric boiling curves for 1 049 500 compositions was uploaded using the COM interface. The compositions have generated by Monte Carlo method. Designed architecture of ANN allows select composition of a mixed refrigerant by 101 points of boiling curve. ANN gives mole flows of mixed refrigerant by composition (methane, ethane, propane, nitrogen) on the output layer. For training ANN, we used method of cyclical learning rate. For results demonstration we selected MR composition by natural gas cooling curve with a minimum temperature drop of 3 К and a maximum temperature drop of no more than 10 К, which turn better than we predicted via UniSim SQP optimizer and better than predicted by $k$-nearest neighbors algorithm. A significant value of this article is the fact that an artificial neural network can be used to select the optimal composition of the refrigerant when analyzing the cooling curve of natural gas. This method can help engineers select the composition of the mixed refrigerant in real time, which will help reduce the energy consumption of natural gas liquefaction.

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.

In today’s technology-driven world, lite devices like Internet of Things (IoT) devices and microcontrollers (MCUs) are becoming increasingly common. These devices are more energyefficient and affordable, often with reduced features compared to the standard versions such as very limited memory and processing power for typical machine learning models. However, modern machine learning models can have millions of parameters, resulting in a large memory footprint. This complexity not only makes it difficult to deploy these large models on resource constrained devices but also increases the risk of latency and inefficiency in processing, which is crucial in some cases where real-time responses are required such as autonomous driving and medical diagnostics. In recent years, neural networks have seen significant advancements in model optimization techniques that help deployment and inference on these small devices. This narrative review offers a thorough examination of the progression and latest developments in neural network optimization, focusing on key areas such as quantization, pruning, knowledge distillation, and neural architecture search. It examines how these algorithmic solutions have progressed and how new approaches have improved upon the existing techniques making neural networks more efficient. This review is designed for machine learning researchers, practitioners, and engineers who may be unfamiliar with these methods but wish to explore the available techniques. It highlights ongoing research in optimizing networks for achieving better performance, lowering energy consumption, and enabling faster training times, all of which play an important role in the continued scalability of neural networks. Additionally, it identifies gaps in current research and provides a foundation for future studies, aiming to enhance the applicability and effectiveness of existing optimization strategies.

В работе предложен адаптивный алгоритм, моделирующий процесс формирования начальных поведенческих навыков на примере системы «глаза–манипулятор» анимата. Ситуация формирования начальных поведенческих навыков возникает, например, когда ребенок осваивает управление своими руками на основе понимания связи между исходно неидентифицированными пятнами на сетчатке своих глаз и положением реального предмета. Поскольку навыки управления телом не «вшиты» исходно в головной и спинной мозг на уровне инстинктов, то человеческому ребенку, как и большинству детенышей других млекопитающих, приходится осваивать эти навыки в режиме поискового поведения. Поисковое поведение начинается с метода проб и ошибок в чистом виде, затем его вклад постепенно уменьшается по мере освоения своего тела и окружающей среды. Поскольку образцов правильного поведения на этом этапе развития организм не имеет, то единственным способом выделения правильных навыков является положительное подкрепление при достижении цели. Ключевой особенностью предлагаемого алгоритма является фиксация в режиме импринтинга только завершающих действий, которые привели к успеху, или, что очень важно, привели к уже знакомой запечатленной ситуации, однозначно приводящей к успеху. Со временем непрерывная цепочка правильных действий удлиняется — максимально используется предыдущий позитивный опыт, а негативный «забывается» и не используется. Тем самым наблюдается постепенная замена случайного поиска целенаправленными действиями, что наблюдается и у реальных детенышей.

Тем самым алгоритм способен устанавливать соответствие между закономерностями окружающего мира и «внутренними ощущениями», внутренним состоянием самого анимата. В предлагаемой модели анимата использовалось 2 типа нейросетей: 1) нейросеть NET1, на вход которой подавались текущие положения кисти руки и целевой точки, а на выходе — двигательные команды, направляющие «кисть» манипулятора анимата к целевой точке; 2) нейросеть NET2, которая на входе получала координаты цели и текущей координаты «кисти», а на выходе формировала значение вероятности того, что анимату уже «знакома» эта ситуация и он «знает», как на нее реагировать. Благодаря такой архитектуре у анимата есть возможность опираться на «опыт» нейросети в распознанных ситуациях, когда отклик от сети NET2 близок к 1, и, с другой стороны, запускать случайный поиск, когда опыта функционирования в этой области зрительного поля у анимата нет (отклик NET2 близок к 0).

In this paper, we propose an adaptive algorithm that simulates the process of forming the initial behavioral skills on the example of the system ‘eye-arm’ animat. The situation is the formation of the initial behavioral skills occurs, for example, when a child masters the management of their hands by understanding the relationship between baseline unidentified spots on the retina of his eye and the position of the real object. Since the body control skills are not ‘hardcoded’ initially in the brain and the spinal cord at the level of instincts, the human child, like most young of other mammals, it is necessary to develop these skills in search behavior mode. Exploratory behavior begins with trial and error and then its contribution is gradually reduced as the development of the body and its environment. Since the correct behavior patterns at this stage of development of the organism does not exist for now, then the only way to select the right skills is a positive reinforcement to achieve the objective. A key feature of the proposed algorithm is to fix in the imprinting mode, only the final action that led to success, and that is very important, led to the familiar imprinted situation clearly leads to success. Over time, the continuous chain is lengthened right action — maximum use of previous positive experiences and negative ‘forgotten’ and not used.

Thus there is the gradual replacement of the random search purposeful actions that observed in the real young. Thus, the algorithm is able to establish a correspondence between the laws of the world and the ‘inner feelings’, the internal state of the animat. The proposed animat model was used 2 types of neural networks: 1) neural network NET1 to the input current which is fed to the position of the brush arms and the target point, and the output of motor commands, directing ‘brush’ manipulator animat to the target point; 2) neural network NET2 is received at the input of target coordinates and the current coordinates of the ‘brush’ and the output value is formed likelihood that the animat already ‘know’ this situation, and he ‘knows’ how to react to it. With this architecture at the animat has to rely on the ‘experience’ of neural networks to recognize situations where the response from NET2 network of close to 1, and on the other hand, run a random search, when the experience of functioning in this area of the visual field in animat not (response NET2 close to 0).

Автоматизированные системы мониторинга городского трафика широко используются для решения различных задач в интеллектуальных транспортных системах различных регионов. Такие системы включают комплексы фотовидеофиксации, видеонаблюдения, управления дорожным трафиком и т. д. Для эффективного управления транспортным потоком и своевременного реагирования на дорожные инциденты необходимы непрерывный сбор и анализ потока информации, поступающей с данных комплексов, формирование прогнозных значений для дальнейшего выявления аномалий. При этом для повышения качества прогноза требуется агрегирование данных, поступающих из различных источников. Это позволяет уменьшить ошибку прогноза, связанную с ошибками и пропусками в исходных данных. В данной статье реализован подход к краткосрочному и среднесрочному прогнозированию транспортных потоков (5, 10, 15 минут) на основе агрегирования данных, поступающих от комплексов фотовидеофиксации и систем видеонаблюдения. Реализован прогноз с использованием различных архитектур рекуррентных нейронных сетей: LSTM, GRU, двунаправленной LSTM с одним и двумя слоями. Работа двунаправленной LSTM исследовалась для 64 и 128 нейронов в каждом слое. Исследовалась ошибка прогноза для различных размеров входного окна (1, 4, 12, 24, 48). Для оценки прогнозной ошибки использована метрика RMSE. В ходе проведенных исследований получено, что наименьшая ошибка прогноза (0.032405) достигается при использовании однослойной рекуррентной нейронной сети LSTM с 64 нейронами и размером входного окна, равном 24.

Automated urban traffic monitoring systems are widely used to solve various tasks in intelligent transport systems of different regions. They include video enforcement, video surveillance, traffic management system, etc. Effective traffic management and rapid response to traffic incidents require continuous monitoring and analysis of information from these complexes, as well as time series forecasting for further anomaly detection in traffic flow. To increase the forecasting quality, data fusion from different sources is needed. It will reduce the forecasting error, related to possible incorrect values and data gaps. We implemented the approach for short-term and middle-term forecasting of traffic flow (5, 10, 15 min) based on data fusion from video enforcement and video surveillance systems. We made forecasting using different recurrent neural network architectures: LSTM, GRU, and bidirectional LSTM with one and two layers. We investigated the forecasting quality of bidirectional LSTM with 64 and 128 neurons in hidden layers. The input window size (1, 4, 12, 24, 48) was investigated. The RMSE value was used as a forecasting error. We got minimum RMSE = 0.032405 for basic LSTM with 64 neurons in the hidden layer and window size = 24.

Deep learning’s power stems from complex architectures; however, these can lead to overfitting, where models memorize training data and fail to generalize to unseen examples. This paper proposes a novel probabilistic approach to mitigate this issue. We introduce two key elements: Truncated Log-Uniform Prior and Truncated Log-Normal Variational Approximation, and Automatic Relevance Determination (ARD) with Bayesian Deep Neural Networks (BDNNs). Within the probabilistic framework, we employ a specially designed truncated log-uniform prior for noise. This prior acts as a regularizer, guiding the learning process towards simpler solutions and reducing overfitting. Additionally, a truncated log-normal variational approximation is used for efficient handling of the complex probability distributions inherent in deep learning models. ARD automatically identifies and removes irrelevant features or weights within a model. By integrating ARD with BDNNs, where weights have a probability distribution, we achieve a variational bound similar to the popular variational dropout technique. Dropout randomly drops neurons during training, encouraging the model not to rely heavily on any single feature. Our approach with ARD achieves similar benefits without the randomness of dropout, potentially leading to more stable training.

To evaluate our approach, we have tested the model on two datasets: the Canadian Institute For Advanced Research (CIFAR-10) for image classification and a dataset of Macroscopic Images of Wood, which is compiled from multiple macroscopic images of wood datasets. Our method is applied to established architectures like Visual Geometry Group (VGG) and Residual Network (ResNet). The results demonstrate significant improvements. The model reduced overfitting while maintaining, or even improving, the accuracy of the network’s predictions on classification tasks. This validates the effectiveness of our approach in enhancing the performance and generalization capabilities of deep learning models.

Deep learning’s power stems from complex architectures; however, these can lead to overfitting, where models memorize training data and fail to generalize to unseen examples. This paper proposes a novel probabilistic approach to mitigate this issue. We introduce two key elements: Truncated Log-Uniform Prior and Truncated Log-Normal Variational Approximation, and Automatic Relevance Determination (ARD) with Bayesian Deep Neural Networks (BDNNs). Within the probabilistic framework, we employ a specially designed truncated log-uniform prior for noise. This prior acts as a regularizer, guiding the learning process towards simpler solutions and reducing overfitting. Additionally, a truncated log-normal variational approximation is used for efficient handling of the complex probability distributions inherent in deep learning models. ARD automatically identifies and removes irrelevant features or weights within a model. By integrating ARD with BDNNs, where weights have a probability distribution, we achieve a variational bound similar to the popular variational dropout technique. Dropout randomly drops neurons during training, encouraging the model not to rely heavily on any single feature. Our approach with ARD achieves similar benefits without the randomness of dropout, potentially leading to more stable training.

To evaluate our approach, we have tested the model on two datasets: the Canadian Institute For Advanced Research (CIFAR-10) for image classification and a dataset of Macroscopic Images of Wood, which is compiled from multiple macroscopic images of wood datasets. Our method is applied to established architectures like Visual Geometry Group (VGG) and Residual Network (ResNet). The results demonstrate significant improvements. The model reduced overfitting while maintaining, or even improving, the accuracy of the network’s predictions on classification tasks. This validates the effectiveness of our approach in enhancing the performance and generalization capabilities of deep learning models.

Рассматривается применение физически информированных нейронных сетей с использованием многослойных персептронов для решения задач Коши, в которых правые части уравнения являются непрерывными монотонно возрастающими, убывающими или осциллирующими функциями. С помощью вычислительных экспериментов изучено влияние метода построения приближенного нейросетевого решения, структуры нейронной сети, алгоритмов оптимизации и средств программной реализации на процесс обучения и точность полученного решения. Выполнен анализ эффективности работы наиболее часто используемых библиотек машинного обучения при разработке программ на языках программирования Python и C#. Показано, что применение языка C# позволяет сократить время обучения нейросетей на 20–40%. Выбор различных функций активации влияет на процесс обучения и точность приближенного решения. Наиболее эффективными в рассматриваемых задачах являются сигмоида и гиперболический тангенс. Минимум функции потерь достигается при определенном количестве нейронов скрытого слоя однослойной нейронной сети за фиксированное время обучения нейросетевой модели, причем усложнение структуры сети за счет увеличения числа нейронов не приводит к улучшению результатов обучения. При этом величина шага сетки между точками обучающей выборки, обеспечивающей минимум функции потерь, в рассмотренных задачах Коши практически одинакова. Кроме того, при обучении однослойных нейронных сетей наиболее эффективными для решения задач оптимизации являются метод Adam и его модификации. Дополнительно рассмотрено применение двух- и трех-слойных нейронных сетей. Показано, что в этих случаях целесообразно использовать алгоритм LBFGS, который по сравнению с методом Adam в ряде случаев требует на порядок меньшего времени обучения при достижении одинакового порядка точности. Исследованы также особенности обучения нейронной сети в задачах Коши, в которых решение является осциллирующей функцией с монотонно убывающей амплитудой. Для них необходимо строить нейросетевое решение не с постоянными, а с переменными весовыми коэффициентами, что обеспечивает преимущество такого подхода при обучении в тех узлах, которые расположены вблизи конечной точки интервала решения задачи.

Considered the application of physics-informed neural networks using multi layer perceptrons to solve Cauchy initial value problems in which the right-hand sides of the equation are continuous monotonically increasing, decreasing or oscillating functions. With the use of the computational experiments the influence of the construction of the approximate neural network solution, neural network structure, optimization algorithm and software implementation means on the learning process and the accuracy of the obtained solution is studied. The analysis of the efficiency of the most frequently used machine learning frameworks in software development with the programming languages Python and C# is carried out. It is shown that the use of C# language allows to reduce the time of neural networks training by 20–40%. The choice of different activation functions affects the learning process and the accuracy of the approximate solution. The most effective functions in the considered problems are sigmoid and hyperbolic tangent. The minimum of the loss function is achieved at the certain number of neurons of the hidden layer of a single-layer neural network for a fixed training time of the neural network model. It’s also mentioned that the complication of the network structure increasing the number of neurons does not improve the training results. At the same time, the size of the grid step between the points of the training sample, providing a minimum of the loss function, is almost the same for the considered Cauchy problems. Training single-layer neural networks, the Adam method and its modifications are the most effective to solve the optimization problems. Additionally, the application of twoand three-layer neural networks is considered. It is shown that in these cases it is reasonable to use the LBFGS algorithm, which, in comparison with the Adam method, in some cases requires much shorter training time achieving the same solution accuracy. The specificity of neural network training for Cauchy problems in which the solution is an oscillating function with monotonically decreasing amplitude is also investigated. For these problems, it is necessary to construct a neural network solution with variable weight coefficient rather than with constant one, which improves the solution in the grid cells located near by the end point of the solution interval.

Для систем когнитивного радио актуальным является использование эффективных алгоритмов поиска свободных каналов, которые могут быть предоставлены вторичным пользователям. Поэтому данная статья посвящена повышению точности прогнозирования занятости частотного ресурса системы сотовой связи с использованием пространственно-временных карт радиосреды. Формирование карты радиосреды осуществляется для системы сотовой связи четвертого поколения Long-Term Evolution. С учетом этого разработана структура модели, включающая генерацию данных и позволяющая выполнять обучение и тестирование искусственной нейронной сети для прогнозирования занятости частотных ресурсов, представленных в виде содержимого ячеек карты радиосреды. Описана методика оценки точности прогнозирования. Имитационная модель системы сотовой связи реализована в программной среде MatLab. Разработанная модель прогнозирования занятости частотного ресурса реализована на языке программирования Python. Представлена полная файловая структура модели. Эксперименты выполнены с использованием искусственных нейронных сетей на основе архитектур нейронных сетей Long Short-Term Memory и Колмогорова – Арнольда с учетом ее модификации. Установлено, что при равном количестве параметров нейронная сеть Колмогорова – Арнольда обучается быстрее для данной задачи. Полученные результаты исследований свидетельствуют о повышении точности прогнозирования занятости частотного ресурса системы сотовой связи при использовании нейронной сети Колмогорова – Арнольда.

For cognitive radio systems, it is important to use efficient algorithms that search for free channels that can be provided to secondary users. Therefore, this paper is devoted to improving the accuracy of prediction frequency resource occupancy of a cellular communication system using spatiotemporal radio environment maps. The formation of a radio environment map is implemented for the fourthgeneration cellular communication system Long-Term Evolution. Taking this into account, a model structure has been developed that includes data generation and allows training and testing of an artificial neural network to predict the occupancy of frequency resources presented as the contents of radio environment map cells. A method for assessing prediction accuracy is described. The simulation model of the cellular communication system is implemented in the MatLab. The developed frequency resource occupancy prediction model is implemented in the Python. The complete file structure of the model is presented. The experiments were performed using artificial neural networks based on the Long Short-Term Memory and Kolmogorov – Arnold neural network architectures, taking into account its modification. It was found that with an equal number of parameters, the Kolmogorov –Arnold neural network learns faster for a given task. The obtained research results indicate an increase in the accuracy of prediction the occupancy of the frequency resource of the cellular communication system when using the Kolmogorov – Arnold neural network.

Число работ, посвященных прогнозированию инфекционной заболеваемости, стремительно растет по мере появления статистики, позволяющей провести анализ. В настоящей статье представлен обзор основных решений, доступных сегодня для формирования как краткосрочных, так и долгосрочных проекций заболеваемости; указаны их ограничения и возможности практического применения. Рассмотрены традиционные методы анализа временных рядов — регрессионные и авторегрессионные модели; подходы, опирающиеся на машинное обучение — байесовские сети и искусственные нейронные сети; рассуждения на основе прецедентов; техники, базирующиеся на решении задачи фильтрации. Перечислены важнейшие направления разработки математических моделей распространения заболевания: классические аналитические модели, детерминированные и стохастические, а также современные имитационные модели, сетевые и агентные.

The number of papers addressing the forecasting of the infectious disease morbidity is rapidly growing due to accumulation of available statistical data. This article surveys the major approaches for the shortterm and the long-term morbidity forecasting. Their limitations and the practical application possibilities are pointed out. The paper presents the conventional time series analysis methods — regression and autoregressive models; machine learning-based approaches — Bayesian networks and artificial neural networks; case-based reasoning; filtration-based techniques. The most known mathematical models of infectious diseases are mentioned: classical equation-based models (deterministic and stochastic), modern simulation models (network and agent-based).

Краткосрочное прогнозирование потока трафика является однойиз основных задач моделирования транспортных систем, основное назначение которой — контроль дорожного движения, сообщение об авариях, избежание дорожных пробок за счет знания потока трафика и последующего планирования транспортировки. Существует два типа подходов для решения этой задачи: математическое моделирование трафика и модель с использованием количественных данных трафика. Тем не менее большинство пространственно-временных моделейст радают от высокой математической сложности и низкой эффективности. Искусственные нейронные сети, один из видных подходов второго типа, показывают обещающие результаты в моделировании динамики транспортнойс ети. В данной работе представлена архитектура нейронной сети, используемойдля прогнозирования скоростейт ранспортного потока на графе дорожной сети. Модель основана на объединении рекуррентнойней ронной сети и сверточнойней ронной сети на графе, где рекуррентная нейронная сеть используется для моделирования временных зависимостей, а сверточная нейронная сеть — для извлечения пространственных свойств из трафика. Для получения предсказанийна несколько шагов вперед используется архитектура encoder-decoder, позволяющая уменьшить накопление шума из-за неточных предсказаний. Для моделирования сложных зависимостей мы используем модель, состоящую из нескольких слоев. Нейронные сети с глубокойархитек туройсло жны для тренировки; для ускорения процесса тренировки мы используем skip-соединения между каждым слоем, так что каждыйслой учит только остаточную функцию по отношению к предыдущему слою. Полученная объединенная нейронная сеть тренировалась на необработанных данных с сенсоров транспортного потока из сети шоссе в США с разрешением в 5 минут. 3 метрики — средняя абсолютная ошибка, средняя относительная ошибка, среднеквадратическая ошибка — использовались для оценки качества предсказания. Было установлено, что по всем метрикам предложенная модель имеет более низкую погрешность предсказания по сравнению с ранее опубликованными моделями, такими как Vector Auto Regression, Long Short-Term Memory и Graph Convolution GRU.

The short-term prediction of road traffic condition is one of the main tasks of transportation modelling. The main purpose of which are traffic control, reporting of accidents, avoiding traffic jams due to knowledge of traffic flow and subsequent transportation planning. A number of solutions exist — both model-driven and data driven had proven to be successful in capturing the dynamics of traffic flow. Nevertheless, most space-time models suffer from high mathematical complexity and low efficiency. Artificial Neural Networks, one of the prominent datadriven approaches, show promising performance in modelling the complexity of traffic flow. We present a neural network architecture for traffic flow prediction on a real-world road network graph. The model is based on the combination of a recurrent neural network and graph convolutional neural network. Where a recurrent neural network is used to model temporal dependencies, and a convolutional neural network is responsible for extracting spatial features from traffic. To make multiple few steps ahead predictions, the encoder-decoder architecture is used, which allows to reduce noise propagation due to inexact predictions. To model the complexity of traffic flow, we employ multilayered architecture. Deeper neural networks are more difficult to train. To speed up the training process, we use skip-connections between each layer, so that each layer teaches only the residual function with respect to the previous layer outputs. The resulting neural network was trained on raw data from traffic flow detectors from the US highway system with a resolution of 5 minutes. 3 metrics: mean absolute error, mean relative error, mean-square error were used to estimate the quality of the prediction. It was found that for all metrics the proposed model achieved lower prediction error than previously published models, such as Vector Auto Regression, LSTM and Graph Convolution GRU.