Все выпуски
- 2025 Том 17
- 2024 Том 16
- 2023 Том 15
- 2022 Том 14
- 2021 Том 13
- 2020 Том 12
- 2019 Том 11
- 2018 Том 10
- 2017 Том 9
- 2016 Том 8
- 2015 Том 7
- 2014 Том 6
- 2013 Том 5
- 2012 Том 4
- 2011 Том 3
- 2010 Том 2
- 2009 Том 1
-
Предварительное изучение передачи больших данных по компьютерной сети
Компьютерные исследования и моделирование, 2015, т. 7, № 3, с. 421-427Передача больших данных по компьютерной сети — это важная и неотъемлемая операция в прошлом, настоящем и в любом обозримом будущем. Существует несколько методов передачи данных по глобальной компьютерной сети (Интернет) с помощью ряда инструментов. В этой статье рассматривается передача данных из одной точки Интернета в другую точку Интернета в основном на большие расстояния: многие тысячи километров. В статье представлен анализ нескольких бесплатных систем передачи больших данных. Подчеркиваются наиболее важные архитектурные особенности и предлагается идея использования технологии ПКС на базе протокола Openflow для улучшения процесса передачи данных по нескольким параллельным каналам связи.
Preliminary study of big data transfer over computer network
Computer Research and Modeling, 2015, v. 7, no. 3, pp. 421-427Просмотров за год: 4.The transfer of Big Data over computer network is important and unavoidable operation in the past, now and in any feasible future. There are a number of methods to transfer the data over computer global network (Internet) with a range of tools. In this paper the transfer of one piece of Big Data from one point in the Internet to another point in Internet in general over long range distance: many thousands kilometers. Several free of charge systems to transfer the Big Data are analyzed here. The most important architecture features are emphasized and suggested idea to add SDN Openflow protocol technique for fine tuning the data transfer over several parallel data links.
-
Математическое моделирование вихревого движения в астрофизических объектах на основе газодинамической модели
Компьютерные исследования и моделирование, 2018, т. 10, № 5, с. 631-643Рассматривается применение консервативного численного метода потоков для изучения вихревых структур в массивных, быстровращающихся компактных астрофизических объектах, находящихся в условиях самогравитации. Моделирование осуществляется для объектов с различной массой и скоростью вращения. Визуализируются картины вихревой структуры объектов. В расчетах используется газодинамическая модель, в которой газ принимается совершенным и невязким. Численная методика основана на конечно-разностной аппроксимации законов сохранения аддитивных характеристик среды для конечного объема. При этом используются upwind-аппроксимации плотностей распределения массы, компонент импульса и полной энергии. Для моделирования объектов, обладающих быстрым вращением, при эволюционном расчете осуществляется контроль сохранения компонент момента импульса, законы сохранения для которых не входят в систему основных уравнений. Эволюционный расчет осуществляется на основе параллельных алгоритмов, реализованных на вычислительном комплексе кластерной архитектуры. Алгоритмы основаны на стандартизованной системе передачи сообщений Message Passing Interface (MPI). При этом используются как блокирующие, так и неблокирующие процедуры обмена с контролем завершения операций. Осуществляется распараллеливание по пространству по двум или трем направле- ниям в зависимости от размера области интегрирования и параметров вычислительной сетки. Одновременно с распараллеливанием по пространству для каждой подобласти осуществляется распараллеливание по физическим факторам: расчет конвективного переноса и гравитационных сил реализуется параллельно на разных процессорах, что позволяет повысить эффективность алгоритмов. Показывается реальная возможность прямого вычисления гравитационных сил посредством суммирования взаимодействия между всеми конечными объемами в области интегрирования. Для методов конечного объема такой подход кажется более последовательным, чем решение уравнения Пуассона для гравитационного потенциала. Численные расчеты осуществлялись на вычислительном комплексе кластерной архитектуры с пиковой производительностью 523 TFlops. В расчетах использовалось до тысячи процессоров.
Ключевые слова: математическое моделирование, консервативные разностные схемы, параллельные алгоритмы, газовая динамика, астрофизика, массивные звезды, гравитация, конвекция, вихревые структуры, сверхновые.
Mathematical simulation of vortex motion in the astrophysical objects on the basis of the gas-dynamic model
Computer Research and Modeling, 2018, v. 10, no. 5, pp. 631-643Просмотров за год: 27.The application of a conservative numerical method of fluxes is examined for studying the vortex structures in the massive, fast-turned compact astrophysical objects, which are in self-gravity conditions. The simulation is accomplished for the objects with different mass and rotational speed. The pictures of the vortex structure of objects are visualized. In the calculations the gas-dynamic model is used, in which gas is accepted perfected and nonviscous. Numerical procedure is based on the finite-difference approximation of the conservation laws of the additive characteristics of medium for the finite volume. The “upwind” approximations of the densities of distribution of mass, components of momentum and total energy are applied. For the simulation of the objects, which possess fast-spin motion, the control of conservation for the component of moment of momentun is carried out during calculation. Evolutionary calculation is carried out on the basis of the parallel algorithms, realized on the computer complex of cluster architecture. Algorithms are based on the standardized system of message transfer Message Passing Interface (MPI). The blocking procedures of exchange and non-blocking procedures of exchange with control of the completion of operation are used. The parallelization on the space in two or three directions is carried out depending on the size of integration area and parameters of computational grid. For each subarea the parallelization based on the physical factors is carried out also: the calculations of gas dynamics part and gravitational forces are realized on the different processors, that allows to raise the efficiency of algorithms. The real possibility of the direct calculation of gravitational forces by means of the summation of interaction between all finite volumes in the integration area is shown. For the finite volume methods this approach seems to more consecutive than the solution of Poisson’s equation for the gravitational potential. Numerical calculations were carried out on the computer complex of cluster architecture with the peak productivity 523 TFlops. In the calculations up to thousand processors was used.
-
Расчет структуры ударной волны в газовой смеси на основе уравнения Больцмана с контролем точности
Компьютерные исследования и моделирование, 2024, т. 16, № 5, с. 1107-1123В работе проведено исследование структуры ударной волны в бинарной газовой смеси на основе прямого решения кинетического уравнения Больцмана. Для вычисления интеграла столкновений в кинетическом уравнении используется консервативный проекционный метод. Детально описаны применяемые расчетные формулы и методика вычислений. В качестве потенциала взаимодействия молекул используется модель твердых сфер. Численное моделирование проводится с использованием разработанной программно-моделирующей среды, которая позволяет исследовать стационарные и нестационарные течения газовых смесей в различных режимах и для произвольной геометрии задачи. Моделирование выполняется на системе кластерной архитектуры. За счет использования технологий распараллеливания кода достигается значительное ускорение вычислений. С фиксированной точностью, контролируемой параметрами моделирования, получены распределения макроскопических величин компонентов смеси по фронту ударной волны. Расчеты выполнены для различных соотношений молекулярных масс и чисел Маха. Достигнута общая точность моделирования не менее 1% по локальным значениям концентрации и температуры и 3% по ширине фронта ударной волны. Проведено сравнение полученных результатов с существующими расчетными данными. Представленные в данной работе результаты имеют теоретическое значение, а также могут служить в качестве тестового расчета, поскольку они получены с использованием точного уравнения Больцмана.
Ключевые слова: динамика разреженных газов, бинарные газовые смеси, кинетическое уравнение Больцмана, проекционный метод, численное моделирование, структура ударной волны.
Computation of a shock wave structure in a gas mixture based on the Boltzmann equation with accuracy control
Computer Research and Modeling, 2024, v. 16, no. 5, pp. 1107-1123In this paper, the structure of a shock wave in a binary gas mixture is studied on the basis of direct solution of the Boltzmann kinetic equation. The conservative projection method is used to evaluate the collision integral in the kinetic equation. The applied evaluation formulas and numerical methods are described in detail. The model of hard spheres is used as an interaction potential of molecules. Numerical simulation is performed using the developed simulation environment software, which makes it possible to study both steady and non-steady flows of gas mixtures in various flow regimes and for an arbitrary geometry of the problem. Modeling is performed on a cluster architecture. Due to the use of code parallelization technologies, a significant acceleration of computations is achieved. With a fixed accuracy controlled by the simulation parameters, the distributions of macroscopic characteristics of the mixture components through the shock wave front were obtained. Computations were conducted for various ratios of molecular masses and Mach numbers. The total accuracy of at least 1% for the local values of molecular density and temperature and 3% for the shock front width was achieved. The obtained results were compared with existing computation data. The results presented in this paper are of theoretical significance, and can serve as a test computation, since they are obtained using the exact Boltzmann equation.
-
Параллельная реализация решения сопряженной задачи определения внутрибаллистических характеристик двигателей на твердом топливе
Компьютерные исследования и моделирование, 2021, т. 13, № 1, с. 47-65Представлена физико-математическая постановка сопряженной геометрической и газодинамической задачи моделирования внутрикамерных процессов и расчета основных внутрибаллистических характеристик ракетных двигателей на твердом топливе в осесимметричном приближении. Изложены основополагающие методики и численный алгоритм решения задачи. Отслеживание горящей поверхности топлива осуществлено неявным образом с помощью метода уровней на декартовой структурированной вычислительной сетке. Для расчета параметров течения использованы двумерные уравнения газовой динамики. Ввиду несогласованности границ области с узлами вычислительной сетки, в численных расчетах учтено наличие фиктивных точек, лежащих вне рассматриваемой области, но рядом с границей. Для задания значений параметров течения в фиктивных точках применена обратная процедура Лакса – Вендроффа, заключающаяся в построении экстраполяционного полинома, который учитывает как текущее распределение параметров, так и условия на границе. Численное решение полученной системы уравнений основано на использовании WENO-схем пятого и третьего порядка для дискретной аппроксимации по пространственной координате уравнений метода уровней и газовой динамики соответственно и применении методов Рунге – Кутты, обладающих свойством уменьшения полной вариации, для решения полученных полудискретных уравнений. Изложенный численный алгоритм распараллелен с использованием технологии CUDA и в дальнейшем оптимизирован с учетом особенностей архитектуры графических процессоров.
Программный комплекс использован при расчетах внутрибаллистических характеристик бессоплового двигателя на твердом топливе в течение основного времени работы. На основе полученных численных результатов обсуждается эффективность распараллеливания с использованием технологии CUDA и применения рассмотренных оптимизаций. Показано, что применяемая методика распараллеливания приводит к значительному ускорению по сравнению с использованием центральных процессоров. Представлены распределения основных параметров течения продуктов сгорания в различные промежутки времени. Произведено сравнение полученных результатов квазиодномерного подхода и разработанной численной методики.
Ключевые слова: газовая динамика, ракетные двигатели на твердом топливе, внутренняя баллистика, параллельные вычисления.
Parallel implementation of numerical algorithm of solving coupled internal ballistics modelling problem for solid rocket motors
Computer Research and Modeling, 2021, v. 13, no. 1, pp. 47-65We present a physico-mathematical statement of coupled geometrical and gas dynamics problem of intrachamber processes simulation and calculation of main internal ballistics characteristics of solid rocket motors in axisymmetric approximation. Method and numerical algorithm of solving the problem are described in this paper. We track the propellant burning surface using the level set method. This method allows us to implicitly represent the surface on a fixed Cartesian grid as zero-level of some function. Two-dimensional gas-dynamics equations describe a flow of combustion products in a solid rocket motor. Due to inconsistency of domain boundaries and nodes of computational grid, presence of ghost points lying outside the computational domain is taken into account. For setting the values of flow parameters in ghost points, we use the inverse Lax – Wendroff procedure. We discretize spatial derivatives of level set and gas-dynamics equations with standard WENO schemes of fifth and third-order respectively and time derivatives using total variation diminishing Runge –Kutta methods. We parallelize the presented numerical algorithm using CUDA technology and further optimize it with regard to peculiarities of graphics processors architecture.
Created software package is used for calculating internal ballistics characteristics of nozzleless solid rocket motor during main firing phase. On the base of obtained numerical results, we discuss efficiency of parallelization using CUDA technology and applying considered optimizations. It has been shown that implemented parallelization technique leads to a significant acceleration in comparison with central processes. Distributions of key parameters of combustion products flow in different periods of time have been presented in this paper. We make a comparison of obtained results between quasione-dimensional approach and developed numerical technique.
-
Применение искусственных нейронных сетей для подбора состава смесевого хладагента с заданной кривой кипения
Компьютерные исследования и моделирование, 2022, т. 14, № 3, с. 593-608В работе представлен метод подбора состава смесевого хладагента (СХА) с заданной изобарной кривой кипения с помощью искусственной нейронной сети (ИНС). Данный метод основан на использовании 1D-слоев сверточной нейронной сети. Для обучения нейронной сети была применена термодинамическая модель простого теплообменника в программе UniSim design с использованием уравнения состояния Пенга–Робинсона. С помощью термодинамической модели была создана синтетическая база данных по изобарным кривым кипения СХА разного состава. Для записи базы данных был разработан алгоритм на языке программирования Python, и с помощью COM интерфейса была выгружена информация по изобарным кривым кипения для 1 049 500 вариантов состава СХА. Генерация составов СХА была проведена с помощью метода Монте-Карло с равномерным распределением псевдослучайного числа. Авторами разработана архитектура искусственной нейронной сети, которая позволяет подбирать состав СХА. Для обучения ИНС была применена методика циклически изменяемого коэффициента обучения. В результате применения обученной ИНС был подобран состав СХА с минимальным температурным напором 3 К, а максимальным — не более 10 К между горячим и холодным потоками в теплообменнике. Было проведено сравнение предложенного метода с методом поиска наилучшего совпадения в исходной выборке по методу $k$-ближних соседей, а также со стандартным методом оптимизации SQP в программе UniSim design. Показано, что искусственная нейронная сеть может быть использована для подбора оптимального состава хладагента при анализе кривой охлаждения природного газа. Разработанный метод может помочь инженерам подбирать состав СХА в режиме реального времени, что позволит сократить энергетические затраты на сжижение природного газа.
Ключевые слова: сжиженный природный газ, СПГ, оптимизация производства СПГ, смесевой хладагент, СХА, нейронные сети, искусственный интеллект.
Applying artificial neural network for the selection of mixed refrigerant by boiling curve
Computer Research and Modeling, 2022, v. 14, no. 3, pp. 593-608The paper provides a method for selecting the composition of a refrigerant with a given isobaric cooling curve using an artificial neural network (ANN). This method is based on the use of 1D layers of a convolutional neural network. To train the neural network, we applied a technological model of a simple heat exchanger in the UniSim design program, using the Peng – Robinson equation of state.We created synthetic database on isobaric boiling curves of refrigerants of different compositions using the technological model. To record the database, an algorithm was developed in the Python programming language, and information on isobaric boiling curves for 1 049 500 compositions was uploaded using the COM interface. The compositions have generated by Monte Carlo method. Designed architecture of ANN allows select composition of a mixed refrigerant by 101 points of boiling curve. ANN gives mole flows of mixed refrigerant by composition (methane, ethane, propane, nitrogen) on the output layer. For training ANN, we used method of cyclical learning rate. For results demonstration we selected MR composition by natural gas cooling curve with a minimum temperature drop of 3 К and a maximum temperature drop of no more than 10 К, which turn better than we predicted via UniSim SQP optimizer and better than predicted by $k$-nearest neighbors algorithm. A significant value of this article is the fact that an artificial neural network can be used to select the optimal composition of the refrigerant when analyzing the cooling curve of natural gas. This method can help engineers select the composition of the mixed refrigerant in real time, which will help reduce the energy consumption of natural gas liquefaction.
-
Фреймворк sumo-atclib для моделирования адаптивного управления трафиком дорожной сети
Компьютерные исследования и моделирование, 2024, т. 16, № 1, с. 69-78В данной статье предлагается фреймворк sumo-atclib, который предоставляет удобный единообразный интерфейс для апробации разных по ограничениям алгоритмов адаптивного управления, например ограничения на длительности фаз, последовательности фаз, ограничения на минимальное время между управляющими воздействиями, который использует среду микроскопического моделирования транспорта с открытым исходным кодом SUMO. Фреймворк разделяет функционал контроллеров (класс TrafficController) и систему наблюдения и детектирования (класс StateObserver), что повторяет архитектуру реальных светофорных объектов и систем адаптивного управления и упрощает апробацию новыха лгоритмов, так как можно свободно варьировать сочетания разных контроллеров и систем детектирования транспортных средств. Также в отличие от большинства существующих решений добавлен класс дороги Road, который объединяет набор полос, это позволяет, например, определить смежность регулируемых перекрестков, в случаях когда на пути от одного перекрестка к другому количество полос меняется, а следовательно, граф дороги разбивается на несколько ребер. При это сами алгоритмы используют одинаковый интерфейс и абстрагированы от конкретных параметров детекторов, топологии сети, то есть предполагается, что это решение позволит транспортному инженеру протестировать уже готовые алгоритмы для нового сценария, без необходимости их адаптации под новые условия, что ускоряет процесс разработки управляющей системы и снижает накладные расходы на проектирование. В настоящий момент в пакете есть примеры алгоритмов MaxPressure и метода обучения с подкреплением Q-learning, база примеров также пополняется. Также фреймворк включает в себя набор сценариев SUMO для тестирования алгоритмов, в который входят как синтетические карты, так и хорошо верифицированные SUMO-сценарии, такие как Cologne и Ingolstadt. Кроме того, фреймворк предоставляет некоторый набор автоматически подсчитываемых метрик, таких как полное время в пути, время задержки, средняя скорость; также в фреймворке представлен готовый пример для визуализации метрик.
Ключевые слова: транспортное моделирование, обучение с подкреплением, адаптивное управление, микроскопическое моделирование.
Framework sumo-atclib for adaptive traffic control modeling
Computer Research and Modeling, 2024, v. 16, no. 1, pp. 69-78This article proposes the sumo-atclib framework, which provides a convenient uniform interface for testing adaptive control algorithms with different limitations, for example, restrictions on phase durations, phase sequences, restrictions on the minimum time between control actions, which uses the open source microscopic transport modeling environment SUMO. The framework shares the functionality of controllers (class TrafficController) and a monitoring and detection system (class StateObserver), which repeats the architecture of real traffic light objects and adaptive control systems and simplifies the testing of new algorithms, since combinations of different controllers and vehicle detection systems can be freely varied. Also, unlike most existing solutions, the road class Road has been added, which combines a set of lanes, this allows, for example, to determine the adjacency of regulated intersections, in cases when the number of lanes changes on the way from one intersection to another, and therefore the road graph is divided into several edges. At the same time, the algorithms themselves use the same interface and are abstracted from the specific parameters of the detectors, network topologies, that is, it is assumed that this solution will allow the transport engineer to test ready-made algorithms for a new scenario, without the need to adapt them to new conditions, which speeds up the development process of the control system, and reduces design overhead. At the moment, the package contains examples of MaxPressure algorithms and the Q-learning reinforcement learning method, the database of examples is also being updated. The framework also includes a set of SUMO scripts for testing algorithms, which includes both synthetic maps and well-verified SUMO scripts such as Cologne and Ingolstadt. In addition, the framework provides a set of automatically calculated metrics, such as total travel time, delay time, average speed; the framework also provides a ready-made example for visualization of metrics.
-
Динамическая теория информации как базис естественно-конструктивистского подхода к моделированию мышления
Компьютерные исследования и моделирование, 2017, т. 9, № 3, с. 433-447Рассматриваются основные положения и выводы динамической теории информации (ДТИ). Показано, что ДТИ дает возможность выявить два существенно важных типа информации: объективную (безусловную) и субъективную (условную). Выделяется два способа получения информации: рецепция (восприятие уже существующей информации) и генерация информации (производство новой). Показано, что процессы генерации и рецепции информации должны происходить в двух разных подсистемах одной когнитивной системы. Обсуждаются основные положения естественно-конструктивистского подхода к моделированию мышления. Показано, что любой нейроморфный подход сталкивается с проблемой «провала в описании «Мозга» и «Разума»», т. е. провала между объективно измеримой информации об ансамбле нейронов («Мозг») и субъективной информацией о сознании человека («Разум»). Обсуждается естественно-конструктивистская когнитивная архитектура, разработанная в рамках данного подхода. Она представляет собой сложную блочно-иерархическую комбинацию, собранную из разных нейропро-цессоров. Основная конструктивная особенность этой архитектуры состоит в том, что вся система разделена на две подсистемы (по аналогии с полушариями головного мозга). Одна из подсистем отвечает за восприятие новой информации, обучение и творчество, т. е. за генерацию информации. Другая подсистема отвечает за обработку уже существующей информации, т. е. рецепцию информации. Показано, что низший (нулевой) уровень иерархии представлен процессорами, которые должны записывать образы реальных объектов (распределенная память) как отклик на сенсорные сигналы, что представляет собой объективную информацию (и относится к «Мозгу»). Остальные уровни иерархии представлены процессорами, содержащими символы записанных образов. Показано, что символы представляют собой субъективную (условную) информацию, создаваемую самой системой и обеспечивающую ее индивидуальность. Совокупность высоких уровней иерархии, содержащих символы абстрактных понятий, дает возможность интерпретировать понятия «сознание», «подсознание», «интуиция», относящиеся к области «Разума», в терминах ансамбля нейронов. Таким образом, ДТИ дает возможность построить модель, позволяющую проследить, как на основе «Мозга» возникает «Разум».
Ключевые слова: информация, когнитивный процесс, образ, символ, нейропроцессор, шум, принцип почернения связей, вербализация, борьба условных информаций.
Dynamical theory of information as a basis for natural-constructive approach to modeling a cognitive process
Computer Research and Modeling, 2017, v. 9, no. 3, pp. 433-447Просмотров за год: 6.The main statements and inferences of the Dynamic Theory Information (DTI) are considered. It is shown that DTI provides the possibility two reveal two essentially important types of information: objective (unconventional) and subjective (conventional) informtion. There are two ways of obtaining information: reception (perception of an already existing one) and generation (production of new) information. It is shown that the processes of generation and perception of information should proceed in two different subsystems of the same cognitive system. The main points of the Natural-Constructivist Approach to modeling the cognitive process are discussed. It is shown that any neuromorphic approach faces the problem of Explanatory Gap between the “Brain” and the “Mind”, i. e. the gap between objectively measurable information about the ensemble of neurons (“Brain”) and subjective information about the human consciousness (“Mind”). The Natural-Constructive Cognitive Architecture developed within the framework of this approach is discussed. It is a complex block-hierarchical combination of several neuroprocessors. The main constructive feature of this architecture is splitting the whole system into two linked subsystems, by analogy with the hemispheres of the human brain. One of the subsystems is processing the new information, learning, and creativity, i.e. for the generation of information. Another subsystem is responsible for processing already existing information, i.e. reception of information. It is shown that the lowest (zero) level of the hierarchy is represented by processors that should record images of real objects (distributed memory) as a response to sensory signals, which is objective information (and refers to the “Brain”). The next hierarchy levels are represented by processors containing symbols of the recorded images. It is shown that symbols represent subjective (conventional) information created by the system itself and providing its individuality. The highest hierarchy levels containing the symbols of abstract concepts provide the possibility to interpret the concepts of “consciousness”, “sub-consciousness”, “intuition”, referring to the field of “Mind”, in terms of the ensemble of neurons. Thus, DTI provides an opportunity to build a model that allows us to trace how the “Mind” could emerge basing on the “Brain”.
-
Обзор алгоритмических решений для развертывания нейронных сетей на легких устройствах
Компьютерные исследования и моделирование, 2024, т. 16, № 7, с. 1601-1619В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.
В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.
Ключевые слова: квантизация, поиск архитектуры нейронной сети, дистилляция знаний, обрезка, обучение с подкреплением, сжатие модели.
Review of algorithmic solutions for deployment of neural networks on lite devices
Computer Research and Modeling, 2024, v. 16, no. 7, pp. 1601-1619In today’s technology-driven world, lite devices like Internet of Things (IoT) devices and microcontrollers (MCUs) are becoming increasingly common. These devices are more energyefficient and affordable, often with reduced features compared to the standard versions such as very limited memory and processing power for typical machine learning models. However, modern machine learning models can have millions of parameters, resulting in a large memory footprint. This complexity not only makes it difficult to deploy these large models on resource constrained devices but also increases the risk of latency and inefficiency in processing, which is crucial in some cases where real-time responses are required such as autonomous driving and medical diagnostics. In recent years, neural networks have seen significant advancements in model optimization techniques that help deployment and inference on these small devices. This narrative review offers a thorough examination of the progression and latest developments in neural network optimization, focusing on key areas such as quantization, pruning, knowledge distillation, and neural architecture search. It examines how these algorithmic solutions have progressed and how new approaches have improved upon the existing techniques making neural networks more efficient. This review is designed for machine learning researchers, practitioners, and engineers who may be unfamiliar with these methods but wish to explore the available techniques. It highlights ongoing research in optimizing networks for achieving better performance, lowering energy consumption, and enabling faster training times, all of which play an important role in the continued scalability of neural networks. Additionally, it identifies gaps in current research and provides a foundation for future studies, aiming to enhance the applicability and effectiveness of existing optimization strategies.
-
Модель формирования первичных поведенческих паттернов с адаптивным поведением на основе использования комбинации случайного поиска и опыта
Компьютерные исследования и моделирование, 2016, т. 8, № 6, с. 941-950В работе предложен адаптивный алгоритм, моделирующий процесс формирования начальных поведенческих навыков на примере системы «глаза–манипулятор» анимата. Ситуация формирования начальных поведенческих навыков возникает, например, когда ребенок осваивает управление своими руками на основе понимания связи между исходно неидентифицированными пятнами на сетчатке своих глаз и положением реального предмета. Поскольку навыки управления телом не «вшиты» исходно в головной и спинной мозг на уровне инстинктов, то человеческому ребенку, как и большинству детенышей других млекопитающих, приходится осваивать эти навыки в режиме поискового поведения. Поисковое поведение начинается с метода проб и ошибок в чистом виде, затем его вклад постепенно уменьшается по мере освоения своего тела и окружающей среды. Поскольку образцов правильного поведения на этом этапе развития организм не имеет, то единственным способом выделения правильных навыков является положительное подкрепление при достижении цели. Ключевой особенностью предлагаемого алгоритма является фиксация в режиме импринтинга только завершающих действий, которые привели к успеху, или, что очень важно, привели к уже знакомой запечатленной ситуации, однозначно приводящей к успеху. Со временем непрерывная цепочка правильных действий удлиняется — максимально используется предыдущий позитивный опыт, а негативный «забывается» и не используется. Тем самым наблюдается постепенная замена случайного поиска целенаправленными действиями, что наблюдается и у реальных детенышей.
Тем самым алгоритм способен устанавливать соответствие между закономерностями окружающего мира и «внутренними ощущениями», внутренним состоянием самого анимата. В предлагаемой модели анимата использовалось 2 типа нейросетей: 1) нейросеть NET1, на вход которой подавались текущие положения кисти руки и целевой точки, а на выходе — двигательные команды, направляющие «кисть» манипулятора анимата к целевой точке; 2) нейросеть NET2, которая на входе получала координаты цели и текущей координаты «кисти», а на выходе формировала значение вероятности того, что анимату уже «знакома» эта ситуация и он «знает», как на нее реагировать. Благодаря такой архитектуре у анимата есть возможность опираться на «опыт» нейросети в распознанных ситуациях, когда отклик от сети NET2 близок к 1, и, с другой стороны, запускать случайный поиск, когда опыта функционирования в этой области зрительного поля у анимата нет (отклик NET2 близок к 0).
Model of formation of primary behavioral patterns with adaptive behavior based on the combination of random search and experience
Computer Research and Modeling, 2016, v. 8, no. 6, pp. 941-950Просмотров за год: 6. Цитирований: 2 (РИНЦ).In this paper, we propose an adaptive algorithm that simulates the process of forming the initial behavioral skills on the example of the system ‘eye-arm’ animat. The situation is the formation of the initial behavioral skills occurs, for example, when a child masters the management of their hands by understanding the relationship between baseline unidentified spots on the retina of his eye and the position of the real object. Since the body control skills are not ‘hardcoded’ initially in the brain and the spinal cord at the level of instincts, the human child, like most young of other mammals, it is necessary to develop these skills in search behavior mode. Exploratory behavior begins with trial and error and then its contribution is gradually reduced as the development of the body and its environment. Since the correct behavior patterns at this stage of development of the organism does not exist for now, then the only way to select the right skills is a positive reinforcement to achieve the objective. A key feature of the proposed algorithm is to fix in the imprinting mode, only the final action that led to success, and that is very important, led to the familiar imprinted situation clearly leads to success. Over time, the continuous chain is lengthened right action — maximum use of previous positive experiences and negative ‘forgotten’ and not used.
Thus there is the gradual replacement of the random search purposeful actions that observed in the real young. Thus, the algorithm is able to establish a correspondence between the laws of the world and the ‘inner feelings’, the internal state of the animat. The proposed animat model was used 2 types of neural networks: 1) neural network NET1 to the input current which is fed to the position of the brush arms and the target point, and the output of motor commands, directing ‘brush’ manipulator animat to the target point; 2) neural network NET2 is received at the input of target coordinates and the current coordinates of the ‘brush’ and the output value is formed likelihood that the animat already ‘know’ this situation, and he ‘knows’ how to react to it. With this architecture at the animat has to rely on the ‘experience’ of neural networks to recognize situations where the response from NET2 network of close to 1, and on the other hand, run a random search, when the experience of functioning in this area of the visual field in animat not (response NET2 close to 0).
-
Транспортные данные для моделирования эффективной транспортной среды в Республике Татарстан
Компьютерные исследования и моделирование, 2021, т. 13, № 2, с. 395-404Автоматизированные системы мониторинга городского трафика широко используются для решения различных задач в интеллектуальных транспортных системах различных регионов. Такие системы включают комплексы фотовидеофиксации, видеонаблюдения, управления дорожным трафиком и т. д. Для эффективного управления транспортным потоком и своевременного реагирования на дорожные инциденты необходимы непрерывный сбор и анализ потока информации, поступающей с данных комплексов, формирование прогнозных значений для дальнейшего выявления аномалий. При этом для повышения качества прогноза требуется агрегирование данных, поступающих из различных источников. Это позволяет уменьшить ошибку прогноза, связанную с ошибками и пропусками в исходных данных. В данной статье реализован подход к краткосрочному и среднесрочному прогнозированию транспортных потоков (5, 10, 15 минут) на основе агрегирования данных, поступающих от комплексов фотовидеофиксации и систем видеонаблюдения. Реализован прогноз с использованием различных архитектур рекуррентных нейронных сетей: LSTM, GRU, двунаправленной LSTM с одним и двумя слоями. Работа двунаправленной LSTM исследовалась для 64 и 128 нейронов в каждом слое. Исследовалась ошибка прогноза для различных размеров входного окна (1, 4, 12, 24, 48). Для оценки прогнозной ошибки использована метрика RMSE. В ходе проведенных исследований получено, что наименьшая ошибка прогноза (0.032405) достигается при использовании однослойной рекуррентной нейронной сети LSTM с 64 нейронами и размером входного окна, равном 24.
Ключевые слова: транспортное моделирование, фотовидеофиксация, прогнозирование транспортного потока.
Modeling of the effective environment in the Republic of Tatarstan using transport data
Computer Research and Modeling, 2021, v. 13, no. 2, pp. 395-404Automated urban traffic monitoring systems are widely used to solve various tasks in intelligent transport systems of different regions. They include video enforcement, video surveillance, traffic management system, etc. Effective traffic management and rapid response to traffic incidents require continuous monitoring and analysis of information from these complexes, as well as time series forecasting for further anomaly detection in traffic flow. To increase the forecasting quality, data fusion from different sources is needed. It will reduce the forecasting error, related to possible incorrect values and data gaps. We implemented the approach for short-term and middle-term forecasting of traffic flow (5, 10, 15 min) based on data fusion from video enforcement and video surveillance systems. We made forecasting using different recurrent neural network architectures: LSTM, GRU, and bidirectional LSTM with one and two layers. We investigated the forecasting quality of bidirectional LSTM with 64 and 128 neurons in hidden layers. The input window size (1, 4, 12, 24, 48) was investigated. The RMSE value was used as a forecasting error. We got minimum RMSE = 0.032405 for basic LSTM with 64 neurons in the hidden layer and window size = 24.
Журнал индексируется в Scopus
Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU
Журнал входит в систему Российского индекса научного цитирования.
Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science
Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"