Все выпуски
- 2024 Том 16
- 2023 Том 15
- 2022 Том 14
- 2021 Том 13
- 2020 Том 12
- 2019 Том 11
- 2018 Том 10
- 2017 Том 9
- 2016 Том 8
- 2015 Том 7
- 2014 Том 6
- 2013 Том 5
- 2012 Том 4
- 2011 Том 3
- 2010 Том 2
- 2009 Том 1
-
Байесовская вероятностная локализация автономного транспортного средства путем ассимиляции сенсорных данных и информации о дорожных знаках
Компьютерные исследования и моделирование, 2018, т. 10, № 3, с. 295-303Локализация транспортного средства является важной задачей в области интеллектуальных транспортных систем. Хорошо известно, что слияние показаний с разных датчиков (англ. Sensor Fusion) позволяет создавать более робастные и точные навигационные системы для автономных транспортных средств. Стандартные подходы, такие как расширенный фильтр Калмана или многочастичный фильтр, либо неэффективны при работе с сильно нелинейными данными, либо потребляют значительные вычислительные ресурсы, что осложняет их использование во встроенных системах. При этом точность сливаемых сенсоров может сильно различаться. Значительный прирост точности, особенно в ситуации, когда GPS (англ. Global Positioning System) не доступен, может дать использование ориентиров, положение которых заранее известно, — таких как дорожные знаки, светофоры, или признаки SLAM (англ. Simultaneous Localization and Mapping). Однако такой подход может быть неприменим в случае, если априорные локации неизвестны или неточны. Мы предлагаем новый подход для уточнения координат транспортного средства с использованием визуальных ориентиров, таких как дорожные знаки. Наша система представляет собой байесовский фреймворк, уточняющий позицию автомобиля с использованием внешних данных о прошлых наблюдениях дорожных знаков, собранных методом краудсорсинга (англ. Crowdsourcing — сбор данных широким кругом лиц). Данная статья представляет также подход к комбинированию траекторий, полученных с помощью глобальных GPS-координат и локальных координат, полученных с помощью акселерометра и гироскопа (англ. Inertial Measurement Unit, IMU), для создания траектории движения транспортного средства в неизвестной среде. Дополнительно мы собрали новый набор данных, включающий в себя 4 проезда на автомобиле в городской среде по одному маршруту, при которых записывались данные GPS и IMU смартфона, видеопоток с камеры, установленной на лобовом стекле, а также высокоточные данные о положении с использованием специализированного устройства Real Time Kinematic Global Navigation Satellite System (RTK-GNSS), которые могут быть использованы для валидации. Помимо этого, с использованием той же системы RTK-GNSS были записаны точные координаты знаков, присутствующих на маршруте. Результаты экспериментов показывают, что байесовский подход позволяет корректировать траекторию движения транспортного средства и дает более точные оценки при увеличении количества известной заранее информации. Предложенный метод эффективен и требует для своей работы, кроме показаний GPS/IMU, только информацию о положении автомобилей в моменты прошлых наблюдений дорожных знаков.
Ключевые слова: байесовское обучение, слияние данных сенсоров, локализация, автономные транспортные средства.
Bayesian localization for autonomous vehicle using sensor fusion and traffic signs
Computer Research and Modeling, 2018, v. 10, no. 3, pp. 295-303Просмотров за год: 22.The localization of a vehicle is an important task in the field of intelligent transportation systems. It is well known that sensor fusion helps to create more robust and accurate systems for autonomous vehicles. Standard approaches, like extended Kalman Filter or Particle Filter, are inefficient in case of highly non-linear data or have high computational cost, which complicates using them in embedded systems. Significant increase of precision, especially in case when GPS (Global Positioning System) is unavailable, may be achieved by using landmarks with known location — such as traffic signs, traffic lights, or SLAM (Simultaneous Localization and Mapping) features. However, this approach may be inapplicable if a priori locations are unknown or not accurate enough. We suggest a new approach for refining coordinates of a vehicle by using landmarks, such as traffic signs. Core part of the suggested system is the Bayesian framework, which refines vehicle location using external data about the previous traffic signs detections, collected with crowdsourcing. This paper presents an approach that combines trajectories built using global coordinates from GPS and relative coordinates from Inertial Measurement Unit (IMU) to produce a vehicle's trajectory in an unknown environment. In addition, we collected a new dataset, including from smartphone GPS and IMU sensors, video feed from windshield camera, which were recorded during 4 car rides on the same route. Also, we collected precise location data from Real Time Kinematic Global Navigation Satellite System (RTK-GNSS) device, which can be used for validation. This RTK-GNSS system was used to collect precise data about the traffic signs locations on the route as well. The results show that the Bayesian approach helps with the trajectory correction and gives better estimations with the increase of the amount of the prior information. The suggested method is efficient and requires, apart from the GPS/IMU measurements, only information about the vehicle locations during previous traffic signs detections.
-
Численное решение нелинейныхинтегра льных уравнений второго рода типа Урысона методом последовательныхквадра тур с использованием погруженной схемы Дормана–Принса 5(4)
Компьютерные исследования и моделирование, 2020, т. 12, № 2, с. 275-300Представлен итерационный алгоритм, который численно решает нелинейные одномерные несингулярные интегральные уравнения Фредгольма и Вольтерры второго рода типа Урысона. Показано, что метод последовательных приближений Пикара может быть использован при численном решении такого типа уравнений. Сходимость числовой схемы гарантируется теоремами о неподвижной точке. При этом квадратурный алгоритм основан на явной форме встроенного правила Рунге–Кутты пятого порядка с адаптивным контролем размера шага. Возможность контроля локальных ошибок квадратур позволяет создавать очень точные автоматические числовые схемы и значительно уменьшить основной недостаток итераций Пикара, а именно чрезвычайно большое количество вычислений с увеличением глубины рекурсии. Наш алгоритм организован так, что по сравнению с большинством подходов нелинейность интегральных уравнений не вызывает каких-либо дополнительных вычислительных трудностей, его очень просто применять и реализовывать в программе. Наш алгоритм демонстрирует практически важные черты универсальности. Во-первых, следует подчеркнуть, что метод столь же прост в применении к нелинейным, как и к линейным уравнениям типа Фредгольма и Вольтерры. Во-вторых, алгоритм снабжен правилами останова, по которым вычисления могут в значительной степени контролироваться автоматически. Представлен компактный C++-код описанного алгоритма. Реализация нашей программы является самодостаточной: она не требует никаких предварительных вычислений, никаких внешних функций и библиотек и не требует дополнительной памяти. Приведены числовые примеры, показывающие применимость, эффективность, надежность и точность предложенного подхода.
Ключевые слова: уравнения типа Фредгольма и Вольтерры, теорема о неподвижной точке, анализ погрешностей ошибок, итерационные методы, погруженный метод Рунге–Кутты пятого порядка, адаптивный контроль величины шага.
Numerical solution of Urysohn type nonlinear second kind integral equations by successive quadratures using embedded Dormand and Prince scheme 5(4)
Computer Research and Modeling, 2020, v. 12, no. 2, pp. 275-300We present the iterative algorithm that solves numerically both Urysohn type Fredholm and Volterra nonlinear one-dimensional nonsingular integral equations of the second kind to a specified, modest user-defined accuracy. The algorithm is based on descending recursive sequence of quadratures. Convergence of numerical scheme is guaranteed by fixed-point theorems. Picard’s method of integrating successive approximations is of great importance for the existence theory of integral equations but surprisingly very little appears on numerical algorithms for its direct implementation in the literature. We show that successive approximations method can be readily employed in numerical solution of integral equations. By that the quadrature algorithm is thoroughly designed. It is based on the explicit form of fifth-order embedded Runge–Kutta rule with adaptive step-size self-control. Since local error estimates may be cheaply obtained, continuous monitoring of the quadrature makes it possible to create very accurate automatic numerical schemes and to reduce considerably the main drawback of Picard iterations namely the extremely large amount of computations with increasing recursion depth. Our algorithm is organized so that as compared to most approaches the nonlinearity of integral equations does not induce any additional computational difficulties, it is very simple to apply and to make a program realization. Our algorithm exhibits some features of universality. First, it should be stressed that the method is as easy to apply to nonlinear as to linear equations of both Fredholm and Volterra kind. Second, the algorithm is equipped by stopping rules by which the calculations may to considerable extent be controlled automatically. A compact C++-code of described algorithm is presented. Our program realization is self-consistent: it demands no preliminary calculations, no external libraries and no additional memory is needed. Numerical examples are provided to show applicability, efficiency, robustness and accuracy of our approach.
-
Подход к решению невыпуклой равномерно вогнутой седловой задачи со структурой
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 225-237В последнее время седловым задачам уделяется большое внимание благодаря их мощным возможностям моделирования для множества задач из различных областей. Приложения этих задач встречаются в многочисленных современных прикладных областях, таких как робастная оптимизация, распределенная оптимизация, теория игр и~приложения машинного обучения, такие как, например, минимизация эмпирического риска или обучение генеративно-состязательных сетей. Поэтому многие исследователи активно работают над разработкой численных методов для решения седловых задач в самых разных предположениях. Данная статья посвящена разработке численного метода решения седловых задач в невыпуклой равномерно вогнутой постановке. В этой постановке считается, что по группе прямых переменных целевая функция может быть невыпуклой, а по группе двойственных переменных задача является равномерно вогнутой (это понятие обобщает понятие сильной вогнутости). Был изучен более общий класс седловых задач со сложной композитной структурой и гёльдерово непрерывными производными высшего порядка. Для решения рассматриваемой задачи был предложен подход, при котором мы сводим задачу к комбинации двух вспомогательных оптимизационных задач отдельно для каждой группы переменных: внешней задачи минимизации и~внутренней задачи максимизации. Для решения внешней задачи минимизации мы используем адаптивный градиентный метод, который применим для невыпуклых задач, а также работает с неточным оракулом, который генерируется путем неточного решения внутренней задачи максимизации. Для решения внутренней задачи максимизации мы используем обобщенный ускоренный метод с рестартами, который представляет собой метод, объединяющий методы ускорения высокого порядка для минимизации выпуклой функции, имеющей гёльдерово непрерывные производные высшего порядка. Важной компонентой проведенного анализа сложности предлагаемого алгоритма является разделение оракульных сложностей на число вызовов оракула первого порядка для внешней задачи минимизации и оракула более высокого порядка для внутренней задачи максимизации. Более того, оценивается сложность всего предлагаемого подхода.
Ключевые слова: седловая задача, невыпуклая оптимизация, равномерно выпуклая функция, неточный оракул, метод высшего порядка.
An approach for the nonconvex uniformly concave structured saddle point problem
Computer Research and Modeling, 2022, v. 14, no. 2, pp. 225-237Recently, saddle point problems have received much attention due to their powerful modeling capability for a lot of problems from diverse domains. Applications of these problems occur in many applied areas, such as robust optimization, distributed optimization, game theory, and many applications in machine learning such as empirical risk minimization and generative adversarial networks training. Therefore, many researchers have actively worked on developing numerical methods for solving saddle point problems in many different settings. This paper is devoted to developing a numerical method for solving saddle point problems in the nonconvex uniformly-concave setting. We study a general class of saddle point problems with composite structure and H\"older-continuous higher-order derivatives. To solve the problem under consideration, we propose an approach in which we reduce the problem to a combination of two auxiliary optimization problems separately for each group of variables, the outer minimization problem w.r.t. primal variables, and the inner maximization problem w.r.t the dual variables. For solving the outer minimization problem, we use the Adaptive Gradient Method, which is applicable for nonconvex problems and also works with an inexact oracle that is generated by approximately solving the inner problem. For solving the inner maximization problem, we use the Restarted Unified Acceleration Framework, which is a framework that unifies the high-order acceleration methods for minimizing a convex function that has H\"older-continuous higher-order derivatives. Separate complexity bounds are provided for the number of calls to the first-order oracles for the outer minimization problem and higher-order oracles for the inner maximization problem. Moreover, the complexity of the whole proposed approach is then estimated.
-
Анализ механических структур сложных технических систем
Компьютерные исследования и моделирование, 2021, т. 13, № 5, с. 903-916Работа посвящена структурному анализу сложных технических систем. Рассматриваются механические структуры, свойства которых влияют на поведение изделия в процессе сборки, ремонта и эксплуатации. Основным источником данных о деталях и механических связях между ними является гиперграф. Эта модель формализует многоместное отношение базирования. Она корректно описывает связность и взаимную координацию деталей, которые достигаются в процессе сборки изделия. При разработке сложных изделий в CAD-системах инженер часто допускает тяжелые проектные ошибки: перебазирование деталей и несеквенциальность сборочных операций. Предложены эффективные способы идентификации данных структурных дефектов. Показано, что свойство независимой собираемости можно представить как оператор замыкания на булеане множества деталей изделия. Образы этого оператора представляют собой связные координированные совокупности деталей, которые можно собрать независимо. Описана решеточная модель, которая представляет собой пространство состояний изделия в процессе сборки, разборки и декомпозиции на сборочные единицы. Решеточная модель служит источником разнообразной структурной информации о проекте. Предложены численные оценки мощности множества допустимых альтернатив в задачах выбора последовательности сборки и декомпозиции на сборочные единицы. Для многих технических операций (например, контроль, испытания и др.) необходимо монтировать все детали-операнды в одну сборочную единицу. Разработана простая формализация технических условий, требующих включения (исключения) деталей в сборочную единицу (из сборочной единицы). Приведена теорема, которая дает математическое описание декомпозиции изделия на сборочные единицы в точных решеточных терминах. Предложен способ численной оценки робастности механической структурыс ложной технической системы.
Ключевые слова: механическая структура, структурный анализ, автоматизированное проектирование, гиперграфовая модель структуры, решеточная модель изделия.
Analysis of mechanical structures of complex technical systems
Computer Research and Modeling, 2021, v. 13, no. 5, pp. 903-916The work is devoted to the structural analysis of complex technical systems. Mechanical structures are considered, the properties of which affect the behavior of products during assembly, repair and operation. The main source of data on parts and mechanical connections between them is a hypergraph. This model formalizes the multidimensional basing relation. The hypergraph correctly describes the connectivity and mutual coordination of parts, which is achieved during the assembly of the product. When developing complex products in CAD systems, an engineer often makes serious design mistakes: overbasing of parts and non-sequential assembly operations. Effective ways of identifying these structural defects have been proposed. It is shown that the property of independent assembly can be represented as a closure operator whose domain is the boolean of the set of product parts. The images of this operator are connected and coordinated subsets of parts that can be assembled independently. A lattice model is described, which is the state space of the product during assembly, disassembly and decomposition into assembly units. The lattice model serves as a source of various structural information about the project. Numerical estimates of the cardinality of the set of admissible alternatives in the problems of choosing an assembly sequence and decomposition into assembly units are proposed. For many technical operations (for example, control, testing, etc.), it is necessary to mount all the operand parts in one assembly unit. A simple formalization of the technical conditions requiring the inclusion (exclusion) of parts in the assembly unit (from the assembly unit) has been developed. A theorem that gives an mathematical description of product decomposition into assembly units in exact lattice terms is given. A method for numerical evaluation of the robustness of the mechanical structure of a complex technical system is proposed.
-
Применение метода нулевого поля для решения двумерного нелинейного уравнения теплопроводности
Компьютерные исследования и моделирование, 2023, т. 15, № 6, с. 1449-1467В работе рассмотрена краевая задача о движении тепловой волны для вырождающегося уравнения второго порядка параболического типа со степенной нелинейностью. Краевое условие задает уравнение движения на плоскости нулевого фронта тепловой волны, имеющего форму окружности. Предложен новый численно-аналитический алгоритм, в соответствии с которым решение строится по шагам по времени при разностной схеме дискретизации времени. На каждом шаге рассматривается краевая задача для уравнения Пуассона, к которому сводится исходное уравнение. Фактически она является обратной задачей Коши, в которой исходная граница области решения свободна от граничных условий, а на текущей границе (фронте волны) заданы два условия (Неймана и Дирихле). Решение этой задачи ищется в виде суммы частного решения уравнения Пуассона и решения соответствующего уравнения Лапласа, удовлетворяющего граничным условиям. Поскольку неоднородность зависит от искомой функции и ее производных, решение строится итерационно. Частное решение ищется методом коллокаций с помощью разложения неоднородности по радиальным базисным функциям. Обратная задача Коши для уравнения Лапласа решается методом нулевого поля применительно к круговым областям с круговыми отверстиями. Для таких задач этот метод применяется впервые. Вычислительный алгоритм оптимизирован за счет распараллеливания вычислений. Распараллеливание вычислений позволило эффективно реализовать алгоритм на высокопроизводительных вычислительных системах. На базе алгоритма была создана компьютерная программа. В качестве средства распараллеливания был выбран стандарт параллельного программирования OpenMP для языка программирования C++ как наиболее подходящий для вычислительных программ с параллельными циклами. Эффективность алгоритма и работоспособность программы были проверены сравнением результатов расчетов с известным точным решением, а также с численным решением, полученным авторами ранее с помощью метода граничных элементов. Проведенный вычислительный эксперимент показал хорошую сходимость итерационных процессов и более высокую точность нового алгоритма по сравнению с разработанным ранее. Анализ решений позволил определить наиболее подходящую систему радиальных базисных функций.
Ключевые слова: нелинейное уравнение параболического типа, уравнение теплопроводности, метод нулевого поля, метод коллокаций, радиальные базисные функции, метод граничных элементов.
Solution to a two-dimensional nonlinear heat equation using null field method
Computer Research and Modeling, 2023, v. 15, no. 6, pp. 1449-1467The paper deals with a heat wave motion problem for a degenerate second-order nonlinear parabolic equation with power nonlinearity. The considered boundary condition specifies in a plane the motion equation of the circular zero front of the heat wave. A new numerical-analytical algorithm for solving the problem is proposed. A solution is constructed stepby- step in time using difference time discretization. At each time step, a boundary value problem for the Poisson equation corresponding to the original equation at a fixed time is considered. This problem is, in fact, an inverse Cauchy problem in the domain whose initial boundary is free of boundary conditions and two boundary conditions (Neumann and Dirichlet) are specified on a current boundary (heat wave). A solution of this problem is constructed as the sum of a particular solution to the nonhomogeneous Poisson equation and a solution to the corresponding Laplace equation satisfying the boundary conditions. Since the inhomogeneity depends on the desired function and its derivatives, an iterative solution procedure is used. The particular solution is sought by the collocation method using inhomogeneity expansion in radial basis functions. The inverse Cauchy problem for the Laplace equation is solved by the null field method as applied to a circular domain with a circular hole. This method is used for the first time to solve such problem. The calculation algorithm is optimized by parallelizing the computations. The parallelization of the computations allows us to realize effectively the algorithm on high performance computing servers. The algorithm is implemented as a program, which is parallelized by using the OpenMP standard for the C++ language, suitable for calculations with parallel cycles. The effectiveness of the algorithm and the robustness of the program are tested by the comparison of the calculation results with the known exact solution as well as with the numerical solution obtained earlier by the authors with the use of the boundary element method. The implemented computational experiment shows good convergence of the iteration processes and higher calculation accuracy of the proposed new algorithm than of the previously developed one. The solution analysis allows us to select the radial basis functions which are most suitable for the proposed algorithm.
-
Редукция дисперсии для минимаксных задач с небольшой размерностью одной из переменных
Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 257-275Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.
Ключевые слова: седловые задачи, методы первого порядка, методы секущей плоскости, редукция дисперсии.
Variance reduction for minimax problems with a small dimension of one of the variables
Computer Research and Modeling, 2022, v. 14, no. 2, pp. 257-275The paper is devoted to convex-concave saddle point problems where the objective is a sum of a large number of functions. Such problems attract considerable attention of the mathematical community due to the variety of applications in machine learning, including adversarial learning, adversarial attacks and robust reinforcement learning, to name a few. The individual functions in the sum usually represent losses related to examples from a data set. Additionally, the formulation admits a possibly nonsmooth composite term. Such terms often reflect regularization in machine learning problems. We assume that the dimension of one of the variable groups is relatively small (about a hundred or less), and the other one is large. This case arises, for example, when one considers the dual formulation for a minimization problem with a moderate number of constraints. The proposed approach is based on using Vaidya’s cutting plane method to minimize with respect to the outer block of variables. This optimization algorithm is especially effective when the dimension of the problem is not very large. An inexact oracle for Vaidya’s method is calculated via an approximate solution of the inner maximization problem, which is solved by the accelerated variance reduced algorithm Katyusha. Thus, we leverage the structure of the problem to achieve fast convergence. Separate complexity bounds for gradients of different components with respect to different variables are obtained in the study. The proposed approach is imposing very mild assumptions about the objective. In particular, neither strong convexity nor smoothness is required with respect to the low-dimensional variable group. The number of steps of the proposed algorithm as well as the arithmetic complexity of each step explicitly depend on the dimensionality of the outer variable, hence the assumption that it is relatively small.
-
Современные методы преодоления катастрофической забывчивости нейронных сетей и экспериментальная проверка вопросов их структуры
Компьютерные исследования и моделирование, 2023, т. 15, № 1, с. 45-56В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.
Ключевые слова: катастрофическая забывчивость, эластичное закрепление весов, EWC, ослабление скоростей весов, WVA, нейронные сети, последовательное обучение, машинное обучение, искусственный интеллект.
Modern ways to overcome neural networks catastrophic forgetting and empirical investigations on their structural issues
Computer Research and Modeling, 2023, v. 15, no. 1, pp. 45-56This paper presents the results of experimental validation of some structural issues concerning the practical use of methods to overcome catastrophic forgetting of neural networks. A comparison of current effective methods like EWC (Elastic Weight Consolidation) and WVA (Weight Velocity Attenuation) is made and their advantages and disadvantages are considered. It is shown that EWC is better for tasks where full retention of learned skills is required on all the tasks in the training queue, while WVA is more suitable for sequential tasks with very limited computational resources, or when reuse of representations and acceleration of learning from task to task is required rather than exact retention of the skills. The attenuation of the WVA method must be applied to the optimization step, i. e. to the increments of neural network weights, rather than to the loss function gradient itself, and this is true for any gradient optimization method except the simplest stochastic gradient descent (SGD). The choice of the optimal weights attenuation function between the hyperbolic function and the exponent is considered. It is shown that hyperbolic attenuation is preferable because, despite comparable quality at optimal values of the hyperparameter of the WVA method, it is more robust to hyperparameter deviations from the optimal value (this hyperparameter in the WVA method provides a balance between preservation of old skills and learning a new skill). Empirical observations are presented that support the hypothesis that the optimal value of this hyperparameter does not depend on the number of tasks in the sequential learning queue. And, consequently, this hyperparameter can be picked up on a small number of tasks and used on longer sequences.
-
Full-wave 3D earthquake simulation using the double-couple model and the grid-characteristic method
Компьютерные исследования и моделирование, 2019, т. 11, № 6, с. 1061-1067One of the destroying natural processes is the initiation of the regional seismic activity. It leads to a large number of human deaths. Much effort has been made to develop precise and robust methods for the estimation of the seismic stability of buildings. One of the most common approaches is the natural frequency method. The obvious drawback of this approach is a low precision due to the model oversimplification. The other method is a detailed simulation of dynamic processes using the finite-element method. Unfortunately, the quality of simulations is not enough due to the difficulty of setting the correct free boundary condition. That is why the development of new numerical methods for seismic stability problems is a high priority nowadays.
The present work is devoted to the study of spatial dynamic processes occurring in geological medium during an earthquake. We describe a method for simulating seismic wave propagation from the hypocenter to the day surface. To describe physical processes, we use a system of partial differential equations for a linearly elastic body of the second order, which is solved numerically by a grid-characteristic method on parallelepiped meshes. The widely used geological hypocenter model, called the “double-couple” model, was incorporated into this numerical algorithm. In this case, any heterogeneities, such as geological layers with curvilinear boundaries, gas and fluid-filled cracks, fault planes, etc., may be explicitly taken into account.
In this paper, seismic waves emitted during the earthquake initiation process are numerically simulated. Two different models are used: the homogeneous half-space and the multilayered geological massif with the day surface. All of their parameters are set based on previously published scientific articles. The adequate coincidence of the simulation results is obtained. And discrepancies may be explained by differences in numerical methods used. The numerical approach described can be extended to more complex physical models of geological media.
Ключевые слова: mathematical simulation, numerical method, grid-characteristic method, seismic waves, earthquake, seismic resistance.
Full-wave 3D earthquake simulation using the double-couple model and the grid-characteristic method
Computer Research and Modeling, 2019, v. 11, no. 6, pp. 1061-1067One of the destroying natural processes is the initiation of the regional seismic activity. It leads to a large number of human deaths. Much effort has been made to develop precise and robust methods for the estimation of the seismic stability of buildings. One of the most common approaches is the natural frequency method. The obvious drawback of this approach is a low precision due to the model oversimplification. The other method is a detailed simulation of dynamic processes using the finite-element method. Unfortunately, the quality of simulations is not enough due to the difficulty of setting the correct free boundary condition. That is why the development of new numerical methods for seismic stability problems is a high priority nowadays.
The present work is devoted to the study of spatial dynamic processes occurring in geological medium during an earthquake. We describe a method for simulating seismic wave propagation from the hypocenter to the day surface. To describe physical processes, we use a system of partial differential equations for a linearly elastic body of the second order, which is solved numerically by a grid-characteristic method on parallelepiped meshes. The widely used geological hypocenter model, called the “double-couple” model, was incorporated into this numerical algorithm. In this case, any heterogeneities, such as geological layers with curvilinear boundaries, gas and fluid-filled cracks, fault planes, etc., may be explicitly taken into account.
In this paper, seismic waves emitted during the earthquake initiation process are numerically simulated. Two different models are used: the homogeneous half-space and the multilayered geological massif with the day surface. All of their parameters are set based on previously published scientific articles. The adequate coincidence of the simulation results is obtained. And discrepancies may be explained by differences in numerical methods used. The numerical approach described can be extended to more complex physical models of geological media.
-
Моделирование динамики экономических систем с неопределенными параметрами
Компьютерные исследования и моделирование, 2018, т. 10, № 2, с. 261-276В статье проводится краткий анализ разработанных робастных методов управления, а также исследование практических аспектов их использования для управления экономическими системами с неопределенными параметрами. Рассматриваются особенности использования разработанных методов управления системами при наличии структурированной неопределенности применительно к задачам стабилизации цены на мировом рынке нефти, а также инфляции в макроэкономических системах. В первом случае с использованием специально разработанной модели ставится задача определения такого управления, которое обеспечивает минимальное отклонение цены нефти от желаемого уровня. Во втором случае решается задача формирования стабилизирующего управления, обеспечивающего в среднесрочной перспективе минимальное отклонение инфляции от желаемого уровня (на основе агрегированной макроэкономической модели среднесрочного развития США).
В результате вычислительных экспериментов найдены предельные уровни неопределенности параметров и законы обратной связи, при которых используемый в работе подход обеспечивает стабилизируемость реальных экономических систем. Проведенные расчеты показывают, что полученные оценки предельных уровней неопределенности параметров являются достаточно консервативными. С помощью метода статистических испытаний исследуется динамика цены на нефть, а также показателя инфляции в условиях найденных предельных уровней неопределенности параметров при использовании рассчитанных робастных законов управления, в случае наихудшего и наилучшего сценариев. Полученные результаты показывают, что рассчитанные робастные законы управления могут быть успешно применены и при большей степени неопределенности параметров исследуемых моделей, чем гарантируется при найденных предельных уровнях неопределенности.
Ключевые слова: экономические системы, стабилизация, робастные методы, неопределенные параметры, структурированная неопределенность.
Uncertainty factor in modeling dynamics of economic systems
Computer Research and Modeling, 2018, v. 10, no. 2, pp. 261-276Просмотров за год: 39.Analysis and practical aspects of implementing developed in the control theory robust control methods in studying economic systems is carried out. The main emphasis is placed on studying results obtained for dynamical systems with structured uncertainty. Practical aspects of implementing such results in control of economic systems on the basis of dynamical models with uncertain parameters and perturbations (stabilization of price on the oil market and inflation in macroeconomic systems) are discussed. With the help of specially constructed aggregate model of oil price dynamics studied the problem of finding control which provides minimal deviation of price from desired levels over middle range period. The second real problem considered in the article consists in determination of stabilizing control providing minimal deviation of inflation from desired levels (on the basis of constructed aggregate macroeconomic model of the USA over middle range period).
Upper levels of parameters uncertainty and control laws guaranteeing stabilizability of the real considered economic systems have been found using the robust method of control with structured uncertainty. At the same time we have come to the conclusion that received estimates of parameters uncertainty upper levels are conservative. Monte-Carlo experiments carried out for the article made it possible to analyze dynamics of oil price and inflation under received limit levels of models parameters uncertainty and under implementing found robust control laws for the worst and the best scenarios. Results of these experiments show that received robust control laws may be successfully used under less stringent uncertainty constraints than it is guaranteed by sufficient conditions of stabilization.
-
Numerical Solution of Linear and Higher-order Delay Differential Equations using the Coded Differential Transform Method
Компьютерные исследования и моделирование, 2019, т. 11, № 6, с. 1091-1099The aim of the paper is to obtain a numerical solution for linear and higher-order delay differential equations (DDEs) using the coded differential transform method (CDTM). The CDTM is developed and applied to delay problems to show the efficiency of the proposed method. The coded differential transform method is a combination of the differential transform method and Mathematica software. We construct recursive relations for a few delay problems, which results in simultaneous equations, and solve them to obtain various series solution terms using the coded differential transform method. The numerical solution obtained by CDTM is compared with an exact solution. Numerical results and error analysis are presented for delay differential equations to show that the proposed method is suitable for solving delay differential equations. It is established that the delay differential equations under discussion are solvable in a specific domain. The error between the CDTM solution and the exact solution becomes very small if more terms are included in the series solution. The coded differential transform method reduces complex calculations, avoids discretization, linearization, and saves calculation time. In addition, it is easy to implement and robust. Error analysis shows that CDTM is consistent and converges fast. We obtain more accurate results using the coded differential transform method as compared to other methods.
Ключевые слова: delay differential equations, coded differential transform method, numerical solution, mathematica.
Numerical Solution of Linear and Higher-order Delay Differential Equations using the Coded Differential Transform Method
Computer Research and Modeling, 2019, v. 11, no. 6, pp. 1091-1099The aim of the paper is to obtain a numerical solution for linear and higher-order delay differential equations (DDEs) using the coded differential transform method (CDTM). The CDTM is developed and applied to delay problems to show the efficiency of the proposed method. The coded differential transform method is a combination of the differential transform method and Mathematica software. We construct recursive relations for a few delay problems, which results in simultaneous equations, and solve them to obtain various series solution terms using the coded differential transform method. The numerical solution obtained by CDTM is compared with an exact solution. Numerical results and error analysis are presented for delay differential equations to show that the proposed method is suitable for solving delay differential equations. It is established that the delay differential equations under discussion are solvable in a specific domain. The error between the CDTM solution and the exact solution becomes very small if more terms are included in the series solution. The coded differential transform method reduces complex calculations, avoids discretization, linearization, and saves calculation time. In addition, it is easy to implement and robust. Error analysis shows that CDTM is consistent and converges fast. We obtain more accurate results using the coded differential transform method as compared to other methods.
Журнал индексируется в Scopus
Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU
Журнал входит в систему Российского индекса научного цитирования.
Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science
Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"