Текущий выпуск Номер 1, 2024 Том 16

Все выпуски

Результаты поиска по 'robusteness':
Найдено статей: 18
  1. Воронцов К.В., Потапенко А.А.
    Регуляризация, робастность и разреженность вероятностных тематических моделей
    Компьютерные исследования и моделирование, 2012, т. 4, № 4, с. 693-706

    Предлагается обобщенное семейство вероятностных тематических моделей коллекций текстовых документов, в котором эвристики регуляризации, сэмплирования, частого обновления параметров, робастности относительно шума и фона могут включаться независимо друг от друга в любых сочетаниях, порождая как известные модели PLSA, LDA, CVB0, SWB, так и новые. Показано, что робастная тематическая модель на основе PLSA, разделяющая термины на тематические, шумовые и фоновые, не нуждается в регуляризации и обеспечивает разреженность искомых дискретных распределений тем в документах и терминов в темах.

    Vorontsov K.V., Potapenko A.A.
    Regularization, robustness and sparsity of probabilistic topic models
    Computer Research and Modeling, 2012, v. 4, no. 4, pp. 693-706

    We propose a generalized probabilistic topic model of text corpora which can incorporate heuristics of Bayesian regularization, sampling, frequent parameters update, and robustness in any combinations. Wellknown models PLSA, LDA, CVB0, SWB, and many others can be considered as special cases of the proposed broad family of models. We propose the robust PLSA model and show that it is more sparse and performs better that regularized models like LDA.

    Просмотров за год: 25. Цитирований: 12 (РИНЦ).
  2. Веренцов С.И., Магеррамов Э.А., Виноградов В.А., Гизатуллин Р.И., Алексеенко А.Е., Холодов Я.А.
    Байесовская вероятностная локализация автономного транспортного средства путем ассимиляции сенсорных данных и информации о дорожных знаках
    Компьютерные исследования и моделирование, 2018, т. 10, № 3, с. 295-303

    Локализация транспортного средства является важной задачей в области интеллектуальных транспортных систем. Хорошо известно, что слияние показаний с разных датчиков (англ. Sensor Fusion) позволяет создавать более робастные и точные навигационные системы для автономных транспортных средств. Стандартные подходы, такие как расширенный фильтр Калмана или многочастичный фильтр, либо неэффективны при работе с сильно нелинейными данными, либо потребляют значительные вычислительные ресурсы, что осложняет их использование во встроенных системах. При этом точность сливаемых сенсоров может сильно различаться. Значительный прирост точности, особенно в ситуации, когда GPS (англ. Global Positioning System) не доступен, может дать использование ориентиров, положение которых заранее известно, — таких как дорожные знаки, светофоры, или признаки SLAM (англ. Simultaneous Localization and Mapping). Однако такой подход может быть неприменим в случае, если априорные локации неизвестны или неточны. Мы предлагаем новый подход для уточнения координат транспортного средства с использованием визуальных ориентиров, таких как дорожные знаки. Наша система представляет собой байесовский фреймворк, уточняющий позицию автомобиля с использованием внешних данных о прошлых наблюдениях дорожных знаков, собранных методом краудсорсинга (англ. Crowdsourcing — сбор данных широким кругом лиц). Данная статья представляет также подход к комбинированию траекторий, полученных с помощью глобальных GPS-координат и локальных координат, полученных с помощью акселерометра и гироскопа (англ. Inertial Measurement Unit, IMU), для создания траектории движения транспортного средства в неизвестной среде. Дополнительно мы собрали новый набор данных, включающий в себя 4 проезда на автомобиле в городской среде по одному маршруту, при которых записывались данные GPS и IMU смартфона, видеопоток с камеры, установленной на лобовом стекле, а также высокоточные данные о положении с использованием специализированного устройства Real Time Kinematic Global Navigation Satellite System (RTK-GNSS), которые могут быть использованы для валидации. Помимо этого, с использованием той же системы RTK-GNSS были записаны точные координаты знаков, присутствующих на маршруте. Результаты экспериментов показывают, что байесовский подход позволяет корректировать траекторию движения транспортного средства и дает более точные оценки при увеличении количества известной заранее информации. Предложенный метод эффективен и требует для своей работы, кроме показаний GPS/IMU, только информацию о положении автомобилей в моменты прошлых наблюдений дорожных знаков.

    Verentsov S.I., Magerramov E.A., Vinogradov V.A., Gizatullin R.I., Alekseenko A.E., Kholodov Y.A.
    Bayesian localization for autonomous vehicle using sensor fusion and traffic signs
    Computer Research and Modeling, 2018, v. 10, no. 3, pp. 295-303

    The localization of a vehicle is an important task in the field of intelligent transportation systems. It is well known that sensor fusion helps to create more robust and accurate systems for autonomous vehicles. Standard approaches, like extended Kalman Filter or Particle Filter, are inefficient in case of highly non-linear data or have high computational cost, which complicates using them in embedded systems. Significant increase of precision, especially in case when GPS (Global Positioning System) is unavailable, may be achieved by using landmarks with known location — such as traffic signs, traffic lights, or SLAM (Simultaneous Localization and Mapping) features. However, this approach may be inapplicable if a priori locations are unknown or not accurate enough. We suggest a new approach for refining coordinates of a vehicle by using landmarks, such as traffic signs. Core part of the suggested system is the Bayesian framework, which refines vehicle location using external data about the previous traffic signs detections, collected with crowdsourcing. This paper presents an approach that combines trajectories built using global coordinates from GPS and relative coordinates from Inertial Measurement Unit (IMU) to produce a vehicle's trajectory in an unknown environment. In addition, we collected a new dataset, including from smartphone GPS and IMU sensors, video feed from windshield camera, which were recorded during 4 car rides on the same route. Also, we collected precise location data from Real Time Kinematic Global Navigation Satellite System (RTK-GNSS) device, which can be used for validation. This RTK-GNSS system was used to collect precise data about the traffic signs locations on the route as well. The results show that the Bayesian approach helps with the trajectory correction and gives better estimations with the increase of the amount of the prior information. The suggested method is efficient and requires, apart from the GPS/IMU measurements, only information about the vehicle locations during previous traffic signs detections.

    Просмотров за год: 22.
  3. Представлен итерационный алгоритм, который численно решает нелинейные одномерные несингулярные интегральные уравнения Фредгольма и Вольтерры второго рода типа Урысона. Показано, что метод последовательных приближений Пикара может быть использован при численном решении такого типа уравнений. Сходимость числовой схемы гарантируется теоремами о неподвижной точке. При этом квадратурный алгоритм основан на явной форме встроенного правила Рунге–Кутты пятого порядка с адаптивным контролем размера шага. Возможность контроля локальных ошибок квадратур позволяет создавать очень точные автоматические числовые схемы и значительно уменьшить основной недостаток итераций Пикара, а именно чрезвычайно большое количество вычислений с увеличением глубины рекурсии. Наш алгоритм организован так, что по сравнению с большинством подходов нелинейность интегральных уравнений не вызывает каких-либо дополнительных вычислительных трудностей, его очень просто применять и реализовывать в программе. Наш алгоритм демонстрирует практически важные черты универсальности. Во-первых, следует подчеркнуть, что метод столь же прост в применении к нелинейным, как и к линейным уравнениям типа Фредгольма и Вольтерры. Во-вторых, алгоритм снабжен правилами останова, по которым вычисления могут в значительной степени контролироваться автоматически. Представлен компактный C++-код описанного алгоритма. Реализация нашей программы является самодостаточной: она не требует никаких предварительных вычислений, никаких внешних функций и библиотек и не требует дополнительной памяти. Приведены числовые примеры, показывающие применимость, эффективность, надежность и точность предложенного подхода.

    We present the iterative algorithm that solves numerically both Urysohn type Fredholm and Volterra nonlinear one-dimensional nonsingular integral equations of the second kind to a specified, modest user-defined accuracy. The algorithm is based on descending recursive sequence of quadratures. Convergence of numerical scheme is guaranteed by fixed-point theorems. Picard’s method of integrating successive approximations is of great importance for the existence theory of integral equations but surprisingly very little appears on numerical algorithms for its direct implementation in the literature. We show that successive approximations method can be readily employed in numerical solution of integral equations. By that the quadrature algorithm is thoroughly designed. It is based on the explicit form of fifth-order embedded Runge–Kutta rule with adaptive step-size self-control. Since local error estimates may be cheaply obtained, continuous monitoring of the quadrature makes it possible to create very accurate automatic numerical schemes and to reduce considerably the main drawback of Picard iterations namely the extremely large amount of computations with increasing recursion depth. Our algorithm is organized so that as compared to most approaches the nonlinearity of integral equations does not induce any additional computational difficulties, it is very simple to apply and to make a program realization. Our algorithm exhibits some features of universality. First, it should be stressed that the method is as easy to apply to nonlinear as to linear equations of both Fredholm and Volterra kind. Second, the algorithm is equipped by stopping rules by which the calculations may to considerable extent be controlled automatically. A compact C++-code of described algorithm is presented. Our program realization is self-consistent: it demands no preliminary calculations, no external libraries and no additional memory is needed. Numerical examples are provided to show applicability, efficiency, robustness and accuracy of our approach.

  4. Алкуса М.С., Гасников А.В., Двуреченский П.Е., Садиев А.А., Разук Л.Я.
    Подход к решению невыпуклой равномерно вогнутой седловой задачи со структурой
    Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 225-237

    В последнее время седловым задачам уделяется большое внимание благодаря их мощным возможностям моделирования для множества задач из различных областей. Приложения этих задач встречаются в многочисленных современных прикладных областях, таких как робастная оптимизация, распределенная оптимизация, теория игр и~приложения машинного обучения, такие как, например, минимизация эмпирического риска или обучение генеративно-состязательных сетей. Поэтому многие исследователи активно работают над разработкой численных методов для решения седловых задач в самых разных предположениях. Данная статья посвящена разработке численного метода решения седловых задач в невыпуклой равномерно вогнутой постановке. В этой постановке считается, что по группе прямых переменных целевая функция может быть невыпуклой, а по группе двойственных переменных задача является равномерно вогнутой (это понятие обобщает понятие сильной вогнутости). Был изучен более общий класс седловых задач со сложной композитной структурой и гёльдерово непрерывными производными высшего порядка. Для решения рассматриваемой задачи был предложен подход, при котором мы сводим задачу к комбинации двух вспомогательных оптимизационных задач отдельно для каждой группы переменных: внешней задачи минимизации и~внутренней задачи максимизации. Для решения внешней задачи минимизации мы используем адаптивный градиентный метод, который применим для невыпуклых задач, а также работает с неточным оракулом, который генерируется путем неточного решения внутренней задачи максимизации. Для решения внутренней задачи максимизации мы используем обобщенный ускоренный метод с рестартами, который представляет собой метод, объединяющий методы ускорения высокого порядка для минимизации выпуклой функции, имеющей гёльдерово непрерывные производные высшего порядка. Важной компонентой проведенного анализа сложности предлагаемого алгоритма является разделение оракульных сложностей на число вызовов оракула первого порядка для внешней задачи минимизации и оракула более высокого порядка для внутренней задачи максимизации. Более того, оценивается сложность всего предлагаемого подхода.

    Alkousa M.S., Gasnikov A.V., Dvurechensky P.E., Sadiev A.A., Razouk L.Ya.
    An approach for the nonconvex uniformly concave structured saddle point problem
    Computer Research and Modeling, 2022, v. 14, no. 2, pp. 225-237

    Recently, saddle point problems have received much attention due to their powerful modeling capability for a lot of problems from diverse domains. Applications of these problems occur in many applied areas, such as robust optimization, distributed optimization, game theory, and many applications in machine learning such as empirical risk minimization and generative adversarial networks training. Therefore, many researchers have actively worked on developing numerical methods for solving saddle point problems in many different settings. This paper is devoted to developing a numerical method for solving saddle point problems in the nonconvex uniformly-concave setting. We study a general class of saddle point problems with composite structure and H\"older-continuous higher-order derivatives. To solve the problem under consideration, we propose an approach in which we reduce the problem to a combination of two auxiliary optimization problems separately for each group of variables, the outer minimization problem w.r.t. primal variables, and the inner maximization problem w.r.t the dual variables. For solving the outer minimization problem, we use the Adaptive Gradient Method, which is applicable for nonconvex problems and also works with an inexact oracle that is generated by approximately solving the inner problem. For solving the inner maximization problem, we use the Restarted Unified Acceleration Framework, which is a framework that unifies the high-order acceleration methods for minimizing a convex function that has H\"older-continuous higher-order derivatives. Separate complexity bounds are provided for the number of calls to the first-order oracles for the outer minimization problem and higher-order oracles for the inner maximization problem. Moreover, the complexity of the whole proposed approach is then estimated.

  5. Божко А.Н.
    Анализ механических структур сложных технических систем
    Компьютерные исследования и моделирование, 2021, т. 13, № 5, с. 903-916

    Работа посвящена структурному анализу сложных технических систем. Рассматриваются механические структуры, свойства которых влияют на поведение изделия в процессе сборки, ремонта и эксплуатации. Основным источником данных о деталях и механических связях между ними является гиперграф. Эта модель формализует многоместное отношение базирования. Она корректно описывает связность и взаимную координацию деталей, которые достигаются в процессе сборки изделия. При разработке сложных изделий в CAD-системах инженер часто допускает тяжелые проектные ошибки: перебазирование деталей и несеквенциальность сборочных операций. Предложены эффективные способы идентификации данных структурных дефектов. Показано, что свойство независимой собираемости можно представить как оператор замыкания на булеане множества деталей изделия. Образы этого оператора представляют собой связные координированные совокупности деталей, которые можно собрать независимо. Описана решеточная модель, которая представляет собой пространство состояний изделия в процессе сборки, разборки и декомпозиции на сборочные единицы. Решеточная модель служит источником разнообразной структурной информации о проекте. Предложены численные оценки мощности множества допустимых альтернатив в задачах выбора последовательности сборки и декомпозиции на сборочные единицы. Для многих технических операций (например, контроль, испытания и др.) необходимо монтировать все детали-операнды в одну сборочную единицу. Разработана простая формализация технических условий, требующих включения (исключения) деталей в сборочную единицу (из сборочной единицы). Приведена теорема, которая дает математическое описание декомпозиции изделия на сборочные единицы в точных решеточных терминах. Предложен способ численной оценки робастности механической структурыс ложной технической системы.

    Bozhko A.N.
    Analysis of mechanical structures of complex technical systems
    Computer Research and Modeling, 2021, v. 13, no. 5, pp. 903-916

    The work is devoted to the structural analysis of complex technical systems. Mechanical structures are considered, the properties of which affect the behavior of products during assembly, repair and operation. The main source of data on parts and mechanical connections between them is a hypergraph. This model formalizes the multidimensional basing relation. The hypergraph correctly describes the connectivity and mutual coordination of parts, which is achieved during the assembly of the product. When developing complex products in CAD systems, an engineer often makes serious design mistakes: overbasing of parts and non-sequential assembly operations. Effective ways of identifying these structural defects have been proposed. It is shown that the property of independent assembly can be represented as a closure operator whose domain is the boolean of the set of product parts. The images of this operator are connected and coordinated subsets of parts that can be assembled independently. A lattice model is described, which is the state space of the product during assembly, disassembly and decomposition into assembly units. The lattice model serves as a source of various structural information about the project. Numerical estimates of the cardinality of the set of admissible alternatives in the problems of choosing an assembly sequence and decomposition into assembly units are proposed. For many technical operations (for example, control, testing, etc.), it is necessary to mount all the operand parts in one assembly unit. A simple formalization of the technical conditions requiring the inclusion (exclusion) of parts in the assembly unit (from the assembly unit) has been developed. A theorem that gives an mathematical description of product decomposition into assembly units in exact lattice terms is given. A method for numerical evaluation of the robustness of the mechanical structure of a complex technical system is proposed.

  6. Нефедова О.А., Спевак Л.Ф., Казаков А.Л., Ли М.Г.
    Применение метода нулевого поля для решения двумерного нелинейного уравнения теплопроводности
    Компьютерные исследования и моделирование, 2023, т. 15, № 6, с. 1449-1467

    В работе рассмотрена краевая задача о движении тепловой волны для вырождающегося уравнения второго порядка параболического типа со степенной нелинейностью. Краевое условие задает уравнение движения на плоскости нулевого фронта тепловой волны, имеющего форму окружности. Предложен новый численно-аналитический алгоритм, в соответствии с которым решение строится по шагам по времени при разностной схеме дискретизации времени. На каждом шаге рассматривается краевая задача для уравнения Пуассона, к которому сводится исходное уравнение. Фактически она является обратной задачей Коши, в которой исходная граница области решения свободна от граничных условий, а на текущей границе (фронте волны) заданы два условия (Неймана и Дирихле). Решение этой задачи ищется в виде суммы частного решения уравнения Пуассона и решения соответствующего уравнения Лапласа, удовлетворяющего граничным условиям. Поскольку неоднородность зависит от искомой функции и ее производных, решение строится итерационно. Частное решение ищется методом коллокаций с помощью разложения неоднородности по радиальным базисным функциям. Обратная задача Коши для уравнения Лапласа решается методом нулевого поля применительно к круговым областям с круговыми отверстиями. Для таких задач этот метод применяется впервые. Вычислительный алгоритм оптимизирован за счет распараллеливания вычислений. Распараллеливание вычислений позволило эффективно реализовать алгоритм на высокопроизводительных вычислительных системах. На базе алгоритма была создана компьютерная программа. В качестве средства распараллеливания был выбран стандарт параллельного программирования OpenMP для языка программирования C++ как наиболее подходящий для вычислительных программ с параллельными циклами. Эффективность алгоритма и работоспособность программы были проверены сравнением результатов расчетов с известным точным решением, а также с численным решением, полученным авторами ранее с помощью метода граничных элементов. Проведенный вычислительный эксперимент показал хорошую сходимость итерационных процессов и более высокую точность нового алгоритма по сравнению с разработанным ранее. Анализ решений позволил определить наиболее подходящую систему радиальных базисных функций.

    Nefedova O.A., Spevak L.P., Kazakov A.L., Lee M.G.
    Solution to a two-dimensional nonlinear heat equation using null field method
    Computer Research and Modeling, 2023, v. 15, no. 6, pp. 1449-1467

    The paper deals with a heat wave motion problem for a degenerate second-order nonlinear parabolic equation with power nonlinearity. The considered boundary condition specifies in a plane the motion equation of the circular zero front of the heat wave. A new numerical-analytical algorithm for solving the problem is proposed. A solution is constructed stepby- step in time using difference time discretization. At each time step, a boundary value problem for the Poisson equation corresponding to the original equation at a fixed time is considered. This problem is, in fact, an inverse Cauchy problem in the domain whose initial boundary is free of boundary conditions and two boundary conditions (Neumann and Dirichlet) are specified on a current boundary (heat wave). A solution of this problem is constructed as the sum of a particular solution to the nonhomogeneous Poisson equation and a solution to the corresponding Laplace equation satisfying the boundary conditions. Since the inhomogeneity depends on the desired function and its derivatives, an iterative solution procedure is used. The particular solution is sought by the collocation method using inhomogeneity expansion in radial basis functions. The inverse Cauchy problem for the Laplace equation is solved by the null field method as applied to a circular domain with a circular hole. This method is used for the first time to solve such problem. The calculation algorithm is optimized by parallelizing the computations. The parallelization of the computations allows us to realize effectively the algorithm on high performance computing servers. The algorithm is implemented as a program, which is parallelized by using the OpenMP standard for the C++ language, suitable for calculations with parallel cycles. The effectiveness of the algorithm and the robustness of the program are tested by the comparison of the calculation results with the known exact solution as well as with the numerical solution obtained earlier by the authors with the use of the boundary element method. The implemented computational experiment shows good convergence of the iteration processes and higher calculation accuracy of the proposed new algorithm than of the previously developed one. The solution analysis allows us to select the radial basis functions which are most suitable for the proposed algorithm.

  7. Гладин Е.Л., Бородич Е.Д.
    Редукция дисперсии для минимаксных задач с небольшой размерностью одной из переменных
    Компьютерные исследования и моделирование, 2022, т. 14, № 2, с. 257-275

    Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

    Gladin E.L., Borodich E.D.
    Variance reduction for minimax problems with a small dimension of one of the variables
    Computer Research and Modeling, 2022, v. 14, no. 2, pp. 257-275

    The paper is devoted to convex-concave saddle point problems where the objective is a sum of a large number of functions. Such problems attract considerable attention of the mathematical community due to the variety of applications in machine learning, including adversarial learning, adversarial attacks and robust reinforcement learning, to name a few. The individual functions in the sum usually represent losses related to examples from a data set. Additionally, the formulation admits a possibly nonsmooth composite term. Such terms often reflect regularization in machine learning problems. We assume that the dimension of one of the variable groups is relatively small (about a hundred or less), and the other one is large. This case arises, for example, when one considers the dual formulation for a minimization problem with a moderate number of constraints. The proposed approach is based on using Vaidya’s cutting plane method to minimize with respect to the outer block of variables. This optimization algorithm is especially effective when the dimension of the problem is not very large. An inexact oracle for Vaidya’s method is calculated via an approximate solution of the inner maximization problem, which is solved by the accelerated variance reduced algorithm Katyusha. Thus, we leverage the structure of the problem to achieve fast convergence. Separate complexity bounds for gradients of different components with respect to different variables are obtained in the study. The proposed approach is imposing very mild assumptions about the objective. In particular, neither strong convexity nor smoothness is required with respect to the low-dimensional variable group. The number of steps of the proposed algorithm as well as the arithmetic complexity of each step explicitly depend on the dimensionality of the outer variable, hence the assumption that it is relatively small.

  8. В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.

    Kutalev A.A., Lapina A.A.
    Modern ways to overcome neural networks catastrophic forgetting and empirical investigations on their structural issues
    Computer Research and Modeling, 2023, v. 15, no. 1, pp. 45-56

    This paper presents the results of experimental validation of some structural issues concerning the practical use of methods to overcome catastrophic forgetting of neural networks. A comparison of current effective methods like EWC (Elastic Weight Consolidation) and WVA (Weight Velocity Attenuation) is made and their advantages and disadvantages are considered. It is shown that EWC is better for tasks where full retention of learned skills is required on all the tasks in the training queue, while WVA is more suitable for sequential tasks with very limited computational resources, or when reuse of representations and acceleration of learning from task to task is required rather than exact retention of the skills. The attenuation of the WVA method must be applied to the optimization step, i. e. to the increments of neural network weights, rather than to the loss function gradient itself, and this is true for any gradient optimization method except the simplest stochastic gradient descent (SGD). The choice of the optimal weights attenuation function between the hyperbolic function and the exponent is considered. It is shown that hyperbolic attenuation is preferable because, despite comparable quality at optimal values of the hyperparameter of the WVA method, it is more robust to hyperparameter deviations from the optimal value (this hyperparameter in the WVA method provides a balance between preservation of old skills and learning a new skill). Empirical observations are presented that support the hypothesis that the optimal value of this hyperparameter does not depend on the number of tasks in the sequential learning queue. And, consequently, this hyperparameter can be picked up on a small number of tasks and used on longer sequences.

  9. Багаев Р.А., Голубев В.И., Голубева Ю.А.
    Full-wave 3D earthquake simulation using the double-couple model and the grid-characteristic method
    Компьютерные исследования и моделирование, 2019, т. 11, № 6, с. 1061-1067

    One of the destroying natural processes is the initiation of the regional seismic activity. It leads to a large number of human deaths. Much effort has been made to develop precise and robust methods for the estimation of the seismic stability of buildings. One of the most common approaches is the natural frequency method. The obvious drawback of this approach is a low precision due to the model oversimplification. The other method is a detailed simulation of dynamic processes using the finite-element method. Unfortunately, the quality of simulations is not enough due to the difficulty of setting the correct free boundary condition. That is why the development of new numerical methods for seismic stability problems is a high priority nowadays.

    The present work is devoted to the study of spatial dynamic processes occurring in geological medium during an earthquake. We describe a method for simulating seismic wave propagation from the hypocenter to the day surface. To describe physical processes, we use a system of partial differential equations for a linearly elastic body of the second order, which is solved numerically by a grid-characteristic method on parallelepiped meshes. The widely used geological hypocenter model, called the “double-couple” model, was incorporated into this numerical algorithm. In this case, any heterogeneities, such as geological layers with curvilinear boundaries, gas and fluid-filled cracks, fault planes, etc., may be explicitly taken into account.

    In this paper, seismic waves emitted during the earthquake initiation process are numerically simulated. Two different models are used: the homogeneous half-space and the multilayered geological massif with the day surface. All of their parameters are set based on previously published scientific articles. The adequate coincidence of the simulation results is obtained. And discrepancies may be explained by differences in numerical methods used. The numerical approach described can be extended to more complex physical models of geological media.

    Bagaev R.A., Golubev V.I., Golubeva Y.A.
    Full-wave 3D earthquake simulation using the double-couple model and the grid-characteristic method
    Computer Research and Modeling, 2019, v. 11, no. 6, pp. 1061-1067

    One of the destroying natural processes is the initiation of the regional seismic activity. It leads to a large number of human deaths. Much effort has been made to develop precise and robust methods for the estimation of the seismic stability of buildings. One of the most common approaches is the natural frequency method. The obvious drawback of this approach is a low precision due to the model oversimplification. The other method is a detailed simulation of dynamic processes using the finite-element method. Unfortunately, the quality of simulations is not enough due to the difficulty of setting the correct free boundary condition. That is why the development of new numerical methods for seismic stability problems is a high priority nowadays.

    The present work is devoted to the study of spatial dynamic processes occurring in geological medium during an earthquake. We describe a method for simulating seismic wave propagation from the hypocenter to the day surface. To describe physical processes, we use a system of partial differential equations for a linearly elastic body of the second order, which is solved numerically by a grid-characteristic method on parallelepiped meshes. The widely used geological hypocenter model, called the “double-couple” model, was incorporated into this numerical algorithm. In this case, any heterogeneities, such as geological layers with curvilinear boundaries, gas and fluid-filled cracks, fault planes, etc., may be explicitly taken into account.

    In this paper, seismic waves emitted during the earthquake initiation process are numerically simulated. Two different models are used: the homogeneous half-space and the multilayered geological massif with the day surface. All of their parameters are set based on previously published scientific articles. The adequate coincidence of the simulation results is obtained. And discrepancies may be explained by differences in numerical methods used. The numerical approach described can be extended to more complex physical models of geological media.

  10. Брацун Д.А., Захаров А.П.
    Моделирование пространственно-временной динамики циркадианных ритмов Neurospora crassa
    Компьютерные исследования и моделирование, 2011, т. 3, № 2, с. 191-213

    В работе предложена новая модель циркадианных колебаний нейроспоры, которая описывает пространственно-временную динамику белков, ответственных за механизм биоритмов. Модель основывается на нелинейном взаимодействии белков FRQ и WCC, кодируемых генами frequency и white collar, и включает в себя как положительную, так и отрицательную петлю обратной связи. Главным элементом механизма колебаний является эффект запаздывания в биохимических реакциях транскрипции генов. Показано, что модель воспроизводит такие свойства циркадианных колебаний нейроспоры как захват частоты под действием внешнего периодического освещения, сброс фазы биоритмов при воздействии импульса света, устойчивость механизма колебаний по отношению к случайным флуктуациям и т. д. Исследованы волновые структуры, возникающие в ходе пространственной эволюции системы. Показано, что волны синхронизации биоритмов среды возникают под воздействием базального транскрипционного фактора.

    Bratsun D.A., Zakharov A.P.
    Modelling spatio-temporal dynamics of circadian rythms in Neurospora crassa
    Computer Research and Modeling, 2011, v. 3, no. 2, pp. 191-213

    We derive a new model of circadian oscillations in Neurospora crassa, which is suitable to analyze both temporal and spatial dynamics of proteins responsible for mechanism of rythms. The model is based on the non-linear interplay between proteins FRQ and WCC which are products of transcription of frequency and white collar genes forming a feedback loop comprised both positive and negative elements. The main component of oscillations mechanism is supposed to be time-delay in biochemical reactions of transcription. We show that the model accounts for various features observed in Neurospora’s experiments such as entrainment by light cycles, phase shift under light pulse, robustness to action of fluctuations and so on. Wave patterns excited during spatial development of the system are studied. It is shown that the wave of synchronization of biorythms arises under basal transcription factors.

    Просмотров за год: 6. Цитирований: 20 (РИНЦ).
Страницы: следующая

Журнал индексируется в Scopus

Полнотекстовая версия журнала доступна также на сайте научной электронной библиотеки eLIBRARY.RU

Журнал включен в базу данных Russian Science Citation Index (RSCI) на платформе Web of Science

Международная Междисциплинарная Конференция "Математика. Компьютер. Образование"

Международная Междисциплинарная Конференция МАТЕМАТИКА. КОМПЬЮТЕР. ОБРАЗОВАНИЕ.