Все выпуски

Intent detection plays a crucial role in task-oriented conversational systems. To understand the user’s goal, the system relies on its intent detector to classify the user’s utterance, which may be expressed in different forms of natural language, into intent classes. However, lack of data, and the efficacy of intent detection systems has been hindered by the fact that the user’s intent text is typically characterized by short, general sentences and colloquial expressions. The process of algorithmically determining user intent from a given statement is known as intent detection. The goal of this study is to develop an intent detection model that will accurately classify and detect user intent. The model calculates the similarity score of the three models used to determine their similarities. The proposed model uses Contextual Semantic Search (CSS) capabilities for semantic search, Latent Dirichlet Allocation (LDA) for topic modeling, the Bidirectional Encoder Representations from Transformers (BERT) semantic matching technique, and the combination of LDA and BERT for text classification and detection. The dataset acquired is from the broad twitter corpus (BTC) and comprises various meta data. To prepare the data for analysis, a pre-processing step was applied. A sample of 1432 instances were selected out of the 5000 available datasets because manual annotation is required and could be time-consuming. To compare the performance of the model with the existing model, the similarity scores, precision, recall, f1 score, and accuracy were computed. The results revealed that LDA-BERT achieved an accuracy of 95.88% for intent detection, BERT with an accuracy of 93.84%, and LDA with an accuracy of 92.23%. This shows that LDA-BERT performs better than other models. It is hoped that the novel model will aid in ensuring information security and social media intelligence. For future work, an unsupervised LDA-BERT without any labeled data can be studied with the model.

Intent detection plays a crucial role in task-oriented conversational systems. To understand the user’s goal, the system relies on its intent detector to classify the user’s utterance, which may be expressed in different forms of natural language, into intent classes. However, lack of data, and the efficacy of intent detection systems has been hindered by the fact that the user’s intent text is typically characterized by short, general sentences and colloquial expressions. The process of algorithmically determining user intent from a given statement is known as intent detection. The goal of this study is to develop an intent detection model that will accurately classify and detect user intent. The model calculates the similarity score of the three models used to determine their similarities. The proposed model uses Contextual Semantic Search (CSS) capabilities for semantic search, Latent Dirichlet Allocation (LDA) for topic modeling, the Bidirectional Encoder Representations from Transformers (BERT) semantic matching technique, and the combination of LDA and BERT for text classification and detection. The dataset acquired is from the broad twitter corpus (BTC) and comprises various meta data. To prepare the data for analysis, a pre-processing step was applied. A sample of 1432 instances were selected out of the 5000 available datasets because manual annotation is required and could be time-consuming. To compare the performance of the model with the existing model, the similarity scores, precision, recall, f1 score, and accuracy were computed. The results revealed that LDA-BERT achieved an accuracy of 95.88% for intent detection, BERT with an accuracy of 93.84%, and LDA with an accuracy of 92.23%. This shows that LDA-BERT performs better than other models. It is hoped that the novel model will aid in ensuring information security and social media intelligence. For future work, an unsupervised LDA-BERT without any labeled data can be studied with the model.

Развивается и обосновывается метод, позволяющий получить явную форму решения в виде отрезков рядов по степеням шага аргумента. Формализуется алгоритм, элементы которого используют аналогию с представлением и обработкой чисел в компьютере: ограничение в разрядной сетке и переброс разрядов. При перебросе разряда выявляются фрактально-стохастические свойства алгоритма, дающие возможность осреднять неизвестные промежуточные шаги в старших разрядах. Строятся решения нелинейных дифференциальных уравнений и системы уравнений.

Method which allows to obtain explicit form of the solution as a part of power series of the argument step is developed. Formalization of characteristics of the algorithm analogous to operations of a computer is performed. The operation of transfer from one rank to another leads to a probability scheme of the algorithm that averages unknown intermediate steps in higher ranks of the series. The stochastic characteristics of the method are studied and illustrated. Examples of solving nonlinear equations and systems of nonlinear differential equations are presented.

В данной работе проведено исследование возникновения диффузионной неустойчивости в системе из трех уравнений типа «реакция–диффузия». В общем виде получены условия как тьюринговской, так и волновой неустойчивостей. Выявлены качественные свойства, которыми должна обладать система для того, чтобы в ней могла произойти та или другая бифуркация. В численных экспериментах показано, что при выполнении соответствующих условий в нелинейной модели возникают структуры, которые предсказываются линейным анализом.

Investigation of occurrence of diffusion instability in a set of three reaction–diffusion equations is carried out. In the general case the condition for both Turing and wave instabilities are obtained. Qualitative properties of the system, in which the bifurcation of each of the two types can take place, are clarified. In numerical experiments it is shown that if the corresponding conditions are met in the nonlinear model, spatiotemporal patterns are formed, which are predicted by linear analysis.

Традиционная классификация сложных сетей на биологические, технологические и социальные является неполной, поскольку существует огромное разнообразие продуктов художественного творчества, структуру которых также можно представить в виде сетей. В статье дан обзор исследований сложных сетей, моделирующих некоторые литературные, музыкальные и живописные произведения. Соответствующие сети предложено называть когнитивными. Обсуждаются основные направления изучения таких сетевых структур.

Traditional classification of real complex networks on biological, technological and social is incomplete, as there is a huge variety of artworks, which structure also can be presented in the form of networks. In this paper the review of researches of the complex networks, modeling some literary, musical and painting works is given. Corresponding networks are offered for naming cognitive networks. The possible directions of studying of such networks are discussed.

В области судостроения наиболее авторитетные рекомендации по тестированию и аттестации численных методов были выработаны в рамках международного семинара по проблемам численного моделирования обтекания судового корпуса вязким потоком, который раз в пять лет проходит поочередно в Гетеборге (Швеция) и Токио (Япония). На семинаре «Гетеборг–2000» были предложены три судовых корпуса с современной формой обводов, снабженные надежными экспериментальными данными. Среди них наиболее общий случай представляет контейнеровоз KCS — судно средней быстроходности с умеренной полнотой обводов. В работе изложены результаты численного исследования обтекания корпуса KCS с помощью ПК FlowVision, выполненного согласно стандартным процедурам семинара. Полученные результаты сопоставлены с данными эксперимента и результатами расчетов в других ведущих ПК.

In the field of naval architecture the most competent recommendations in verification and validation of the numerical methods were developed within an international workshop on the numerical prediction of ship viscous flow which is held every five years in Gothenburg (Sweden) and Tokyo (Japan) alternately. In the workshop “Gothenburg–2000” three modern hull forms with reliable experimental data were introduced as test cases. The most general case among them is a containership KCS, a ship of moderate specific speed and fullness. The paper focuses on a numerical research of KCS hull flow, which was made according to the formal procedures of the workshop with the help of CEA FlowVision. Findings were compared with experimental data and computational data of other key CEA.

В приближении однородной намагниченности построена математическая модель трехслойной ячейки памяти MRAM c осью анизотропии, расположенной перпендикулярно запоминающему ферромагнитному слою ячейки (перпендикулярная анизотропия). Предполагается, что первоначально намагниченность свободного слоя ячейки ориентирована вдоль оси анизотропии и соответствует состоянию «нуль». Одновременное мгновенное включение спин-поляризованного тока и магнитного поля воздействует на намагниченность свободного слоя и может перевести ее в противоположное положение, соответствующее состоянию «единица». Математическое описание эффекта основано на классическом векторном уравнении Ландау–Лифшица с диссипативным членом в форме Гильберта. В нашей модели учтены взаимодействия намагниченности с внешним магнитным полем и эффективными полями анизотропии и размагничивания, а также с током инжекции в форме Слончевского–Берже. Выведена система обыкновенных дифференциальных уравнений, описывающая динамику намагниченности в трехслойной вентильной структуре Co/Cu/Co в зависимости от управляющих параметров: величины тока инжекции и внешнего магнитного поля, параллельного оси анизотропии магнитных слоев. Показано, что при любых токах и полях система имеет два основных состояния равновесия, расположенных на оси, совпадающей с осью анизотропии. Установлено, что в данной системе, в отличие от системы с продольной анизотропией, дополнительные состояния равновесия отсутствуют. Проведен анализ устойчивости основных состояний равновесия по первому приближению. Построены бифуркационные диаграммы, характеризующие типы динамики вектора намагниченности свободного слоя. Проведена классификация фазовых портретов на единичной сфере в зависимости от управляющих параметров (тока и поля). Изучены особенности динамики вектора намагниченности в каждой из характерных областей бифуркационной диаграммы и численно, методом Рунге–Кутты, построены траектории переключения. Найдены комбинации управляющих параметров, при которых переключение невозможно. Найдены области существования устойчивых и неустойчивых предельных циклов системы. Аналитически определены значения пороговых токов переключения в зависимости от внешнего магнитного поля. Проведено сравнение значений порогового тока в моделях с продольной и перпендикулярной анизотропией при нулевом магнитном поле и показано, что в модели с перпендикулярной анизотропией ток переключения почти на порядок ниже, чем в модели с продольной анизотропией.

The mathematical model of a three-layered Co/Cu/Co nanopillar for MRAM cell with one fixed and one free layer was investigated in the approximation of uniformly distributed magnetization. The anisotropy axis is perpendicular to the layers (so-called perpendicular anisotropy). Initially the magnetization of the free layer is oriented along the anisotropy axis in the position accepted to be “zero”. Simultaneous magnetic field and spinpolarized current engaging can reorient the magnetization to another position which in this context can be accepted as “one”. The mathematical description of the effect is based on the classical vector Landau–Lifshits equation with the dissipative term in the Gilbert form. In our model we took into account the interactions of the magnetization with an external magnetic field and such effective magnetic fields as an anisotropy and demagnetization ones. The influence of the spin-polarized injection current is taken into account in the form of Sloczewski–Berger term. The model was reduced to the set of three ordinary differential equations with the first integral. It was shown that at any current and field the dynamical system has two main equilibrium states on the axis coincident with anisotropy axis. It was ascertained that in contrast with the longitudinal-anisotropy model, in the model with perpendicular anisotropy there are no other equilibrium states. The stability analysis of the main equilibrium states was performed. The bifurcation diagrams characterizing the magnetization dynamics at different values of the control parameters were built. The classification of the phase portraits on the unit sphere was performed. The features of the dynamics at different values of the parameters were studied and the conditions of the magnetization reorientation were determined. The trajectories of magnetization switching were calculated numerically using the Runge–Kutta method. The parameter values at which limit cycles exist were determined. The threshold values for the switching current were found analytically. The threshold values for the structures with longitudinal and perpendicular anisotropy were compared. It was established that in the structure with the perpendicular anisotropy at zero field the switching current is an order lower than in the structure with the longitudinal one.

При моделировании методами классической молекулярной динамики поведения системы частиц используются уравнения движения в ньютоновской и гамильтоновой формулировке. При использовании уравнений Ньютона для получения координат и скоростей частиц системы, состоящей из $N$ частиц, требуется на каждом временном шаге в трехмерном случае решить $3N$ обыкновенных дифференциальных уравнений второго порядка. Традиционно для решения уравнений движения молекулярной динамики в ньютоновской формулировке используются численные схемы метода Верле. Для сохранения устойчивости численных схем Верле на достаточно больших интервалах времени приходится уменьшать шаг интегрирования. Это приводит к существенному увеличению объема вычислений. В большинстве современных пакетов программ молекулярной динамики для численного интегрирования уравнений движения используют схемы метода Верле с контролем сохранения гамильтониана (энергии системы) по времени. Для уменьшения времени вычислений при молекулярно-динамических расчетах можно использовать два дополняющих друг друга подхода. Первый основан на совершенствовании и программной оптимизации существующих пакетов программ молекулярной динамики с использованием векторизации, распараллеливания, спецпроцессоров. Второй подход основан на разработке эффективных методов численного интегрирования уравнений движения. В работе предложена процедура построения явных, неявных и симметричных симплектических численных схем с заданной точностью аппроксимации относительно шага интегрирования для решения уравнений движения молекулярной динамики в гамильтоновой форме. В основе подхода для построения предложенной в работе процедуры лежат следующие положения: гамильтонова формулировка уравнений движения, использование разложения точного решения в ряд Тейлора, использование для вывода численных схем аппарата производящих функций для сохранения геометрических свойств точного решения. Численные эксперименты показали, что полученная в работе симметричная симплектическая схема третьего порядка точности сохраняет в приближенном решении основные свойства точного решения, является более устойчивой по шагу аппроксимации и более точно сохраняет гамильтониан системы на большом интервале интегрирования, чем численные схемы метода Верле второго порядка.

Equations of motion in Newtonian and Hamiltonian forms are used for classical molecular dynamics simulation of particle system time evolution. When Newton equations of motion are used for finding of particle coordinates and velocities in $N$-particle system it takes to solve $3N$ ordinary differential equations of second order at every time step. Traditionally numerical schemes of Verlet method are used for solving Newtonian equations of motion of molecular dynamics. A step of integration is necessary to decrease for Verlet numerical schemes steadiness conservation on sufficiently large time intervals. It leads to a significant increase of the volume of calculations. Numerical schemes of Verlet method with Hamiltonian conservation control (the energy of the system) at every time moment are used in the most software packages of molecular dynamics for numerical integration of equations of motion. It can be used two complement each other approaches to decrease of computational time in molecular dynamics calculations. The first of these approaches is based on enhancement and software optimization of existing software packages of molecular dynamics by using of vectorization, parallelization and special processor construction. The second one is based on the elaboration of efficient methods for numerical integration for equations of motion. A procedure for constructing of explicit, implicit and symmetric symplectic numerical schemes with given approximation accuracy in relation to integration step for solving of molecular dynamic equations of motion in Hamiltonian form is proposed in this work. The approach for construction of proposed in this work procedure is based on the following points: Hamiltonian formulation of equations of motion; usage of Taylor expansion of exact solution; usage of generating functions, for geometrical properties of exact solution conservation, in derivation of numerical schemes. Numerical experiments show that obtained in this work symmetric symplectic third-order accuracy scheme conserves basic properties of the exact solution in the approximate solution. It is more stable for approximation step and conserves Hamiltonian of the system with more accuracy at a large integration interval then second order Verlet numerical schemes.

Рассматривается численно устойчивый прямой мультипликативный алгоритм решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество алгоритма состоит в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью $LU$-разложения, просто другая схема реализации метода исключения Гаусса.

В данной работе этот алгоритм лежит в основе решения следующих задач.

Задача 1. Задание направления спуска в ньютоновских методах безусловной оптимизации путем интеграции одной из известных техник построения существенно положительно определенной матрицы. Такой подход позволяет ослабить или снять дополнительные специфические трудности, обусловленные необходимостью решения больших систем уравнений с разреженными матрицами, представленных в упакованном виде.

Задача 2. Построение новой математической формулировки задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности. Они достаточно просты и могут быть использованы для построения методов математического программирования, например для поиска минимума квадратичной функции на многогранном множестве ограничений, основанного на решениях систем линейных уравнений, размерность которых не выше числа переменных целевой функции.

Задача 3. Построение непрерывного аналога задачи минимизации вещественного квадратичного многочлена от булевых переменных и новой формы задания необходимых и достаточных условий оптимальности для разработки методов их решения за полиномиальное время. В результате исходная задача сводится к задаче поиска минимального расстояния между началом координат и угловой точкой выпуклого многогранника (полиэдра), который является возмущением $n$-мерного куба и описывается системой двойных линейных неравенств с верхней треугольной матрицей коэффициентов с единицами на главной диагонали. Исследованию подлежат только две грани, одна из которых или обе содержат вершины, ближайшие к началу координат. Для их вычисления достаточно решить $4n – 4$ систем линейных уравнений и выбрать среди них все ближайшие равноудаленные вершины за полиномиальное время. Задача минимизации квадратичного полинома является $NP$-трудной, поскольку к ней сводится $NP$-трудная задача о вершинном покрытии для произвольного графа. Отсюда следует вывод, что $P = NP$, в основе построения которого лежит выход за пределы целочисленных методов оптимизации.

We consider a numerically stable direct multiplicative algorithm of solving linear equations systems, which takes into account the sparseness of matrices presented in a packed form. The advantage of the algorithm is the ability to minimize the filling of the main rows of multipliers without losing the accuracy of the results. Moreover, changes in the position of the next processed row of the matrix are not made, what allows using static data storage formats. Linear system solving by a direct multiplicative algorithm is, like the solving with $LU$-decomposition, just another scheme of the Gaussian elimination method implementation.

In this paper, this algorithm is the basis for solving the following problems:

Problem 1. Setting the descent direction in Newtonian methods of unconditional optimization by integrating one of the known techniques of constructing an essentially positive definite matrix. This approach allows us to weaken or remove additional specific difficulties caused by the need to solve large equation systems with sparse matrices presented in a packed form.

Problem 2. Construction of a new mathematical formulation of the problem of quadratic programming and a new form of specifying necessary and sufficient optimality conditions. They are quite simple and can be used to construct mathematical programming methods, for example, to find the minimum of a quadratic function on a polyhedral set of constraints, based on solving linear equations systems, which dimension is not higher than the number of variables of the objective function.

Problem 3. Construction of a continuous analogue of the problem of minimizing a real quadratic polynomial in Boolean variables and a new form of defining necessary and sufficient conditions of optimality for the development of methods for solving them in polynomial time. As a result, the original problem is reduced to the problem of finding the minimum distance between the origin and the angular point of a convex polyhedron, which is a perturbation of the $n$-dimensional cube and is described by a system of double linear inequalities with an upper triangular matrix of coefficients with units on the main diagonal. Only two faces are subject to investigation, one of which or both contains the vertices closest to the origin. To calculate them, it is sufficient to solve $4n – 4$ linear equations systems and choose among them all the nearest equidistant vertices in polynomial time. The problem of minimizing a quadratic polynomial is $NP$-hard, since an $NP$-hard problem about a vertex covering for an arbitrary graph comes down to it. It follows therefrom that $P = NP$, which is based on the development beyond the limits of integer optimization methods.

Рассматривается численно устойчивый прямой мультипликативный метод решения систем линейных уравнений, учитывающий разреженность матриц, представленных в упакованном виде. Преимущество метода состоит в расчете факторов Холесского для положительно определенной матрицы системы уравнений и ее решения в рамках одной процедуры, а также в возможности минимизации заполнения главных строк мультипликаторов без потери точности результатов, причем изменения в позиции очередной обрабатываемой строки матрицы не вносятся, что позволяет использовать статические форматы хранения данных. Решение системы линейных уравнений прямым мультипликативным алгоритмом — это, как и решение с помощью LU-разложения, просто другая схема реализации метода исключения Гаусса.

Расчет факторов Холесского для положительно определенной матрицы системы и ее решение лежит в основе построения новой математической формулировки безусловной задачи квадратичного программирования и новой формы задания необходимых и достаточных условий оптимальности, которые достаточно просты и в данной работе используются для построения новой математической формулировки задачи квадратичного программирования на многогранном множестве ограничений, которая представляет собой задачу поиска минимального расстояния между началом координат и точкой границы многогранного множества ограничений средствами линейной алгебры и многомерной геометрии.

Для определения расстояния предлагается применить известный точный метод, основанный на решении систем линейных уравнений, размерность которых не выше числа переменных целевой функции. Расстояния определяются построением перпендикуляров к граням многогранника различной размерности. Для уменьшения числа исследуемых граней предлагаемый метод предусматривает специальный порядок перебора граней. Исследованию подлежат только грани, содержащие вершину, ближайшую к точке безусловного экстремума, и видимые из этой точки. В случае наличия нескольких ближайших равноудаленных вершин исследуется грань, содержащая все эти вершины, и грани меньшей размерности, имеющие с первой гранью не менее двух общих ближайших вершин.

A numerically stable direct multiplicative method for solving systems of linear equations that takes into account the sparseness of matrices presented in a packed form is considered. The advantage of the method is the calculation of the Cholesky factors for a positive definite matrix of the system of equations and its solution within the framework of one procedure. And also in the possibility of minimizing the filling of the main rows of multipliers without losing the accuracy of the results, and no changes are made to the position of the next processed row of the matrix, which allows using static data storage formats. The solution of the system of linear equations by a direct multiplicative algorithm is, like the solution with LU-decomposition, just another scheme for implementing the Gaussian elimination method.

The calculation of the Cholesky factors for a positive definite matrix of the system and its solution underlies the construction of a new mathematical formulation of the unconditional problem of quadratic programming and a new form of specifying necessary and sufficient conditions for optimality that are quite simple and are used in this paper to construct a new mathematical formulation for the problem of quadratic programming on a polyhedral set of constraints, which is the problem of finding the minimum distance between the origin ordinate and polyhedral boundary by means of a set of constraints and linear algebra dimensional geometry.

To determine the distance, it is proposed to apply the known exact method based on solving systems of linear equations whose dimension is not higher than the number of variables of the objective function. The distances are determined by the construction of perpendiculars to the faces of a polyhedron of different dimensions. To reduce the number of faces examined, the proposed method involves a special order of sorting the faces. Only the faces containing the vertex closest to the point of the unconditional extremum and visible from this point are subject to investigation. In the case of the presence of several nearest equidistant vertices, we investigate a face containing all these vertices and faces of smaller dimension that have at least two common nearest vertices with the first face.

Рассматривается известное эволюционное уравнение математической физики, которое в современной математической литературе принято называть уравнением Курамото–Сивашинского. В данной работе это уравнение изучается в первоначальной редакции авторов работ, где оно было предложено, вместе с однородными краевыми условиями Неймана. Изучен вопрос о существовании и устойчивости локальных аттракторов, сформированных пространственно-неоднородными решениями изучаемой краевой задачи. Данный вопрос стал особенно актуален в последнее время в связи с моделированием процесса формирования наноструктур на поверхности полупроводников под воздействием потока ионов или лазерного излучения.

Изучен вопрос о существовании и устойчивости состояний равновесия второго рода двумя различными способами. В первом из них использован метод Галёркина. Второй подход основан на использовании строго обоснованных методов теории динамических систем с бесконечномерным фазовым пространством: метод интегральных многообразий, теория нормальных форм, асимптотические методы.

В работе в целом повторен подход из известной работы Д. Армбрустера, Д. Гукенхеймера, Ф.Холмса, где использован подход, основанный на применении метода Галёркина. Результаты такого анализа расширены и развиты. Использование возможностей современных компьютеров помогло существенно дополнить анализ этой задачи. В частности, найти все решения в четырех- и пятичленных аппроксимациях Галёркина, которые для изучаемой краевой задачи следует интерпретировать как состояния равновесия второго рода. Также дан анализ их устойчивости в смысле определения А. М. Ляпунова.

В данной работе проведено сравнение результатов, полученных с использованием метода Галёркина с результатами бифуркационного анализа краевой задачи на базе применения методов качественного анализа бесконечномерных динамических систем. Сравнение двух вариантов результатов показало некоторую ограниченность возможностей использования метода Галёркина.

The well-known evolutionary equation of mathematical physics, which in modern mathematical literature is called the Kuramoto – Sivashinsky equation, is considered. In this paper, this equation is studied in the original edition of the authors, where it was proposed, together with the homogeneous Neumann boundary conditions.

The question of the existence and stability of local attractors formed by spatially inhomogeneous solutions of the boundary value problem under study has been studied. This issue has become particularly relevant recently in connection with the simulation of the formation of nanostructures on the surface of semiconductors under the influence of an ion flux or laser radiation. The question of the existence and stability of second-order equilibrium states has been studied in two different ways. In the first of these, the Galerkin method was used. The second approach is based on using strictly grounded methods of the theory of dynamic systems with infinite-dimensional phase space: the method of integral manifolds, the theory of normal forms, asymptotic methods.

In the work, in general, the approach from the well-known work of D.Armbruster, D.Guckenheimer, F.Holmes is repeated, where the approach based on the application of the Galerkin method is used. The results of this analysis are substantially supplemented and developed. Using the capabilities of modern computers has helped significantly complement the analysis of this task. In particular, to find all the solutions in the fourand five-term Galerkin approximations, which for the studied boundary-value problem should be interpreted as equilibrium states of the second kind. An analysis of their stability in the sense of A. M. Lyapunov’s definition is also given.

In this paper, we compare the results obtained using the Galerkin method with the results of a bifurcation analysis of a boundary value problem based on the use of qualitative analysis methods for infinite-dimensional dynamic systems. Comparison of two variants of results showed some limited possibilities of using the Galerkin method.