Все выпуски

Intent detection plays a crucial role in task-oriented conversational systems. To understand the user’s goal, the system relies on its intent detector to classify the user’s utterance, which may be expressed in different forms of natural language, into intent classes. However, lack of data, and the efficacy of intent detection systems has been hindered by the fact that the user’s intent text is typically characterized by short, general sentences and colloquial expressions. The process of algorithmically determining user intent from a given statement is known as intent detection. The goal of this study is to develop an intent detection model that will accurately classify and detect user intent. The model calculates the similarity score of the three models used to determine their similarities. The proposed model uses Contextual Semantic Search (CSS) capabilities for semantic search, Latent Dirichlet Allocation (LDA) for topic modeling, the Bidirectional Encoder Representations from Transformers (BERT) semantic matching technique, and the combination of LDA and BERT for text classification and detection. The dataset acquired is from the broad twitter corpus (BTC) and comprises various meta data. To prepare the data for analysis, a pre-processing step was applied. A sample of 1432 instances were selected out of the 5000 available datasets because manual annotation is required and could be time-consuming. To compare the performance of the model with the existing model, the similarity scores, precision, recall, f1 score, and accuracy were computed. The results revealed that LDA-BERT achieved an accuracy of 95.88% for intent detection, BERT with an accuracy of 93.84%, and LDA with an accuracy of 92.23%. This shows that LDA-BERT performs better than other models. It is hoped that the novel model will aid in ensuring information security and social media intelligence. For future work, an unsupervised LDA-BERT without any labeled data can be studied with the model.

Intent detection plays a crucial role in task-oriented conversational systems. To understand the user’s goal, the system relies on its intent detector to classify the user’s utterance, which may be expressed in different forms of natural language, into intent classes. However, lack of data, and the efficacy of intent detection systems has been hindered by the fact that the user’s intent text is typically characterized by short, general sentences and colloquial expressions. The process of algorithmically determining user intent from a given statement is known as intent detection. The goal of this study is to develop an intent detection model that will accurately classify and detect user intent. The model calculates the similarity score of the three models used to determine their similarities. The proposed model uses Contextual Semantic Search (CSS) capabilities for semantic search, Latent Dirichlet Allocation (LDA) for topic modeling, the Bidirectional Encoder Representations from Transformers (BERT) semantic matching technique, and the combination of LDA and BERT for text classification and detection. The dataset acquired is from the broad twitter corpus (BTC) and comprises various meta data. To prepare the data for analysis, a pre-processing step was applied. A sample of 1432 instances were selected out of the 5000 available datasets because manual annotation is required and could be time-consuming. To compare the performance of the model with the existing model, the similarity scores, precision, recall, f1 score, and accuracy were computed. The results revealed that LDA-BERT achieved an accuracy of 95.88% for intent detection, BERT with an accuracy of 93.84%, and LDA with an accuracy of 92.23%. This shows that LDA-BERT performs better than other models. It is hoped that the novel model will aid in ensuring information security and social media intelligence. For future work, an unsupervised LDA-BERT without any labeled data can be studied with the model.

Последние годы получило широкое распространение применение нейросетевых моделей для решения задач аэродинамики. В основном такие модели, обученные по некоторому набору ранее полученных решений, позволяют предсказывать решения новых задач и являются в некотором смысле алгоритмами интерполяции. Альтернативным подходом может служить построение нейросетевого оператора, представляющего собой нейросетевую модель, которая воспроизводит поведение численного метода решения задачи. Такая модель позволяет находить решение задачи итерациями. В работе рассматривается вариант построения такого оператора с применением нейронной сети типа UNet с пространственным механизмом внимания для решения задач обтекания на прямоугольной равномерной сетке, общей для обтекаемого тела и поля течения. Для уточнения полученного решения предлагается и исследуется механизм коррекции решения. Анализируется вопрос устойчивости такого алгоритма решения стационарной задачи, проводится сравнение с некоторыми другими вариантами его построения: прием с продвижением вперед (pushforward trick), позиционное встраивание. Рассматривается вопрос выбора набора итераций для формирования обучающей выборки. Оценивается поведение решения при многократном применении нейросетевого оператора.

Демонстрация метода приводится для случая обтекания скругленной пластины турбулентным потоком воздуха с различными вариантами скругления при фиксированных параметрах набегающего потока с числом Рейнольдса $\text{Re} = 10^5$ и числом Маха $M = 0,15$. Поскольку течения с такими параметрами набегающего потока можно считать несжимаемыми, исследуются непосредственно только компоненты скорости. При этом нейросетевая модель, используемая для построения оператора, имеет общий декодер для обеих компонент скорости. Проводится сравнение полей течения и профилей скорости по нормали и по обводу тела, полученных нейросетевым оператором и численно. Анализ проводится как на пластине, так и на скруглении. Результаты моделирования подтверждают, что нейросетевой оператор позволяет находить решение с высокой точностью устойчивым образом.

In recent years, the use of neural network models for solving aerodynamics problems has become widespread. These models, trained on a set of previously obtained solutions, predict solutions to new problems. They are, in essence, interpolation algorithms. An alternative approach is to construct a neural network operator. This is a neural network that reproduces a numerical method used to solve a problem. It allows to find the solution in iterations. The paper considers the construction of such an operator using the UNet neural network with a spatial attention mechanism. It solves flow problems on a rectangular uniform grid that is common to a streamlined body and flow field. A correction mechanism is proposed to clarify the obtained solution. The problem of the stability of such an algorithm for solving a stationary problem is analyzed, and a comparison is made with other variants of its construction, including pushforward trick and positional encoding. The issue of selecting a set of iterations for forming a train dataset is considered, and the behavior of the solution is assessed using repeated use of a neural network operator.

A demonstration of the method is provided for the case of flow around a rounded plate with a turbulent flow, with various options for rounding, for fixed parameters of the incoming flow, with Reynolds number $\text{Re} = 10^5$ and Mach number $M = 0.15$. Since flows with these parameters of the incoming flow can be considered incompressible, only velocity components are directly studied. At the same time, the neural network model used to construct the operator has a common decoder for both velocity components. Comparison of flow fields and velocity profiles along the normal and outline of the body, obtained using a neural network operator and numerical methods, is carried out. Analysis is performed both on the plate and rounding. Simulation results confirm that the neural network operator allows finding a solution with high accuracy and stability.

Одна из серьезных проблем, ограничивающих применение импульсных нейронных сетей в прикладных информационных системах, — это кодирование числовых данных в виде последовательностей спайков — бескачественных атомарных объектов, которыми обмениваются нейроны в импульсных нейросетях. Особенно остро эта проблема стоит в задачах обучения с подкреплением агентов, функционирующих в динамичном реальном мире, так как кроме точности кодирования надо учитывать еще его динамические характеристики. Одним из распространенных является метод кодирования гауссовыми рецептивными полями (ГРП). В этом методе одна числовая переменная, подаваемая на вход импульсной нейронной сети, представляется потоками спайков, испускаемых некоторым количеством входных узлов сети. При этом частота генерации спайков каждым входным узлом отражает близость текущего значения этой переменой к значению — центру рецептивного поля, соответствующего данному входному узлу. В стандартном методе ГРП центры рецептивных полей расположены эквидистантно. Это оказывается неэффективным в случае очень неравномерного распределения кодируемой величины. В настоящей работе предлагается усовершенствование этого метода, основанное на адаптивном выборе центров рецептивных полей и вычислении частот потоков спайков. Производится сравнение предлагаемого усовершенствованного метода ГРП с его стандартным вариантом с точки зрения объема сохраняемой при кодировании информации и с точки зрения точности классификационной модели, построенной на закодированных в виде спайков данных. Доля сохраняемой при спайковом кодировании информации для стандартного и адаптивного ГРП оценивается с помощью процедуры прямого и обратного кодирования большой выборки числовых значений из треугольного распределения вероятности и сравнения числа совпадающих бит в исходной и восстановленной выборке. Сравнение на основе точности классификации проводилось на задаче оценки текущего состояния, возникающей при реализации обучения с подкреплением. При этом классификационные модели строились тремя принципиально различными алгоритмами машинного обучения — алгоритмом ближайших соседей, случайным лесом решений и многослойным персептроном. В статье демонстрируется преимущество предложенного нами метода во всех проведенных тестах.

Conversion of numeric data to the spiking form and information losses in this process are serious problems limiting usage of spiking neural networks in applied informational systems. While physical values are represented by numbers, internal representation of information inside spiking neural networks is based on spikes — elementary objects emitted and processed by neurons. This problem is especially hard in the reinforcement learning applications where an agent should learn to behave in the dynamic real world because beside the accuracy of the encoding method, its dynamic characteristics should be considered as well. The encoding algorithm based on the Gaussian receptive fields (GRF) is frequently used. In this method, one numeric variable fed to the network is represented by spike streams emitted by a certain set of network input nodes. The spike frequency in each stream is determined by proximity of the current variable value to the center of the receptive field corresponding to the given input node. In the standard GRF algorithm, the receptive field centers are placed equidistantly. However, it is inefficient in the case of very uneven distribution of the variable encoded. In the present paper, an improved version of this method is proposed which is based on adaptive selection of the Gaussian centers and spike stream frequencies. This improved GRF algorithm is compared with its standard version in terms of amount of information lost in the coding process and of accuracy of classification models built on spike-encoded data. The fraction of information retained in the process of the standard and adaptive GRF encoding is estimated using the direct and reverse encoding procedures applied to a large sample from the triangular probability distribution and counting coinciding bits in the original and restored samples. The comparison based on classification was performed on a task of evaluation of current state in reinforcement learning. For this purpose, the classification models were created by machine learning algorithms of very different nature — nearest neighbors algorithm, random forest and multi-layer perceptron. Superiority of our approach is demonstrated on all these tests.

В работе рассматривается задача параметрической идентификации дискретных линейных стохастических систем, представленных уравнениями в пространстве состояний, с аддитивными и мультипликативными шумами. Предполагается, что уравнения состояния и измерения дискретной линейной стохастической системы зависят от неизвестного параметра, подлежащего идентификации.

Представлен новый подход к построению градиентных методов параметрической идентификации в классе дискретных линейных стохастических систем с аддитивными и мультиплика- тивными шумами, основанный на применении модифицированной взвешенной ортогонализации Грама – Шмидта (MWGS) и алгоритмов дискретной фильтрации информационного типа.

Основными теоретическими результатами данной работы являются: 1) новый критерий идентификации в терминах расширенного информационного LD-фильтра; 2) новый алгоритм вычисления значений производных по параметру неопределенности дискретной линейной стохастической системы в расширенном информационном LD-фильтре на основе прямой процедуры модифицированной взвешенной ортогонализации Грама – Шмидта; 3) новый метод вычисления градиента критерия идентификации на основе предложенного дифференцированного расширенного информационного LD-фильтра.

Преимуществом предложенного подхода является применение численно устойчивой к ошибкам машинного округления MWGS-ортогонализации, лежащей в основе разработанных методов и алгоритмов. Информационный LD-фильтр сохраняет симметричность и положительную определенность информационных матриц. Разработанные алгоритмы имеют блочно-матричную структуру, удобную для компьютерной реализации.

Все разработанные алгоритмы реализованы на языке MATLAB. Проведены серии численных экспериментов, результаты которых демонстрируют работоспособность предложенного подхода на примере решения задачи идентификации параметров математической модели сложной механической системы.

Полученные результаты могут быть использованы для построения методов параметрической идентификации математических моделей, представленных в пространстве состояний дискретными линейными стохастическими системами с аддитивными и мультипликативными шумами.

The paper considers the problem of parameter identification of discrete-time linear stochastic systems in the state space with additive and multiplicative noise. It is assumed that the state and measurements equations of a discrete-time linear stochastic system depend on an unknown parameter to be identified.

A new approach to the construction of gradient parameter identification methods in the class of discrete-time linear stochastic systems with additive and multiplicative noise is presented, based on the application of modified weighted Gram – Schmidt orthogonalization (MWGS) and the discrete-time information-type filtering algorithms.

The main theoretical results of this research include: 1) a new identification criterion in terms of an extended information filter; 2) a new algorithm for calculating derivatives with respect to an uncertainty parameter in a discrete-time linear stochastic system based on an extended information LD filter using the direct procedure of modified weighted Gram – Schmidt orthogonalization; and 3) a new method for calculating the gradient of identification criteria using a “differentiated” extended information LD filter.

The advantages of this approach are that it uses MWGS orthogonalization which is numerically stable against machine roundoff errors, and it forms the basis of all the developed methods and algorithms. The information LD-filter maintains the symmetry and positive definiteness of the information matrices. The algorithms have an array structure that is convenient for computer implementation.

All the developed algorithms were implemented in MATLAB. A series of numerical experiments were carried out. The results obtained demonstrated the operability of the proposed approach, using the example of solving the problem of parameter identification for a mathematical model of a complex mechanical system.

The results can be used to develop methods for identifying parameters in mathematical models that are represented in state space by discrete-time linear stochastic systems with additive and multiplicative noise.

В работе представлены результаты теоретического исследования особенностей статистического распределения фазы квазигармонического сигнала, формируемого в результате воздействия гауссовского шума на исходно гармонический сигнал. Выявленные особенности распределения фазы легли в основу развиваемого оригинального метода оценивания параметров исходного, неискаженного сигнала. Показано, что задача оценивания исходного значения фазы может эффективно решаться расчетом математического ожидания результатов выборочных измерений фазы, в то время как для решения задачи оценивания второго параметра распределения фазы — параметра уровня сигнала относительно шума — предлагается использовать зависимость дисперсии выборочных значений фазы от данного параметра. Для решения этой задачи используются полученные в явном виде аналитические формулы для моментов низших порядков распределения фазы, развит и обоснован новый подход к оцениванию параметров квазигармонического сигнала на основе измерения величины второго центрального момента, т. е. разброса выборочных значений фазы. В частности, применение данного метода обеспечивает высокоточное измерение амплитудных характеристик анализируемого сигнала посредством проведения лишь фазовых измерений. Численные результаты, полученные в ходе проведенного компьютерного моделирования, подтверждают теоретические выводы и эффективность разработанного метода. В работе обоснованы существование и единственность решения задачи оценивания параметров сигнала методом моментов. Показано, что функция, отображающая зависимость второго центрального момента от искомого параметра отношения сигнала к шуму, является монотонно убывающей и тем самым однозначной функцией искомого параметра. Разработанный метод оценивания параметров сигнала представляет интерес для решения широкого круга научных и прикладных задач, связанных с необходимостью измерения уровня сигнала и его фазы, в таких областях, как обработка данных в системах медицинской диагностической визуализации, обработка радиосигналов, радиофизика, оптика, радионавигация, метрология.

The paper presents the results of theoretical investigation of the peculiarities of the quasi-harmonic signal’s phase statistical distribution, while the quasi-harmonic signal is formed as a result of the Gaussian noise impact on the initially harmonic signal. The revealed features of the phase distribution became a basis for the original technique elaborated for estimating the parameters of the initial, undistorted signal. It has been shown that the task of estimation of the initial phase value can be efficiently solved by calculating the magnitude of the mathematical expectation of the results of the phase sampled measurements, while for solving the task of estimation of the second parameter — the signal level respectively to the noise level — the dependence of the phase sampled measurements variance upon the sough-for parameter is proposed to be used. For solving this task the analytical formulas having been obtained in explicit form for the moments of lower orders of the phase distribution, are applied. A new approach to quasi-harmonic signal’s parameters estimation based on the method of moments has been developed and substantiated. In particular, the application of this method ensures a high-precision measuring the amplitude characteristics of a signal by means of the phase measurements only. The numerical results obtained by means of conducted computer simulation of the elaborated technique confirm both the theoretical conclusions and the method’s efficiency. The existence and the uniqueness of the task solution by the method of moments is substantiated. It is shown that the function that describes the dependence of the phase second central moment on the sough-for parameter, is a monotonically decreasing and thus the single-valued function. The developed method may be of interest for solving a wide range of scientific and applied tasks, connected with the necessity of estimation of both the signal level and the phase value, in such areas as data processing in systems of medical diagnostic visualization, radio-signals processing, radio-physics, optics, radio-navigation and metrology.

Развивается и обосновывается метод, позволяющий получить явную форму решения в виде отрезков рядов по степеням шага аргумента. Формализуется алгоритм, элементы которого используют аналогию с представлением и обработкой чисел в компьютере: ограничение в разрядной сетке и переброс разрядов. При перебросе разряда выявляются фрактально-стохастические свойства алгоритма, дающие возможность осреднять неизвестные промежуточные шаги в старших разрядах. Строятся решения нелинейных дифференциальных уравнений и системы уравнений.

Method which allows to obtain explicit form of the solution as a part of power series of the argument step is developed. Formalization of characteristics of the algorithm analogous to operations of a computer is performed. The operation of transfer from one rank to another leads to a probability scheme of the algorithm that averages unknown intermediate steps in higher ranks of the series. The stochastic characteristics of the method are studied and illustrated. Examples of solving nonlinear equations and systems of nonlinear differential equations are presented.

В данной работе проведено исследование возникновения диффузионной неустойчивости в системе из трех уравнений типа «реакция–диффузия». В общем виде получены условия как тьюринговской, так и волновой неустойчивостей. Выявлены качественные свойства, которыми должна обладать система для того, чтобы в ней могла произойти та или другая бифуркация. В численных экспериментах показано, что при выполнении соответствующих условий в нелинейной модели возникают структуры, которые предсказываются линейным анализом.

Investigation of occurrence of diffusion instability in a set of three reaction–diffusion equations is carried out. In the general case the condition for both Turing and wave instabilities are obtained. Qualitative properties of the system, in which the bifurcation of each of the two types can take place, are clarified. In numerical experiments it is shown that if the corresponding conditions are met in the nonlinear model, spatiotemporal patterns are formed, which are predicted by linear analysis.

Традиционная классификация сложных сетей на биологические, технологические и социальные является неполной, поскольку существует огромное разнообразие продуктов художественного творчества, структуру которых также можно представить в виде сетей. В статье дан обзор исследований сложных сетей, моделирующих некоторые литературные, музыкальные и живописные произведения. Соответствующие сети предложено называть когнитивными. Обсуждаются основные направления изучения таких сетевых структур.

Traditional classification of real complex networks on biological, technological and social is incomplete, as there is a huge variety of artworks, which structure also can be presented in the form of networks. In this paper the review of researches of the complex networks, modeling some literary, musical and painting works is given. Corresponding networks are offered for naming cognitive networks. The possible directions of studying of such networks are discussed.

В области судостроения наиболее авторитетные рекомендации по тестированию и аттестации численных методов были выработаны в рамках международного семинара по проблемам численного моделирования обтекания судового корпуса вязким потоком, который раз в пять лет проходит поочередно в Гетеборге (Швеция) и Токио (Япония). На семинаре «Гетеборг–2000» были предложены три судовых корпуса с современной формой обводов, снабженные надежными экспериментальными данными. Среди них наиболее общий случай представляет контейнеровоз KCS — судно средней быстроходности с умеренной полнотой обводов. В работе изложены результаты численного исследования обтекания корпуса KCS с помощью ПК FlowVision, выполненного согласно стандартным процедурам семинара. Полученные результаты сопоставлены с данными эксперимента и результатами расчетов в других ведущих ПК.

In the field of naval architecture the most competent recommendations in verification and validation of the numerical methods were developed within an international workshop on the numerical prediction of ship viscous flow which is held every five years in Gothenburg (Sweden) and Tokyo (Japan) alternately. In the workshop “Gothenburg–2000” three modern hull forms with reliable experimental data were introduced as test cases. The most general case among them is a containership KCS, a ship of moderate specific speed and fullness. The paper focuses on a numerical research of KCS hull flow, which was made according to the formal procedures of the workshop with the help of CEA FlowVision. Findings were compared with experimental data and computational data of other key CEA.

В приближении однородной намагниченности построена математическая модель трехслойной ячейки памяти MRAM c осью анизотропии, расположенной перпендикулярно запоминающему ферромагнитному слою ячейки (перпендикулярная анизотропия). Предполагается, что первоначально намагниченность свободного слоя ячейки ориентирована вдоль оси анизотропии и соответствует состоянию «нуль». Одновременное мгновенное включение спин-поляризованного тока и магнитного поля воздействует на намагниченность свободного слоя и может перевести ее в противоположное положение, соответствующее состоянию «единица». Математическое описание эффекта основано на классическом векторном уравнении Ландау–Лифшица с диссипативным членом в форме Гильберта. В нашей модели учтены взаимодействия намагниченности с внешним магнитным полем и эффективными полями анизотропии и размагничивания, а также с током инжекции в форме Слончевского–Берже. Выведена система обыкновенных дифференциальных уравнений, описывающая динамику намагниченности в трехслойной вентильной структуре Co/Cu/Co в зависимости от управляющих параметров: величины тока инжекции и внешнего магнитного поля, параллельного оси анизотропии магнитных слоев. Показано, что при любых токах и полях система имеет два основных состояния равновесия, расположенных на оси, совпадающей с осью анизотропии. Установлено, что в данной системе, в отличие от системы с продольной анизотропией, дополнительные состояния равновесия отсутствуют. Проведен анализ устойчивости основных состояний равновесия по первому приближению. Построены бифуркационные диаграммы, характеризующие типы динамики вектора намагниченности свободного слоя. Проведена классификация фазовых портретов на единичной сфере в зависимости от управляющих параметров (тока и поля). Изучены особенности динамики вектора намагниченности в каждой из характерных областей бифуркационной диаграммы и численно, методом Рунге–Кутты, построены траектории переключения. Найдены комбинации управляющих параметров, при которых переключение невозможно. Найдены области существования устойчивых и неустойчивых предельных циклов системы. Аналитически определены значения пороговых токов переключения в зависимости от внешнего магнитного поля. Проведено сравнение значений порогового тока в моделях с продольной и перпендикулярной анизотропией при нулевом магнитном поле и показано, что в модели с перпендикулярной анизотропией ток переключения почти на порядок ниже, чем в модели с продольной анизотропией.

The mathematical model of a three-layered Co/Cu/Co nanopillar for MRAM cell with one fixed and one free layer was investigated in the approximation of uniformly distributed magnetization. The anisotropy axis is perpendicular to the layers (so-called perpendicular anisotropy). Initially the magnetization of the free layer is oriented along the anisotropy axis in the position accepted to be “zero”. Simultaneous magnetic field and spinpolarized current engaging can reorient the magnetization to another position which in this context can be accepted as “one”. The mathematical description of the effect is based on the classical vector Landau–Lifshits equation with the dissipative term in the Gilbert form. In our model we took into account the interactions of the magnetization with an external magnetic field and such effective magnetic fields as an anisotropy and demagnetization ones. The influence of the spin-polarized injection current is taken into account in the form of Sloczewski–Berger term. The model was reduced to the set of three ordinary differential equations with the first integral. It was shown that at any current and field the dynamical system has two main equilibrium states on the axis coincident with anisotropy axis. It was ascertained that in contrast with the longitudinal-anisotropy model, in the model with perpendicular anisotropy there are no other equilibrium states. The stability analysis of the main equilibrium states was performed. The bifurcation diagrams characterizing the magnetization dynamics at different values of the control parameters were built. The classification of the phase portraits on the unit sphere was performed. The features of the dynamics at different values of the parameters were studied and the conditions of the magnetization reorientation were determined. The trajectories of magnetization switching were calculated numerically using the Runge–Kutta method. The parameter values at which limit cycles exist were determined. The threshold values for the switching current were found analytically. The threshold values for the structures with longitudinal and perpendicular anisotropy were compared. It was established that in the structure with the perpendicular anisotropy at zero field the switching current is an order lower than in the structure with the longitudinal one.