Все выпуски

Предлагается диссипативная стохастическая динамическая модель эволюции языковых знаков, удовлетворяющая принципу «наименьшего действия» — одному из фундаментальных вариационных принципов природы. Модель предполагает пуассоновский характер потока рождения языковых знаков, экспоненциальное (показательное) распределение ассоциативно-семантического потенциала (АСП) знака и оперирует разностными стохастическими уравнениями специального вида для диссипативных процессов. Получаемые из модели распределения полисемии и частотно-ранговые распределения языковых знаков статистически значимо (по критерию Колмогорова–Смирнова) не отличаются от эмпирических распределений, полученных из представительных толковых и частотных словарей русского и английского языков.

We offer the dissipative stochastic dynamic model of the language sign evolution, satisfying to the principle of the least action, one of fundamental variational principles of the Nature. The model conjectures the Poisson nature of the birth flow of language signs and the exponential distribution of their associative-semantic potential (ASP). The model works with stochastic difference equations of the special type for dissipative processes. The equation for momentary polysemy distribution and frequency-rank distribution drawn from our model do not differs significantly (by Kolmogorov-Smirnov’s test) from empirical distributions, got from main Russian and English explanatory dictionaries as well as frequency dictionaries of them.

Многомерные данные, при использовании значительно большего количества признаков относительно меньшего числа наблюдений, порождают хорошо известную проблему переопределённой задачи. В связи с этим, представляется целесообразным описание данных в терминах меньшего числа мета-признаков, которые вычисляются при помощи так называемых матричных факторизаций. Такие факторизации способствуют уменьшению случайного шума при сохранении наиболее существенной информации. Три новых и взаимосвязанных метода предложены в этой статье: 1) факторизационный механизм градиентного спуска с двумя (согласно размерности микрочипа) гибкими и адаптируемыми параметрами обучения, включая явные формулы их автоматического пересчета, 2) непараметрический критерий для отбора количества факторов, и 3) неотрицательная модификация градиентной факторизации, которая не требует дополнительных вычислительных затрат в сравнении с базовой моделью. Мы иллюстрируем эффективность предложенных методов в приложении к задаче направляемой классификации данных в области биоинформатики.

Microarray datasets are highly dimensional, with a small number of collected samples in comparison to thousands of features. This poses a significant challenge that affects the interpretation, applicability and validation of the analytical results. Matrix factorizations have proven to be a useful method for describing data in terms of a small number of meta-features, which reduces noise, while still capturing the essential features of the data. Three novel and mutually relevant methods are presented in this paper: 1) gradient-based matrix factorization with two adaptive learning rates (in accordance with the number of factor matrices) and their automatic updates; 2) nonparametric criterion for the selection of the number of factors; and 3) nonnegative version of the gradient-based matrix factorization which doesn't require any extra computational costs in difference to the existing methods. We demonstrate effectiveness of the proposed methods to the supervised classification of gene expression data.

Задача выпуклой онлайн-оптимизации естественно возникают в случаях, когда имеет место обновления статистической информации. Для задач негладкой оптимизации хорошо известен метод зеркального спуска. Зеркальный спуск — это расширение субградиентного метода для решения негладких выпуклых задач оптимизации на случай неевкидова расстояния. Работа посвящена стохастическим аналогам недавно предложенных методов зеркального спуска для задач выпуклой онлайн-оптимизации с выпуклыми липшицевыми (вообще говоря, негладкими) функциональными ограничениями. Это означает, что вместо (суб)градиента целевого функционала и функционального ограничения мы используем их стохастические (суб)градиенты. Точнее говоря, допустим, что на замкнутом подмножестве $n$-мерного векторного пространства задано $N$ выпуклых липшицевых негладких функционалов. Рассматривается задача минимизации среднего арифметического этих функционалов с выпуклым липшицевым ограничением. Предложены два метода для решения этой задачи с использованием стохастических (суб)градиентов: адаптивный (не требует знания констант Липшица ни для целевого функционала, ни для ограничения), а также неадаптивный (требует знания константы Липшица для целевого функционала и ограничения). Отметим, что разрешено вычислять стохастический (суб)градиент каждого целевого функционала только один раз. В случае неотрицательного регрета мы находим, что количество непродуктивных шагов равно $O$($N$), что указывает на оптимальность предложенных методов. Мы рассматриваем произвольную прокс-структуру, что существенно для задач принятия решений. Приведены результаты численных экспериментов, позволяющие сравнить работу адаптивного и неадаптивного методов для некоторых примеров. Показано, что адаптивный метод может позволить существенно улучшить количество найденного решения.

The problem of online convex optimization naturally occurs in cases when there is an update of statistical information. The mirror descent method is well known for non-smooth optimization problems. Mirror descent is an extension of the subgradient method for solving non-smooth convex optimization problems in the case of a non-Euclidean distance. This paper is devoted to a stochastic variant of recently proposed Mirror Descent methods for convex online optimization problems with convex Lipschitz (generally, non-smooth) functional constraints. This means that we can still use the value of the functional constraint, but instead of (sub)gradient of the objective functional and the functional constraint, we use their stochastic (sub)gradients. More precisely, assume that on a closed subset of $n$-dimensional vector space, $N$ convex Lipschitz non-smooth functionals are given. The problem is to minimize the arithmetic mean of these functionals with a convex Lipschitz constraint. Two methods are proposed, for solving this problem, using stochastic (sub)gradients: adaptive method (does not require knowledge of Lipschitz constant neither for the objective functional, nor for the functional of constraint) and non-adaptivemethod (requires knowledge of Lipschitz constant for the objective functional and the functional of constraint). Note that it is allowed to calculate the stochastic (sub)gradient of each functional only once. In the case of non-negative regret, we find that the number of non-productive steps is $O$($N$), which indicates the optimality of the proposed methods. We consider an arbitrary proximal structure, which is essential for decisionmaking problems. The results of numerical experiments are presented, allowing to compare the work of adaptive and non-adaptive methods for some examples. It is shown that the adaptive method can significantly improve the number of the found solutions.

В работе рассматриваются особенности статистического распределения Райса, обусловливающие возможность его эффективного применения при решении задач высокоточных фазовых измерений в оптике. Дается строгое математическое доказательство свойства устойчивости статистического распределения Райса на примере рассмотрения разностного сигнала, а именно: доказано, что сумма или разность двух райсовских сигналов также подчиняются распределению Райса. Кроме того, получены формулы для параметров райсовского распределения результирующего суммарного или разностного сигнала. На основании доказанного свойства устойчивости распределения Райса в работе разработан новый оригинальный метод высокоточного измерения разности фаз двух квазигармонических сигналов. Этот метод базируется на статистическом анализе измеренных выборочных данных для обоих амплитуд сигналов и амплитуды третьего сигнала, представляющего собой разность сопоставляемых по фазе сигналов. Искомый фазовый сдвиг двух квазигармонических сигналов определяется исходя из геометрических соображений как угол треугольника, сформированного восстановленными на фоне шума значениями амплитуд трех упомянутых сигналов. Тем самым предлагаемый метод измерения фазового сдвига с использованием разностного сигнала основан исключительно на амплитудных измерениях, что существенно снижает требования к оборудованию и облегчает реализацию метода на практике. В работе представлены как строгое математическое обоснование нового метода измерения разности фаз сигналов, так и результаты его численного тестирования. Разработанный метод высокоточных фазовых измерений может эффективно применяться для решения широкого круга задач в различных областях науки и техники, в частности в дальнометрии, в системах коммуникации, навигации и т. п.

The paper concerns the study of the Rice statistical distribution’s peculiarities which cause the possibility of its efficient application in solving the tasks of high precision phase measuring in optics. The strict mathematical proof of the Rician distribution’s stable character is provided in the example of the differential signal consideration, namely: it has been proved that the sum or the difference of two Rician signals also obey the Rice distribution. Besides, the formulas have been obtained for the parameters of the resulting summand or differential signal’s Rice distribution. Based upon the proved stable character of the Rice distribution a new original technique of the high precision measuring of the two quasi-harmonic signals’ phase shift has been elaborated in the paper. This technique is grounded in the statistical analysis of the measured sampled data for the amplitudes of the both signals and for the amplitude of the third signal which is equal to the difference of the two signals to be compared in phase. The sought-for phase shift of two quasi-harmonic signals is being calculated from the geometrical considerations as an angle of a triangle which sides are equal to the three indicated signals’ amplitude values having been reconstructed against the noise background. Thereby, the proposed technique of measuring the phase shift using the differential signal analysis, is based upon the amplitude measurements only, what significantly decreases the demands to the equipment and simplifies the technique implementation in practice. The paper provides both the strict mathematical substantiation of a new phase shift measuring technique and the results of its numerical testing. The elaborated method of high precision phase measurements may be efficiently applied for solving a wide circle of tasks in various areas of science and technology, in particular — at distance measuring, in communication systems, in navigation, etc.

В данной работе рассматривается метод сопряженных градиентов при решении задачи минимизации квадратичной функции с аддитивным шумом в градиенте. Были рассмотрены три концепции шума: враждебный шум в линейном члене, стохастический шум в линейном члене и шум в квадратичном члене, а также комбинации первого и второго с последним. Экспериментально получено, что накопление ошибки отсутствует для любой из рассмотренных концепций, что отличается от фольклорного мнения, что, как и в ускоренных методах, накопление ошибки должно иметь место. В работе приведена мотивировка того, почему ошибка может и не накапливаться. Также экспериментально исследовалась зависимость ошибки решения как от величины (масштаба) шума, так и от размера решения при использовании метода сопряженных градиентов. Предложены и проверены гипотезы о зависимости ошибки в решении от масштаба шума и размера (2-нормы) решения для всех рассмотренных концепций. Оказалось, что ошибка в решении (по функции) линейно зависит от масштаба шума. В работе приведены графики, иллюстрирующие каждое отдельное исследование, а также детальное описание численных экспериментов, включающее в себя изложение способов зашумления как вектора, так и матрицы.

In this paper, we consider the conjugate gradient method for solving the problem of minimizing a quadratic function with additive noise in the gradient. Three concepts of noise were considered: antagonistic noise in the linear term, stochastic noise in the linear term and noise in the quadratic term, as well as combinations of the first and second with the last. It was experimentally obtained that error accumulation is absent for any of the considered concepts, which differs from the folklore opinion that, as in accelerated methods, error accumulation must take place. The paper gives motivation for why the error may not accumulate. The dependence of the solution error both on the magnitude (scale) of the noise and on the size of the solution using the conjugate gradient method was also experimentally investigated. Hypotheses about the dependence of the error in the solution on the noise scale and the size (2-norm) of the solution are proposed and tested for all the concepts considered. It turned out that the error in the solution (by function) linearly depends on the noise scale. The work contains graphs illustrating each individual study, as well as a detailed description of numerical experiments, which includes an account of the methods of noise of both the vector and the matrix.

Развивается и обосновывается метод, позволяющий получить явную форму решения в виде отрезков рядов по степеням шага аргумента. Формализуется алгоритм, элементы которого используют аналогию с представлением и обработкой чисел в компьютере: ограничение в разрядной сетке и переброс разрядов. При перебросе разряда выявляются фрактально-стохастические свойства алгоритма, дающие возможность осреднять неизвестные промежуточные шаги в старших разрядах. Строятся решения нелинейных дифференциальных уравнений и системы уравнений.

Method which allows to obtain explicit form of the solution as a part of power series of the argument step is developed. Formalization of characteristics of the algorithm analogous to operations of a computer is performed. The operation of transfer from one rank to another leads to a probability scheme of the algorithm that averages unknown intermediate steps in higher ranks of the series. The stochastic characteristics of the method are studied and illustrated. Examples of solving nonlinear equations and systems of nonlinear differential equations are presented.

В работе представлены результаты фундаментального исследования, направленного на теоретическое изучение и компьютерное моделирование свойств статистического распределения фазы квазигармонического сигнала, формируемого в результате воздействия гауссовского шума на исходно гармонический сигнал. Методами математического анализа получены в явном виде формулы для основных характеристик данного распределения — функции распределения, функции плотности вероятности, функции правдоподобия. В результате проведенного компьютерного моделирования проанализированы зависимости данных функций от параметров распределения фазы. В работе разработаны и обоснованы методы оценивания параметров распределения фазы, несущих информацию об исходном, не искаженном шумом сигнале. Показано, что задача оценивания исходного значения фазы квазигармонического сигнала может эффективно решаться простым усреднением результатов выборочных измерений фазы, в то время как для решения задачи оценивания второго параметра распределения фазы — параметра уровня сигнала относительно шума — предлагается использовать метод максимума правдоподобия. В работе представлены графические материалы, полученные путем компьютерного моделирования основных характеристик исследуемого статистического распределения фазы. Существование и единственность максимума функции правдоподобия позволяют обосновать возможность и эффективность решения задачи оценивания уровня сигнала относительно уровня шума методом максимума правдоподобия. Развиваемый в работе метод оценивания уровня незашумленного сигнала относительно уровня шума, т.е. параметра, характеризующего интенсивность сигнала, на основании измерений фазы сигнала является оригинальным, принципиально новым, открывающим перспективы использования фазовых измерений как инструмента анализа стохастических данных. Данное исследование является значимым для решения задач расчета фазы и уровня сигнала методами статистической обработки выборочных фазовых измерений. Предлагаемые методы оценивания параметров распределения фазы квазигармонического сигнала могут использоваться при решении различных научных и прикладных задач, в частности, в таких областях, как радиофизика, оптика, радиолокация, радионавигация, метрология.

The paper presents the results of the fundamental research directed on the theoretical study and computer simulation of peculiarities of the quasi-harmonic signal’s phase statistical distribution. The quasi-harmonic signal is known to be formed as a result of the Gaussian noise impact on the initially harmonic signal. By means of the mathematical analysis the formulas have been obtained in explicit form for the principle characteristics of this distribution, namely: for the cumulative distribution function, the probability density function, the likelihood function. As a result of the conducted computer simulation the dependencies of these functions on the phase distribution parameters have been analyzed. The paper elaborates the methods of estimating the phase distribution parameters which contain the information about the initial, undistorted signal. It has been substantiated that the task of estimating the initial value of the phase of quasi-harmonic signal can be efficiently solved by averaging the results of the sampled measurements. As for solving the task of estimating the second parameter of the phase distribution, namely — the parameter, determining the signal level respectively the noise level — a maximum likelihood technique is proposed to be applied. The graphical illustrations are presented that have been obtained by means of the computer simulation of the principle characteristics of the phase distribution under the study. The existence and uniqueness of the likelihood function’s maximum allow substantiating the possibility and the efficiency of solving the task of estimating signal’s level relative to noise level by means of the maximum likelihood technique. The elaborated method of estimating the un-noised signal’s level relative to noise, i. e. the parameter characterizing the signal’s intensity on the basis of measurements of the signal’s phase is an original and principally new technique which opens perspectives of usage of the phase measurements as a tool of the stochastic data analysis. The presented investigation is meaningful for solving the task of determining the phase and the signal’s level by means of the statistical processing of the sampled phase measurements. The proposed methods of the estimation of the phase distribution’s parameters can be used at solving various scientific and technological tasks, in particular, in such areas as radio-physics, optics, radiolocation, radio-navigation, metrology.

В работе развивается иерархический метод математического и компьютерного моделирования интервально-стохастических тепловых процессов в сложных электронных системах различного назначения. Разработанная концепция иерархического структурирования отражает как конструктивную иерархию сложной электронной системы, так и иерархию математических моделей процессов теплообмена. Тепловые процессы, учитывающие разнообразные физические явления в сложных электронных системах, описываются системами стохастических, нестационарных и нелинейных дифференциальных уравнений в частных производных, и в силу этого их компьютерное моделирование наталкивается на значительные вычислительные трудности даже с применением суперкомпьютеров. Иерархический метод позволяет избежать указанных трудностей. Иерархическая структура конструкции электронной системы в общем случае характеризуется пятью уровнями: 1 уровень — активные элементы ЭС (микросхемы, электро-, радиоэлементы); 2 уровень — электронный модуль; 3 уровень — панель, объединяющая множество электронных модулей; 4 уровень — блок панелей; 5 уровень — стойка, установленная в стационарном или подвижном помещении. Иерархия моделей и моделирования стохастических тепловых процессов строится в порядке, обратном иерархической структуре конструкции электронной системы, при этом моделирование интервально-стохастических тепловых процессов осуществляется посредством получения уравнений для статистических мер. Разработанный в статье иерархический метод позволяет учитывать принципиальные особенности тепловых процессов, такие как стохастический характер тепловых, электрических и конструктивных факторов при производстве, сборке и монтаже электронных систем, стохастический разброс условий функционирования и окружающей среды, нелинейные зависимости от температуры факторов теплообмена, нестационарный характер тепловых процессов. Полученные в статье уравнения для статистических мер стохастических тепловых процессов представляют собой систему 14-ти нестационарных нелинейных дифференциальных уравнений первого порядка в обыкновенных производных, решение которых легко реализуется на современных компьютерах существующими численными методами. Рассмотрены результаты применения метода при компьютерном моделировании стохастических тепловых процессов в электронной системе. Иерархический метод применяется на практике при тепловом проектировании реальных электронных систем и создании современных конкурентоспособных устройств.

A hierarchical method of mathematical and computer modeling of interval-stochastic thermal processes in complex electronic systems for various purposes is developed. The developed concept of hierarchical structuring reflects both the constructive hierarchy of a complex electronic system and the hierarchy of mathematical models of heat exchange processes. Thermal processes that take into account various physical phenomena in complex electronic systems are described by systems of stochastic, unsteady, and nonlinear partial differential equations and, therefore, their computer simulation encounters considerable computational difficulties even with the use of supercomputers. The hierarchical method avoids these difficulties. The hierarchical structure of the electronic system design, in general, is characterized by five levels: Level 1 — the active elements of the ES (microcircuits, electro-radio-elements); Level 2 — electronic module; Level 3 — a panel that combines a variety of electronic modules; Level 4 — a block of panels; Level 5 — stand installed in a stationary or mobile room. The hierarchy of models and modeling of stochastic thermal processes is constructed in the reverse order of the hierarchical structure of the electronic system design, while the modeling of interval-stochastic thermal processes is carried out by obtaining equations for statistical measures. The hierarchical method developed in the article allows to take into account the principal features of thermal processes, such as the stochastic nature of thermal, electrical and design factors in the production, assembly and installation of electronic systems, stochastic scatter of operating conditions and the environment, non-linear temperature dependencies of heat exchange factors, unsteady nature of thermal processes. The equations obtained in the article for statistical measures of stochastic thermal processes are a system of 14 non-stationary nonlinear differential equations of the first order in ordinary derivatives, whose solution is easily implemented on modern computers by existing numerical methods. The results of applying the method for computer simulation of stochastic thermal processes in electron systems are considered. The hierarchical method is applied in practice for the thermal design of real electronic systems and the creation of modern competitive devices.

В статье рассматривается задача минимизации математического ожидания выпуклой функции. Задачи такого вида повсеместны в машинном обучении, а также часто возникают в ряде других приложений. На практике для их решения обычно используются процедуры типа стохастического градиентного спуска (SGD). В нашей работе предлагается решать такие задачи с использованием метода эллипсоидов с мини-батчингом. Алгоритм имеет линейную скорость сходимости и может оказаться эффективнее SGD в ряде задач. Это подтверждается в наших экспериментах, исходный код которых находится в открытом доступе. Для получения линейной скорости сходимости метода не требуется ни гладкость, ни сильная выпуклость целевой функции. Таким образом, сложность алгоритма не зависит от обусловленности задачи. В работе доказывается, что метод эллипсоидов с наперед заданной вероятностью находит решение с желаемой точностью при использовании мини-батчей, размер которых пропорционален точности в степени -2. Это позволяет выполнять алгоритм параллельно на большом числе процессоров, тогда как возможности для батчараллелизации процедур типа стохастического градиентного спуска весьма ограничены. Несмотря на быструю сходимость, общее количество вычислений градиента для метода эллипсоидов может получиться больше, чем для SGD, который неплохо сходится и при маленьком размере батча. Количество итераций метода эллипсоидов квадратично зависит от размерности задачи, поэтому метод подойдет для относительно небольших размерностей.

The article considers minimization of the expectation of convex function. Problems of this type often arise in machine learning and a variety of other applications. In practice, stochastic gradient descent (SGD) and similar procedures are usually used to solve such problems. We propose to use the ellipsoid method with mini-batching, which converges linearly and can be more efficient than SGD for a class of problems. This is verified by our experiments, which are publicly available. The algorithm does not require neither smoothness nor strong convexity of the objective to achieve linear convergence. Thus, its complexity does not depend on the conditional number of the problem. We prove that the method arrives at an approximate solution with given probability when using mini-batches of size proportional to the desired accuracy to the power −2. This enables efficient parallel execution of the algorithm, whereas possibilities for batch parallelization of SGD are rather limited. Despite fast convergence, ellipsoid method can result in a greater total number of calls to oracle than SGD, which works decently with small batches. Complexity is quadratic in dimension of the problem, hence the method is suitable for relatively small dimensionalities.

В работе рассматриваются дискретные динамические системы, находящиеся под действием случайных возмущений. Динамика отклонений стохастических решений от детерминированных равновесий исследуется с помощью систем первого приближения. Получены необходимые и достаточные условия, при которых уравнения для первых двух моментов этих отклонений имеют устойчивые стационарные решения. Стационарные вторые моменты используются для оценки разброса случайных состояний вокруг устойчивых равновесий нелинейных систем, а также для анализа индуцированных шумом переходов между бассейнами притяжения этих равновесий. Конструктивность предлагаемого подхода демонстрируется на примере анализа различных стохастических режимов для модели популяционной динамики Рикера с эффектом Олли.

Stochastically forced discrete dynamical systems are considered. Using first approximation systems, we study dynamics of deviations of stochastic solutions from deterministic equilibria. Necessary and sufficient conditions of the existence of stable stationary solutions of equations for mean-square deviations are derived. Stationary values of these mean-square deviations are used for the estimations of the dispersion of random states nearby stable equilibria and analysis of noise-induced transitions. Constructive application of the suggested technique to the analysis of various stochastic regimes in Ricker population model with Allee effect is demonstrated.