Все выпуски

Многомерные данные, при использовании значительно большего количества признаков относительно меньшего числа наблюдений, порождают хорошо известную проблему переопределённой задачи. В связи с этим, представляется целесообразным описание данных в терминах меньшего числа мета-признаков, которые вычисляются при помощи так называемых матричных факторизаций. Такие факторизации способствуют уменьшению случайного шума при сохранении наиболее существенной информации. Три новых и взаимосвязанных метода предложены в этой статье: 1) факторизационный механизм градиентного спуска с двумя (согласно размерности микрочипа) гибкими и адаптируемыми параметрами обучения, включая явные формулы их автоматического пересчета, 2) непараметрический критерий для отбора количества факторов, и 3) неотрицательная модификация градиентной факторизации, которая не требует дополнительных вычислительных затрат в сравнении с базовой моделью. Мы иллюстрируем эффективность предложенных методов в приложении к задаче направляемой классификации данных в области биоинформатики.

Microarray datasets are highly dimensional, with a small number of collected samples in comparison to thousands of features. This poses a significant challenge that affects the interpretation, applicability and validation of the analytical results. Matrix factorizations have proven to be a useful method for describing data in terms of a small number of meta-features, which reduces noise, while still capturing the essential features of the data. Three novel and mutually relevant methods are presented in this paper: 1) gradient-based matrix factorization with two adaptive learning rates (in accordance with the number of factor matrices) and their automatic updates; 2) nonparametric criterion for the selection of the number of factors; and 3) nonnegative version of the gradient-based matrix factorization which doesn't require any extra computational costs in difference to the existing methods. We demonstrate effectiveness of the proposed methods to the supervised classification of gene expression data.

В работе развивается теория нового, так называемого двухпараметрического подхода к анализу и обработке случайных сигналов. Проведены математическое моделирование и сопоставление результатов решения задачи в условиях статистических моделей Гаусса и Райса. Дается обоснование применимости статистической модели Райса в условиях анализа огибающей измеряемого сигнала в задачах обработки данных и изображений. Развит и теоретически обоснован метод решения задачи шумоподавления и восстановления райсовского сигнала посредством одновременного вычисления двух статистических параметров — величины математического ожидания исходного сигнала и дисперсии шума — на основе принципа максимума правдоподобия. Проанализированы особенности функции правдоподобия для распределения Райса и вытекающие из них возможности оценки параметров сигнала и шума.

The paper develops a theory of a new so-called two-parametric approach to the random signals' analysis and processing. A mathematical simulation and the task solutions’ comparison have been implemented for the Gauss and Rice statistical models. The applicability of the Rice statistical model is substantiated for the tasks of data and images processing when the signal’s envelope is being analyzed. A technique is developed and theoretically substantiated for solving the task of the noise suppression and initial image reconstruction by means of joint calculation of both statistical parameters — an initial signal’s mean value and noise dispersion — based on the maximum likelihood method within the Rice distribution. The peculiarities of this distribution’s likelihood function and the following from them possibilities of the signal and noise estimation have been analyzed.

В данной работе рассматривается возможность применения концепции $(\delta, L)$-модели функции для оптимизационных задач, в которых посредством решения прямой задачи имеется необходимость восстанавливать решение двойственной задачи. Концепция $(\delta, L)$-модели основана на концепции $(\delta, L)$-оракула, предложенной Деволдером–Глинером–Нестеровым, при этом данные авторы предложили фукнционалы в оптимизационных задачах аппроксимировать сверху выпуклой параболой с некоторым аддитивным шумом $\delta$; таким образом, им удалось получить квадратичные верхние оценки с шумом даже для негладких функционалов. Концепция $(\delta, L)$-модели продолжает эту идею за счет того, что аппроксимация сверху делается не выпуклой параболой, а некоторым более сложным выпуклым функционалом. Возможность восстанавливать решение двойственной задачи хорошо зарекомендовала себя, так как во многих случаях в прямой задаче можно значительно быстрее находить решение, чем в двойственной. Отметим, что прямо-двойственные методы хорошо изучены, но при этом, как правило, каждый метод предлагается под конкретный класс задач. Наша же цель — предложить метод, который бы включал в себя сразу различные методы. Это реализуется за счет использования концепции $(\delta, L)$-модели и адаптивной структуры наших методов. Таким образом, нам удалось получить прямо-двойственный адаптивный градиентный метод и быстрый градиентный метод с $(\delta, L)$-моделью и доказать оценки сходимости для них, причем для некоторых классов задач данные оценки являются оптимальными. Основная идея заключается в том, что нахождение двойственных решений происходит относительно оптимизационной задачи, которая аппроксимируют прямую с помощью концепции $(\delta, L)$-модели и имеет более простую структуру, поэтому находить двойственное решение у нее проще. Стоит отметить, что это происходит на каждом шаге работы оптимизационного метода; таким образом, реализуется принцип «разделяй и властвуй».

In this work we consider a possibility to use the conception of $(\delta, L)$-model of a function for optimization tasks, whereby solving a primal problem there is a necessity to recover a solution of a dual problem. The conception of $(\delta, L)$-model is based on the conception of $(\delta, L)$-oracle which was proposed by Devolder–Glineur–Nesterov, herewith the authors proposed approximate a function with an upper bound using a convex quadratic function with some additive noise $\delta$. They managed to get convex quadratic upper bounds with noise even for nonsmooth functions. The conception of $(\delta, L)$-model continues this idea by using instead of a convex quadratic function a more complex convex function in an upper bound. Possibility to recover the solution of a dual problem gives great benefits in different problems, for instance, in some cases, it is faster to find a solution in a primal problem than in a dual problem. Note that primal-dual methods are well studied, but usually each class of optimization problems has its own primal-dual method. Our goal is to develop a method which can find solutions in different classes of optimization problems. This is realized through the use of the conception of $(\delta, L)$-model and adaptive structure of our methods. Thereby, we developed primal-dual adaptive gradient method and fast gradient method with $(\delta, L)$-model and proved convergence rates of the methods, moreover, for some classes of optimization problems the rates are optimal. The main idea is the following: we find a dual solution to an approximation of a primal problem using the conception of $(\delta, L)$-model. It is much easier to find a solution to an approximated problem, however, we have to do it in each step of our method, thereby the principle of “divide and conquer” is realized.

В работе рассматриваются особенности статистического распределения Райса, обусловливающие возможность его эффективного применения при решении задач высокоточных фазовых измерений в оптике. Дается строгое математическое доказательство свойства устойчивости статистического распределения Райса на примере рассмотрения разностного сигнала, а именно: доказано, что сумма или разность двух райсовских сигналов также подчиняются распределению Райса. Кроме того, получены формулы для параметров райсовского распределения результирующего суммарного или разностного сигнала. На основании доказанного свойства устойчивости распределения Райса в работе разработан новый оригинальный метод высокоточного измерения разности фаз двух квазигармонических сигналов. Этот метод базируется на статистическом анализе измеренных выборочных данных для обоих амплитуд сигналов и амплитуды третьего сигнала, представляющего собой разность сопоставляемых по фазе сигналов. Искомый фазовый сдвиг двух квазигармонических сигналов определяется исходя из геометрических соображений как угол треугольника, сформированного восстановленными на фоне шума значениями амплитуд трех упомянутых сигналов. Тем самым предлагаемый метод измерения фазового сдвига с использованием разностного сигнала основан исключительно на амплитудных измерениях, что существенно снижает требования к оборудованию и облегчает реализацию метода на практике. В работе представлены как строгое математическое обоснование нового метода измерения разности фаз сигналов, так и результаты его численного тестирования. Разработанный метод высокоточных фазовых измерений может эффективно применяться для решения широкого круга задач в различных областях науки и техники, в частности в дальнометрии, в системах коммуникации, навигации и т. п.

The paper concerns the study of the Rice statistical distribution’s peculiarities which cause the possibility of its efficient application in solving the tasks of high precision phase measuring in optics. The strict mathematical proof of the Rician distribution’s stable character is provided in the example of the differential signal consideration, namely: it has been proved that the sum or the difference of two Rician signals also obey the Rice distribution. Besides, the formulas have been obtained for the parameters of the resulting summand or differential signal’s Rice distribution. Based upon the proved stable character of the Rice distribution a new original technique of the high precision measuring of the two quasi-harmonic signals’ phase shift has been elaborated in the paper. This technique is grounded in the statistical analysis of the measured sampled data for the amplitudes of the both signals and for the amplitude of the third signal which is equal to the difference of the two signals to be compared in phase. The sought-for phase shift of two quasi-harmonic signals is being calculated from the geometrical considerations as an angle of a triangle which sides are equal to the three indicated signals’ amplitude values having been reconstructed against the noise background. Thereby, the proposed technique of measuring the phase shift using the differential signal analysis, is based upon the amplitude measurements only, what significantly decreases the demands to the equipment and simplifies the technique implementation in practice. The paper provides both the strict mathematical substantiation of a new phase shift measuring technique and the results of its numerical testing. The elaborated method of high precision phase measurements may be efficiently applied for solving a wide circle of tasks in various areas of science and technology, in particular — at distance measuring, in communication systems, in navigation, etc.

В данной работе рассматривается метод сопряженных градиентов при решении задачи минимизации квадратичной функции с аддитивным шумом в градиенте. Были рассмотрены три концепции шума: враждебный шум в линейном члене, стохастический шум в линейном члене и шум в квадратичном члене, а также комбинации первого и второго с последним. Экспериментально получено, что накопление ошибки отсутствует для любой из рассмотренных концепций, что отличается от фольклорного мнения, что, как и в ускоренных методах, накопление ошибки должно иметь место. В работе приведена мотивировка того, почему ошибка может и не накапливаться. Также экспериментально исследовалась зависимость ошибки решения как от величины (масштаба) шума, так и от размера решения при использовании метода сопряженных градиентов. Предложены и проверены гипотезы о зависимости ошибки в решении от масштаба шума и размера (2-нормы) решения для всех рассмотренных концепций. Оказалось, что ошибка в решении (по функции) линейно зависит от масштаба шума. В работе приведены графики, иллюстрирующие каждое отдельное исследование, а также детальное описание численных экспериментов, включающее в себя изложение способов зашумления как вектора, так и матрицы.

In this paper, we consider the conjugate gradient method for solving the problem of minimizing a quadratic function with additive noise in the gradient. Three concepts of noise were considered: antagonistic noise in the linear term, stochastic noise in the linear term and noise in the quadratic term, as well as combinations of the first and second with the last. It was experimentally obtained that error accumulation is absent for any of the considered concepts, which differs from the folklore opinion that, as in accelerated methods, error accumulation must take place. The paper gives motivation for why the error may not accumulate. The dependence of the solution error both on the magnitude (scale) of the noise and on the size of the solution using the conjugate gradient method was also experimentally investigated. Hypotheses about the dependence of the error in the solution on the noise scale and the size (2-norm) of the solution are proposed and tested for all the concepts considered. It turned out that the error in the solution (by function) linearly depends on the noise scale. The work contains graphs illustrating each individual study, as well as a detailed description of numerical experiments, which includes an account of the methods of noise of both the vector and the matrix.

В работе решается задача вычисления параметров случайного сигнала в условиях распределения Райса на основе принципа максимума правдоподобия в предельных случаях большого и малого значения отношения сигнала к шуму. Получены аналитические формулы для решения системы уравнений максимума правдоподобия для искомых параметров сигнала и шума как для однопараметрического приближения, когда рассчитывается только один параметр задачи — величина сигнала, в предположении априорной известности второго параметра — дисперсии шума, так и для двухпараметрической задачи, когда оба параметра априорно неизвестны. Непосредственное вычисление искомых параметров сигнала и шума по формулам позволяет избежать необходимости ресурсоемкого численного решения системы нелинейных уравнений и тем самым оптимизировать время компьютерной обработки сигналов и изображений. Представлены результаты компьютерного моделирования задачи, подтверждающие теоретические выводы. Задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации.

The paper provides a solution of a task of calculating the parameters of a Rician distributed signal on the basis of the maximum likelihood principle in limiting cases of large and small values of the signal-tonoise ratio. The analytical formulas are obtained for the solution of the maximum likelihood equations’ system for the required signal and noise parameters for both the one-parameter approximation, when only one parameter is being calculated on the assumption that the second one is known a-priori, and for the two-parameter task, when both parameters are a-priori unknown. The direct calculation of required signal and noise parameters by formulas allows escaping the necessity of time resource consuming numerical solving the nonlinear equations’ s system and thus optimizing the duration of computer processing of signals and images. There are presented the results of computer simulation of a task confirming the theoretical conclusions. The task is meaningful for the purposes of Rician data processing, in particular, magnetic-resonance visualization.

В работе решается двухпараметрическая задача совместного расчета параметров сигнала и шума в условиях распределения Райса методами математической статистики: методом максимума правдоподобия и вариантами метода моментов. Рассматриваемые варианты метода моментов включают в себя совместный расчет сигнала и шума на основе измерений 2-го и 4-го моментов (ММ24) и на основе измерений 1-го и 2-го моментов (ММ12). В рамках каждого из рассматриваемых методов получены в явном виде системы уравнений для искомых параметров сигнала и шума. Важный математический результат проведенного исследования состоит в том, что решение системы двух нелинейных уравнений с двумя неизвестными — искомыми параметрами сигнала и шума — сведено к решению одного уравнения с одной неизвестной, что важно с точки зрения как теоретического исследования метода, так и его практического применения, позволяя существенно сократить необходимые для реализации метода вычислительные ресурсы. Задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации. В результате проведенного теоретического анализа получен важный практический вывод: решение двухпараметрической задачи не приводит к увеличению требуемых вычислительных ресурсов по сравнению с однопараметрическим приближением. Теоретические выводы подтверждаются результатами численного эксперимента.

The paper provides a solution of the two-parameter task of joint signal and noise estimation at data analysis within the conditions of the Rice distribution by the techniques of mathematical statistics: the maximum likelihood method and the variants of the method of moments. The considered variants of the method of moments include the following techniques: the joint signal and noise estimation on the basis of measuring the 2-nd and the 4-th moments (MM24) and on the basis of measuring the 1-st and the 2-nd moments (MM12). For each of the elaborated methods the explicit equations’ systems have been obtained for required parameters of the signal and noise. An important mathematical result of the investigation consists in the fact that the solution of the system of two nonlinear equations with two variables — the sought for signal and noise parameters — has been reduced to the solution of just one equation with one unknown quantity what is important from the view point of both the theoretical investigation of the proposed technique and its practical application, providing the possibility of essential decreasing the calculating resources required for the technique’s realization. The implemented theoretical analysis has resulted in an important practical conclusion: solving the two-parameter task does not lead to the increase of required numerical resources if compared with the one-parameter approximation. The task is meaningful for the purposes of the rician data processing, in particular — the image processing in the systems of magnetic-resonance visualization. The theoretical conclusions have been confirmed by the results of the numerical experiment.

В работе представлены результаты фундаментального исследования, направленного на теоретическое изучение и компьютерное моделирование свойств статистического распределения фазы квазигармонического сигнала, формируемого в результате воздействия гауссовского шума на исходно гармонический сигнал. Методами математического анализа получены в явном виде формулы для основных характеристик данного распределения — функции распределения, функции плотности вероятности, функции правдоподобия. В результате проведенного компьютерного моделирования проанализированы зависимости данных функций от параметров распределения фазы. В работе разработаны и обоснованы методы оценивания параметров распределения фазы, несущих информацию об исходном, не искаженном шумом сигнале. Показано, что задача оценивания исходного значения фазы квазигармонического сигнала может эффективно решаться простым усреднением результатов выборочных измерений фазы, в то время как для решения задачи оценивания второго параметра распределения фазы — параметра уровня сигнала относительно шума — предлагается использовать метод максимума правдоподобия. В работе представлены графические материалы, полученные путем компьютерного моделирования основных характеристик исследуемого статистического распределения фазы. Существование и единственность максимума функции правдоподобия позволяют обосновать возможность и эффективность решения задачи оценивания уровня сигнала относительно уровня шума методом максимума правдоподобия. Развиваемый в работе метод оценивания уровня незашумленного сигнала относительно уровня шума, т.е. параметра, характеризующего интенсивность сигнала, на основании измерений фазы сигнала является оригинальным, принципиально новым, открывающим перспективы использования фазовых измерений как инструмента анализа стохастических данных. Данное исследование является значимым для решения задач расчета фазы и уровня сигнала методами статистической обработки выборочных фазовых измерений. Предлагаемые методы оценивания параметров распределения фазы квазигармонического сигнала могут использоваться при решении различных научных и прикладных задач, в частности, в таких областях, как радиофизика, оптика, радиолокация, радионавигация, метрология.

The paper presents the results of the fundamental research directed on the theoretical study and computer simulation of peculiarities of the quasi-harmonic signal’s phase statistical distribution. The quasi-harmonic signal is known to be formed as a result of the Gaussian noise impact on the initially harmonic signal. By means of the mathematical analysis the formulas have been obtained in explicit form for the principle characteristics of this distribution, namely: for the cumulative distribution function, the probability density function, the likelihood function. As a result of the conducted computer simulation the dependencies of these functions on the phase distribution parameters have been analyzed. The paper elaborates the methods of estimating the phase distribution parameters which contain the information about the initial, undistorted signal. It has been substantiated that the task of estimating the initial value of the phase of quasi-harmonic signal can be efficiently solved by averaging the results of the sampled measurements. As for solving the task of estimating the second parameter of the phase distribution, namely — the parameter, determining the signal level respectively the noise level — a maximum likelihood technique is proposed to be applied. The graphical illustrations are presented that have been obtained by means of the computer simulation of the principle characteristics of the phase distribution under the study. The existence and uniqueness of the likelihood function’s maximum allow substantiating the possibility and the efficiency of solving the task of estimating signal’s level relative to noise level by means of the maximum likelihood technique. The elaborated method of estimating the un-noised signal’s level relative to noise, i. e. the parameter characterizing the signal’s intensity on the basis of measurements of the signal’s phase is an original and principally new technique which opens perspectives of usage of the phase measurements as a tool of the stochastic data analysis. The presented investigation is meaningful for solving the task of determining the phase and the signal’s level by means of the statistical processing of the sampled phase measurements. The proposed methods of the estimation of the phase distribution’s parameters can be used at solving various scientific and technological tasks, in particular, in such areas as radio-physics, optics, radiolocation, radio-navigation, metrology.

В работе дается обзор существующих методов обработки сигналов в условиях применения статистической модели Райса. Рассмотрены основные направления развития, существующие ограничения и возможности совершенствования методов решения задачи шумоподавления и фильтрации анализируемых сигналов на примере магнитно-резонансной визуализации. Развита концепция нового подхода к решению задачи одновременного определения основных статистических параметров райсовского случайного сигнала на основе метода моментов в двух вариантах его осуществления. Проведено компьютерное моделирование и проведен сравнительный анализ полученных численных результатов.

The paper provides a review of the existing methods of signals’ processing within the conditions of the Rice statistical model applicability. There are considered the principle development directions, the existing limitations and the improvement possibilities concerning the methods of solving the tasks of noise suppression and analyzed signals’ filtration by the example of magnetic-resonance visualization. A conception of a new approach to joint calculation of Rician signal’s both parameters has been developed based on the method of moments in two variants of its implementation. The computer simulation and the comparative analysis of the obtained numerical results have been conducted.

В данной статье исследуется метод машинного обучения на основе теории случайных функций. Одной из основных проблем данного метода является то, что вид решающего правила модели метода, построенной на данных обучающей выборки, становится более громоздким при увеличении количества примеров выборки. Решающее правило модели является наиболее вероятной реализацией случайной функции и представляется в виде многочлена с количеством слагаемых, равным количеству обучающих элементов выборки. В статье будет показано, что для рассматриваемого метода существует быстрый способ сокращения обучающей выборки и, соответственно, вида решающего правила. Уменьшение примеров обучающей выборки происходит за счет поиска и удаления малоинформативных (слабых) элементов, которые незначительно влияют на итоговый вид решающей функции, и шумовых элементов выборки. Для каждого $(x_i,y_i)$-го элемента выборки было введено понятие значимости, выражающееся величиной отклонения оцененного значения решающей функции модели в точке $x_i$, построенной без $i$-го элемента, от реального значения $y_i$. Будет показана возможность косвенного использования найденных слабых элементов выборки при обучении модели метода, что позволяет не увеличивать количество слагаемых в полученной решающей функции. Также в статье будут описаны проведенные эксперименты, в которых показано, как изменение количества обучающих данных влияет на обобщающую способность решающего правила модели в задаче классификации.

This article explores a method of machine learning based on the theory of random functions. One of the main problems of this method is that decision rule of a model becomes more complicated as the number of training dataset examples increases. The decision rule of the model is the most probable realization of a random function and it's represented as a polynomial with the number of terms equal to the number of training examples. In this article we will show the quick way of the number of training dataset examples reduction and, accordingly, the complexity of the decision rule. Reducing the number of examples of training dataset is due to the search and removal of weak elements that have little effect on the final form of the decision function, and noise sampling elements. For each $(x_i,y_i)$-th element sample was introduced the concept of value, which is expressed by the deviation of the estimated value of the decision function of the model at the point $x_i$, built without the $i$-th element, from the true value $y_i$. Also we show the possibility of indirect using weak elements in the process of training model without increasing the number of terms in the decision function. At the experimental part of the article, we show how changed amount of data affects to the ability of the method of generalizing in the classification task.