Все выпуски

Многомерные данные, при использовании значительно большего количества признаков относительно меньшего числа наблюдений, порождают хорошо известную проблему переопределённой задачи. В связи с этим, представляется целесообразным описание данных в терминах меньшего числа мета-признаков, которые вычисляются при помощи так называемых матричных факторизаций. Такие факторизации способствуют уменьшению случайного шума при сохранении наиболее существенной информации. Три новых и взаимосвязанных метода предложены в этой статье: 1) факторизационный механизм градиентного спуска с двумя (согласно размерности микрочипа) гибкими и адаптируемыми параметрами обучения, включая явные формулы их автоматического пересчета, 2) непараметрический критерий для отбора количества факторов, и 3) неотрицательная модификация градиентной факторизации, которая не требует дополнительных вычислительных затрат в сравнении с базовой моделью. Мы иллюстрируем эффективность предложенных методов в приложении к задаче направляемой классификации данных в области биоинформатики.

Microarray datasets are highly dimensional, with a small number of collected samples in comparison to thousands of features. This poses a significant challenge that affects the interpretation, applicability and validation of the analytical results. Matrix factorizations have proven to be a useful method for describing data in terms of a small number of meta-features, which reduces noise, while still capturing the essential features of the data. Three novel and mutually relevant methods are presented in this paper: 1) gradient-based matrix factorization with two adaptive learning rates (in accordance with the number of factor matrices) and their automatic updates; 2) nonparametric criterion for the selection of the number of factors; and 3) nonnegative version of the gradient-based matrix factorization which doesn't require any extra computational costs in difference to the existing methods. We demonstrate effectiveness of the proposed methods to the supervised classification of gene expression data.

В работе развивается теория нового, так называемого двухпараметрического подхода к анализу и обработке случайных сигналов. Проведены математическое моделирование и сопоставление результатов решения задачи в условиях статистических моделей Гаусса и Райса. Дается обоснование применимости статистической модели Райса в условиях анализа огибающей измеряемого сигнала в задачах обработки данных и изображений. Развит и теоретически обоснован метод решения задачи шумоподавления и восстановления райсовского сигнала посредством одновременного вычисления двух статистических параметров — величины математического ожидания исходного сигнала и дисперсии шума — на основе принципа максимума правдоподобия. Проанализированы особенности функции правдоподобия для распределения Райса и вытекающие из них возможности оценки параметров сигнала и шума.

The paper develops a theory of a new so-called two-parametric approach to the random signals' analysis and processing. A mathematical simulation and the task solutions’ comparison have been implemented for the Gauss and Rice statistical models. The applicability of the Rice statistical model is substantiated for the tasks of data and images processing when the signal’s envelope is being analyzed. A technique is developed and theoretically substantiated for solving the task of the noise suppression and initial image reconstruction by means of joint calculation of both statistical parameters — an initial signal’s mean value and noise dispersion — based on the maximum likelihood method within the Rice distribution. The peculiarities of this distribution’s likelihood function and the following from them possibilities of the signal and noise estimation have been analyzed.

В данной работе рассматривается возможность применения концепции $(\delta, L)$-модели функции для оптимизационных задач, в которых посредством решения прямой задачи имеется необходимость восстанавливать решение двойственной задачи. Концепция $(\delta, L)$-модели основана на концепции $(\delta, L)$-оракула, предложенной Деволдером–Глинером–Нестеровым, при этом данные авторы предложили фукнционалы в оптимизационных задачах аппроксимировать сверху выпуклой параболой с некоторым аддитивным шумом $\delta$; таким образом, им удалось получить квадратичные верхние оценки с шумом даже для негладких функционалов. Концепция $(\delta, L)$-модели продолжает эту идею за счет того, что аппроксимация сверху делается не выпуклой параболой, а некоторым более сложным выпуклым функционалом. Возможность восстанавливать решение двойственной задачи хорошо зарекомендовала себя, так как во многих случаях в прямой задаче можно значительно быстрее находить решение, чем в двойственной. Отметим, что прямо-двойственные методы хорошо изучены, но при этом, как правило, каждый метод предлагается под конкретный класс задач. Наша же цель — предложить метод, который бы включал в себя сразу различные методы. Это реализуется за счет использования концепции $(\delta, L)$-модели и адаптивной структуры наших методов. Таким образом, нам удалось получить прямо-двойственный адаптивный градиентный метод и быстрый градиентный метод с $(\delta, L)$-моделью и доказать оценки сходимости для них, причем для некоторых классов задач данные оценки являются оптимальными. Основная идея заключается в том, что нахождение двойственных решений происходит относительно оптимизационной задачи, которая аппроксимируют прямую с помощью концепции $(\delta, L)$-модели и имеет более простую структуру, поэтому находить двойственное решение у нее проще. Стоит отметить, что это происходит на каждом шаге работы оптимизационного метода; таким образом, реализуется принцип «разделяй и властвуй».

In this work we consider a possibility to use the conception of $(\delta, L)$-model of a function for optimization tasks, whereby solving a primal problem there is a necessity to recover a solution of a dual problem. The conception of $(\delta, L)$-model is based on the conception of $(\delta, L)$-oracle which was proposed by Devolder–Glineur–Nesterov, herewith the authors proposed approximate a function with an upper bound using a convex quadratic function with some additive noise $\delta$. They managed to get convex quadratic upper bounds with noise even for nonsmooth functions. The conception of $(\delta, L)$-model continues this idea by using instead of a convex quadratic function a more complex convex function in an upper bound. Possibility to recover the solution of a dual problem gives great benefits in different problems, for instance, in some cases, it is faster to find a solution in a primal problem than in a dual problem. Note that primal-dual methods are well studied, but usually each class of optimization problems has its own primal-dual method. Our goal is to develop a method which can find solutions in different classes of optimization problems. This is realized through the use of the conception of $(\delta, L)$-model and adaptive structure of our methods. Thereby, we developed primal-dual adaptive gradient method and fast gradient method with $(\delta, L)$-model and proved convergence rates of the methods, moreover, for some classes of optimization problems the rates are optimal. The main idea is the following: we find a dual solution to an approximation of a primal problem using the conception of $(\delta, L)$-model. It is much easier to find a solution to an approximated problem, however, we have to do it in each step of our method, thereby the principle of “divide and conquer” is realized.

В работе рассматриваются особенности статистического распределения Райса, обусловливающие возможность его эффективного применения при решении задач высокоточных фазовых измерений в оптике. Дается строгое математическое доказательство свойства устойчивости статистического распределения Райса на примере рассмотрения разностного сигнала, а именно: доказано, что сумма или разность двух райсовских сигналов также подчиняются распределению Райса. Кроме того, получены формулы для параметров райсовского распределения результирующего суммарного или разностного сигнала. На основании доказанного свойства устойчивости распределения Райса в работе разработан новый оригинальный метод высокоточного измерения разности фаз двух квазигармонических сигналов. Этот метод базируется на статистическом анализе измеренных выборочных данных для обоих амплитуд сигналов и амплитуды третьего сигнала, представляющего собой разность сопоставляемых по фазе сигналов. Искомый фазовый сдвиг двух квазигармонических сигналов определяется исходя из геометрических соображений как угол треугольника, сформированного восстановленными на фоне шума значениями амплитуд трех упомянутых сигналов. Тем самым предлагаемый метод измерения фазового сдвига с использованием разностного сигнала основан исключительно на амплитудных измерениях, что существенно снижает требования к оборудованию и облегчает реализацию метода на практике. В работе представлены как строгое математическое обоснование нового метода измерения разности фаз сигналов, так и результаты его численного тестирования. Разработанный метод высокоточных фазовых измерений может эффективно применяться для решения широкого круга задач в различных областях науки и техники, в частности в дальнометрии, в системах коммуникации, навигации и т. п.

The paper concerns the study of the Rice statistical distribution’s peculiarities which cause the possibility of its efficient application in solving the tasks of high precision phase measuring in optics. The strict mathematical proof of the Rician distribution’s stable character is provided in the example of the differential signal consideration, namely: it has been proved that the sum or the difference of two Rician signals also obey the Rice distribution. Besides, the formulas have been obtained for the parameters of the resulting summand or differential signal’s Rice distribution. Based upon the proved stable character of the Rice distribution a new original technique of the high precision measuring of the two quasi-harmonic signals’ phase shift has been elaborated in the paper. This technique is grounded in the statistical analysis of the measured sampled data for the amplitudes of the both signals and for the amplitude of the third signal which is equal to the difference of the two signals to be compared in phase. The sought-for phase shift of two quasi-harmonic signals is being calculated from the geometrical considerations as an angle of a triangle which sides are equal to the three indicated signals’ amplitude values having been reconstructed against the noise background. Thereby, the proposed technique of measuring the phase shift using the differential signal analysis, is based upon the amplitude measurements only, what significantly decreases the demands to the equipment and simplifies the technique implementation in practice. The paper provides both the strict mathematical substantiation of a new phase shift measuring technique and the results of its numerical testing. The elaborated method of high precision phase measurements may be efficiently applied for solving a wide circle of tasks in various areas of science and technology, in particular — at distance measuring, in communication systems, in navigation, etc.

В данной работе рассматривается метод сопряженных градиентов при решении задачи минимизации квадратичной функции с аддитивным шумом в градиенте. Были рассмотрены три концепции шума: враждебный шум в линейном члене, стохастический шум в линейном члене и шум в квадратичном члене, а также комбинации первого и второго с последним. Экспериментально получено, что накопление ошибки отсутствует для любой из рассмотренных концепций, что отличается от фольклорного мнения, что, как и в ускоренных методах, накопление ошибки должно иметь место. В работе приведена мотивировка того, почему ошибка может и не накапливаться. Также экспериментально исследовалась зависимость ошибки решения как от величины (масштаба) шума, так и от размера решения при использовании метода сопряженных градиентов. Предложены и проверены гипотезы о зависимости ошибки в решении от масштаба шума и размера (2-нормы) решения для всех рассмотренных концепций. Оказалось, что ошибка в решении (по функции) линейно зависит от масштаба шума. В работе приведены графики, иллюстрирующие каждое отдельное исследование, а также детальное описание численных экспериментов, включающее в себя изложение способов зашумления как вектора, так и матрицы.

In this paper, we consider the conjugate gradient method for solving the problem of minimizing a quadratic function with additive noise in the gradient. Three concepts of noise were considered: antagonistic noise in the linear term, stochastic noise in the linear term and noise in the quadratic term, as well as combinations of the first and second with the last. It was experimentally obtained that error accumulation is absent for any of the considered concepts, which differs from the folklore opinion that, as in accelerated methods, error accumulation must take place. The paper gives motivation for why the error may not accumulate. The dependence of the solution error both on the magnitude (scale) of the noise and on the size of the solution using the conjugate gradient method was also experimentally investigated. Hypotheses about the dependence of the error in the solution on the noise scale and the size (2-norm) of the solution are proposed and tested for all the concepts considered. It turned out that the error in the solution (by function) linearly depends on the noise scale. The work contains graphs illustrating each individual study, as well as a detailed description of numerical experiments, which includes an account of the methods of noise of both the vector and the matrix.

В работе решается задача вычисления параметров случайного сигнала в условиях распределения Райса на основе принципа максимума правдоподобия в предельных случаях большого и малого значения отношения сигнала к шуму. Получены аналитические формулы для решения системы уравнений максимума правдоподобия для искомых параметров сигнала и шума как для однопараметрического приближения, когда рассчитывается только один параметр задачи — величина сигнала, в предположении априорной известности второго параметра — дисперсии шума, так и для двухпараметрической задачи, когда оба параметра априорно неизвестны. Непосредственное вычисление искомых параметров сигнала и шума по формулам позволяет избежать необходимости ресурсоемкого численного решения системы нелинейных уравнений и тем самым оптимизировать время компьютерной обработки сигналов и изображений. Представлены результаты компьютерного моделирования задачи, подтверждающие теоретические выводы. Задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации.

The paper provides a solution of a task of calculating the parameters of a Rician distributed signal on the basis of the maximum likelihood principle in limiting cases of large and small values of the signal-tonoise ratio. The analytical formulas are obtained for the solution of the maximum likelihood equations’ system for the required signal and noise parameters for both the one-parameter approximation, when only one parameter is being calculated on the assumption that the second one is known a-priori, and for the two-parameter task, when both parameters are a-priori unknown. The direct calculation of required signal and noise parameters by formulas allows escaping the necessity of time resource consuming numerical solving the nonlinear equations’ s system and thus optimizing the duration of computer processing of signals and images. There are presented the results of computer simulation of a task confirming the theoretical conclusions. The task is meaningful for the purposes of Rician data processing, in particular, magnetic-resonance visualization.

В работе решается двухпараметрическая задача совместного расчета параметров сигнала и шума в условиях распределения Райса методами математической статистики: методом максимума правдоподобия и вариантами метода моментов. Рассматриваемые варианты метода моментов включают в себя совместный расчет сигнала и шума на основе измерений 2-го и 4-го моментов (ММ24) и на основе измерений 1-го и 2-го моментов (ММ12). В рамках каждого из рассматриваемых методов получены в явном виде системы уравнений для искомых параметров сигнала и шума. Важный математический результат проведенного исследования состоит в том, что решение системы двух нелинейных уравнений с двумя неизвестными — искомыми параметрами сигнала и шума — сведено к решению одного уравнения с одной неизвестной, что важно с точки зрения как теоретического исследования метода, так и его практического применения, позволяя существенно сократить необходимые для реализации метода вычислительные ресурсы. Задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации. В результате проведенного теоретического анализа получен важный практический вывод: решение двухпараметрической задачи не приводит к увеличению требуемых вычислительных ресурсов по сравнению с однопараметрическим приближением. Теоретические выводы подтверждаются результатами численного эксперимента.

The paper provides a solution of the two-parameter task of joint signal and noise estimation at data analysis within the conditions of the Rice distribution by the techniques of mathematical statistics: the maximum likelihood method and the variants of the method of moments. The considered variants of the method of moments include the following techniques: the joint signal and noise estimation on the basis of measuring the 2-nd and the 4-th moments (MM24) and on the basis of measuring the 1-st and the 2-nd moments (MM12). For each of the elaborated methods the explicit equations’ systems have been obtained for required parameters of the signal and noise. An important mathematical result of the investigation consists in the fact that the solution of the system of two nonlinear equations with two variables — the sought for signal and noise parameters — has been reduced to the solution of just one equation with one unknown quantity what is important from the view point of both the theoretical investigation of the proposed technique and its practical application, providing the possibility of essential decreasing the calculating resources required for the technique’s realization. The implemented theoretical analysis has resulted in an important practical conclusion: solving the two-parameter task does not lead to the increase of required numerical resources if compared with the one-parameter approximation. The task is meaningful for the purposes of the rician data processing, in particular — the image processing in the systems of magnetic-resonance visualization. The theoretical conclusions have been confirmed by the results of the numerical experiment.

В работе представлены результаты фундаментального исследования, направленного на теоретическое изучение и компьютерное моделирование свойств статистического распределения фазы квазигармонического сигнала, формируемого в результате воздействия гауссовского шума на исходно гармонический сигнал. Методами математического анализа получены в явном виде формулы для основных характеристик данного распределения — функции распределения, функции плотности вероятности, функции правдоподобия. В результате проведенного компьютерного моделирования проанализированы зависимости данных функций от параметров распределения фазы. В работе разработаны и обоснованы методы оценивания параметров распределения фазы, несущих информацию об исходном, не искаженном шумом сигнале. Показано, что задача оценивания исходного значения фазы квазигармонического сигнала может эффективно решаться простым усреднением результатов выборочных измерений фазы, в то время как для решения задачи оценивания второго параметра распределения фазы — параметра уровня сигнала относительно шума — предлагается использовать метод максимума правдоподобия. В работе представлены графические материалы, полученные путем компьютерного моделирования основных характеристик исследуемого статистического распределения фазы. Существование и единственность максимума функции правдоподобия позволяют обосновать возможность и эффективность решения задачи оценивания уровня сигнала относительно уровня шума методом максимума правдоподобия. Развиваемый в работе метод оценивания уровня незашумленного сигнала относительно уровня шума, т.е. параметра, характеризующего интенсивность сигнала, на основании измерений фазы сигнала является оригинальным, принципиально новым, открывающим перспективы использования фазовых измерений как инструмента анализа стохастических данных. Данное исследование является значимым для решения задач расчета фазы и уровня сигнала методами статистической обработки выборочных фазовых измерений. Предлагаемые методы оценивания параметров распределения фазы квазигармонического сигнала могут использоваться при решении различных научных и прикладных задач, в частности, в таких областях, как радиофизика, оптика, радиолокация, радионавигация, метрология.

The paper presents the results of the fundamental research directed on the theoretical study and computer simulation of peculiarities of the quasi-harmonic signal’s phase statistical distribution. The quasi-harmonic signal is known to be formed as a result of the Gaussian noise impact on the initially harmonic signal. By means of the mathematical analysis the formulas have been obtained in explicit form for the principle characteristics of this distribution, namely: for the cumulative distribution function, the probability density function, the likelihood function. As a result of the conducted computer simulation the dependencies of these functions on the phase distribution parameters have been analyzed. The paper elaborates the methods of estimating the phase distribution parameters which contain the information about the initial, undistorted signal. It has been substantiated that the task of estimating the initial value of the phase of quasi-harmonic signal can be efficiently solved by averaging the results of the sampled measurements. As for solving the task of estimating the second parameter of the phase distribution, namely — the parameter, determining the signal level respectively the noise level — a maximum likelihood technique is proposed to be applied. The graphical illustrations are presented that have been obtained by means of the computer simulation of the principle characteristics of the phase distribution under the study. The existence and uniqueness of the likelihood function’s maximum allow substantiating the possibility and the efficiency of solving the task of estimating signal’s level relative to noise level by means of the maximum likelihood technique. The elaborated method of estimating the un-noised signal’s level relative to noise, i. e. the parameter characterizing the signal’s intensity on the basis of measurements of the signal’s phase is an original and principally new technique which opens perspectives of usage of the phase measurements as a tool of the stochastic data analysis. The presented investigation is meaningful for solving the task of determining the phase and the signal’s level by means of the statistical processing of the sampled phase measurements. The proposed methods of the estimation of the phase distribution’s parameters can be used at solving various scientific and technological tasks, in particular, in such areas as radio-physics, optics, radiolocation, radio-navigation, metrology.

Алгоритмы сопряженных градиентов представляют собой важный класс алгоритмов безусловной оптимизации с хорошей локальной и глобальной сходимостью и скромными требованиями к памяти. Они занимают промежуточное место между методом наискорейшего спуска и методом Ньютона, поскольку требуют вычисленияи хранения только первых производных и как правило быстрее методов наискорейшего спуска. В данном исследовании рассмотрен новый подход в задаче восстановления изображений. Он наследует одновременно методу сопряженных градиентов Флетчера – Ривза (FR) и трехкомпонентному методу сопряженных градиентов (TTCG), и поэтому назван авторами гибридным трехкомпонентным методом сопряженных градиентов (HYCGM). Новое направление спуска в нем учитывает текущее направления градиента, предыдущее направления спуска и градиент из предыдущей итерации. Показано, что новый алгоритм обладает свойствами глобальной сходимости и монотонности при использовании неточного линейного поиска типа Вулфа при некоторых стандартных предположениях. Для подтверждения эффективности предложенного алгоритма приводятся результаты численных экспериментов предложенного метода в сравнении с классическим методом Флетчера – Ривза (FR) и трехкомпонентным методом Флетчера – Ривза (TTFR).

Conjugate gradient algorithms represent an important class of unconstrained optimization algorithms with strong local and global convergence properties and simple memory requirements. These algorithms have advantages that place them between the steep regression method and Newton’s algorithm because they require calculating the first derivatives only and do not require calculating and storing the second derivatives that Newton’s algorithm needs. They are also faster than the steep descent algorithm, meaning that they have overcome the slow convergence of this algorithm, and it does not need to calculate the Hessian matrix or any of its approximations, so it is widely used in optimization applications. This study proposes a novel method for image restoration by fusing the convex combination method with the hybrid (CG) method to create a hybrid three-term (CG) algorithm. Combining the features of both the Fletcher and Revees (FR) conjugate parameter and the hybrid Fletcher and Revees (FR), we get the search direction conjugate parameter. The search direction is the result of concatenating the gradient direction, the previous search direction, and the gradient from the previous iteration. We have shown that the new algorithm possesses the properties of global convergence and descent when using an inexact search line, relying on the standard Wolfe conditions, and using some assumptions. To guarantee the effectiveness of the suggested algorithm and processing image restoration problems. The numerical results of the new algorithm show high efficiency and accuracy in image restoration and speed of convergence when used in image restoration problems compared to Fletcher and Revees (FR) and three-term Fletcher and Revees (TTFR).

В работе дается обзор существующих методов обработки сигналов в условиях применения статистической модели Райса. Рассмотрены основные направления развития, существующие ограничения и возможности совершенствования методов решения задачи шумоподавления и фильтрации анализируемых сигналов на примере магнитно-резонансной визуализации. Развита концепция нового подхода к решению задачи одновременного определения основных статистических параметров райсовского случайного сигнала на основе метода моментов в двух вариантах его осуществления. Проведено компьютерное моделирование и проведен сравнительный анализ полученных численных результатов.

The paper provides a review of the existing methods of signals’ processing within the conditions of the Rice statistical model applicability. There are considered the principle development directions, the existing limitations and the improvement possibilities concerning the methods of solving the tasks of noise suppression and analyzed signals’ filtration by the example of magnetic-resonance visualization. A conception of a new approach to joint calculation of Rician signal’s both parameters has been developed based on the method of moments in two variants of its implementation. The computer simulation and the comparative analysis of the obtained numerical results have been conducted.