Все выпуски

Предлагается обобщенное семейство вероятностных тематических моделей коллекций текстовых документов, в котором эвристики регуляризации, сэмплирования, частого обновления параметров, робастности относительно шума и фона могут включаться независимо друг от друга в любых сочетаниях, порождая как известные модели PLSA, LDA, CVB0, SWB, так и новые. Показано, что робастная тематическая модель на основе PLSA, разделяющая термины на тематические, шумовые и фоновые, не нуждается в регуляризации и обеспечивает разреженность искомых дискретных распределений тем в документах и терминов в темах.

We propose a generalized probabilistic topic model of text corpora which can incorporate heuristics of Bayesian regularization, sampling, frequent parameters update, and robustness in any combinations. Wellknown models PLSA, LDA, CVB0, SWB, and many others can be considered as special cases of the proposed broad family of models. We propose the robust PLSA model and show that it is more sparse and performs better that regularized models like LDA.

В статье рассмотрены примеры анализа спектров экспериментальных данных для выявления характерных структур процессов, формирующих турбулентность в плазме. Основу метода составляет использование оригинального алгоритма, идеологически близкого к бутстреппроцедуре для одновыборочной задачи. В качестве базовой модели для описания тонкой структуры стохастических процессов предлагаются конечные сдвиг-масштабные смеси нормальных законов. Для отыскания статистических оценок (максимального правдоподобия) предполагается использование широко известного EM-алгоритма. Для нескольких серий спектров, полученных для разных режимов низкочастотной плазменной турбулентности, демонстрируется эффективность использования предложенного метода исследования.

The article describes the examples of the analysis of the experimental data spectra for identifying typical structures of processes forming plasma turbulence. The method is based on the original algorithm which is close to the one-sample bootstrap. The base model for description of the fine structure of stochastic processes is finite local-scale normal mixtures. For finding the statistical estimates (maximum likelihood estimates) well known EM algorithm is used. The efficiency of the proposed research technique is demonstrated for a number of spectra’s set obtained in different modes of low-frequency plasma turbulence.

В работе рассматривается задача оценивания параметров временных рядов, описываемых регрессионными моделями с марковскими переключениями двух режимов в случайные моменты времени и независимыми гауссовскими шумами. Для решения предлагается вариант EM-алгоритма, основанный на итерационной процедуре, в ходе которой происходит чередование оценивания параметров регрессии при заданной последовательности переключений режимов и оценивания последовательности переключений при заданных параметрах моделей регрессии. В отличие от известных методов оценивания параметров регрессий с марковскими переключениями режимов, которые основаны на вычислении апостериорных вероятностей дискретных состояний последовательности переключений, в работе находятся оптимальные по критерию максимума апостериорной вероятности оценки процесса переключений. В результате предлагаемый алгоритм оказывается более простым и требует меньшее количество расчетов. Компьютерное моделирование позволяет выявить факторы, влияющие на точность оценивания. К таким факторам относятся число наблюдений, количество неизвестных параметров регрессии, степень их различия в разных режимах работы, а также величина отношения сигнала к шуму, которую в моделях регрессии можно связать с величиной коэффициента детерминации. Предложенный алгоритм применяется для задачи оценивания параметров в моделях регрессии для доходности индекса РТС в зависимости от доходностей индекса S&P 500 и акций «Газпрома» за период с 2013 года по 2018 год. Проводится сравнение оценок параметров, найденных с помощью предлагаемого алгоритма, с оценками, которые формируются с использованием эконометрического пакета EViews, и с оценками обычного метода наименьших квадратов без учета переключений режимов. Учет переключений позволяет получить более точное представление о структуре статистической зависимости исследуемых переменных. В моделях с переключениями рост отношения сигнала к шуму приводит к тому, что уменьшаются различия в оценках, вырабатываемых предлагаемым алгоритмом и с помощью программы EViews.

The paper considers the problem of estimating the parameters of time series described by regression models with Markov switching of two regimes at random instants of time with independent Gaussian noise. For the solution, we propose a variant of the EM algorithm based on the iterative procedure, during which an estimation of the regression parameters is performed for a given sequence of regime switching and an evaluation of the switching sequence for the given parameters of the regression models. In contrast to the well-known methods of estimating regression parameters in the models with Markov switching, which are based on the calculation of a posteriori probabilities of discrete states of the switching sequence, in the paper the estimates are calculated of the switching sequence, which are optimal by the criterion of the maximum of a posteriori probability. As a result, the proposed algorithm turns out to be simpler and requires less calculations. Computer modeling allows to reveal the factors influencing accuracy of estimation. Such factors include the number of observations, the number of unknown regression parameters, the degree of their difference in different modes of operation, and the signal-to-noise ratio which is associated with the coefficient of determination in regression models. The proposed algorithm is applied to the problem of estimating parameters in regression models for the rate of daily return of the RTS index, depending on the returns of the S&P 500 index and Gazprom shares for the period from 2013 to 2018. Comparison of the estimates of the parameters found using the proposed algorithm is carried out with the estimates that are formed using the EViews econometric package and with estimates of the ordinary least squares method without taking into account regimes switching. The account of regimes switching allows to receive more exact representation about structure of a statistical dependence of investigated variables. In switching models, the increase in the signal-to-noise ratio leads to the fact that the differences in the estimates produced by the proposed algorithm and using the EViews program are reduced.

Задача вероятностного тематического моделирования заключается в том, чтобы по заданной коллекции текстовых документов найти две матрицы: матрицу условных вероятностей тем в документах и матрицу условных вероятностей слов в темах. Каждый документ представляется в виде мультимножества слов, то есть предполагается, что для выявления тематики документа не важен порядок слов в нем, а важна только их частота. При таком предположении задача сводится к вычислению низкорангового неотрицательного матричного разложения, наилучшего по критерию максимума правдоподобия. Данная задача имеет в общем случае бесконечное множество решений, то есть является некорректно поставленной. Для регуляризации ее решения к логарифму правдоподобия добавляется взвешенная сумма оптимизационных критериев, с помощью которых формализуются дополнительные требования к модели. При моделировании больших текстовых коллекций хранение первой матрицы представляется нецелесообразным, поскольку ее размер пропорционален числу документов в коллекции. В то же время тематические векторные представления документов необходимы для решения многих задач текстовой аналитики — информационного поиска, кластеризации, классификации, суммаризации текстов. На практике тематический вектор вычисляется для каждого документа по необходимости, что может потребовать десятков итераций по всем словам документа. В данной работе предлагается способ быстрого вычисления тематического вектора для произвольного текста, требующий лишь одной итерации, то есть однократного прохода по всем словам документа. Для этого в модель вводится дополнительное ограничение в виде уравнения, позволяющего вычислять первую матрицу через вторую за линейное время. Хотя формально данное ограничение не является оптимизационным критерием, фактически оно выполняет роль регуляризатора и может применяться в сочетании с другими критериями в рамках теории аддитивной регуляризации тематических моделей ARTM. Эксперименты на трех свободно доступных текстовых коллекциях показали, что предложенный метод улучшает качество модели по пяти оценкам качества, характеризующим разреженность, различность, информативность и когерентность тем. Для проведения экспериментов использовались библиотеки с открытымк одомB igARTM и TopicNet.

The probabilistic topic model of a text document collection finds two matrices: a matrix of conditional probabilities of topics in documents and a matrix of conditional probabilities of words in topics. Each document is represented by a multiset of words also called the “bag of words”, thus assuming that the order of words is not important for revealing the latent topics of the document. Under this assumption, the problem is reduced to a low-rank non-negative matrix factorization governed by likelihood maximization. In general, this problem is ill-posed having an infinite set of solutions. In order to regularize the solution, a weighted sum of optimization criteria is added to the log-likelihood. When modeling large text collections, storing the first matrix seems to be impractical, since its size is proportional to the number of documents in the collection. At the same time, the topical vector representation (embedding) of documents is necessary for solving many text analysis tasks, such as information retrieval, clustering, classification, and summarization of texts. In practice, the topical embedding is calculated for a document “on-the-fly”, which may require dozens of iterations over all the words of the document. In this paper, we propose a way to calculate a topical embedding quickly, by one pass over document words. For this, an additional constraint is introduced into the model in the form of an equation, which calculates the first matrix from the second one in linear time. Although formally this constraint is not an optimization criterion, in fact it plays the role of a regularizer and can be used in combination with other regularizers within the additive regularization framework ARTM. Experiments on three text collections have shown that the proposed method improves the model in terms of sparseness, difference, logLift and coherence measures of topic quality. The open source libraries BigARTM and TopicNet were used for the experiments.

На финансовых рынках деривативы предлагают широкие возможности для инвестиций и хеджирования. Однако доминирующий пласт стохастических моделей требует наличия ликвидного рынка опционов для процесса калибровки. На неликвидных рынках, включая современный финансовый рынок РФ, это является критической проблемой.

В настоящей работе исследуется использование моделей реализованной волатильности и эмпирической рискнейтральной коррекции для оценки стоимости производных финансовых инструментов на один базовый актив. Применяются модель HARGL, обученная на исторических высокочастотных данных, и метод эмпирической мартингальной симуляции (Empirical Martingale Simulation, EMS) для корректировки сгенерированных траекторий. Выбор реализованной волатильности оправдан тем, что модель симулирует динамику интегрированной дисперсии и доходности актива, не требуя наличия поверхности волатильности. Выбор риск-нейтральной меры необходим для выполнения первой фундаментальной теоремы об отсутствии арбитража. В условиях неполного рынка таких мер существует бесконечное множество, поэтому алгоритм EMS выступает оптимальным правилом: он минимально искажает историческую динамику, но гарантирует строгую мартингальность процесса цены.

Процесс валидации включает проверку прогнозов волатильности, отсутствия арбитража, сходимости и сравнение с биржевыми котировками. Модель HARGL дает содержательно корректное описание распределения дисперсии (среднее значение показателя преобразования вероятностного интеграла (PIT) равно 0,46 при эталоне 0,5), показывая умеренно консервативное смещение: в 90% доверительный интервал попадает 96% значений. На неликвидных рынках такая консервативность является существенным плюсом. Сравнение с реальными котировками ванильных опционов показало, что модель, абсолютно не опираясь на опционные данные при калибровке, дала среднюю абсолютную ошибку всего 0,5 рубля. Для 26% инструментов цена оказалась между котировками покупки и продажи, остальные цены — выше котировки продажи. Умеренная переоценка активов подтверждает адекватность предложенного подхода. Вычислительная сходимость алгоритма достигается уже при 10 000 симуляциях. Анализ чувствительности выявил критическую важность процедуры EMS: оценка в физической мере без нее искажает цену на 37%. Также зафиксирована ожидаемая чувствительность к начальной цене актива (4,7%) и прогнозной дисперсии (6%).

В результате исследования показано, что связка HARGL и EMS представляет собой надежный вычислительный инструмент для оценки стоимости деривативов и хеджирования. Поскольку на выходе алгоритм формирует готовые траектории, он легко масштабируется на экзотические деривативы. Предложенный подход численно реализует условия фундаментальных теорем финансовой математики, обеспечивая устойчивую безарбитражную оценку инструментов в условиях острой нехватки ликвидности.

Derivatives offer broad opportunities for investment and hedging in financial markets. However, most stochastic pricing models rely on a liquid options market for calibration. In illiquid markets, including the current Russian financial market, this becomes a critical limitation.

This paper studies the use of realized-volatility models and an empirical risk-neutral correction for pricing derivatives written on a single underlying asset. The framework combines the HARGL model, estimated on historical high-frequency data, with the Empirical Martingale Simulation (EMS) technique used to adjust the simulated price paths. The choice of realized volatility is motivated by the fact that the model simulates both integrated variance and asset returns without requiring an implied-volatility surface. The choice of a risk-neutral measure is needed to satisfy the first fundamental theorem of asset pricing. In an incomplete market, infinitely many such measures exist, so EMS is used as an operational rule: it alters the historical dynamics as little as possible while enforcing strict martingality of the price process.

The validation procedure includes volatility-forecast testing, no-arbitrage checks, convergence analysis, and comparison with exchange-traded option quotes. The HARGL model describes the variance distribution accurately, with a mean PIT value of 0.46 versus the benchmark value of 0.5, while showing a moderately conservative bias: 96% of the observations fall inside the 90% confidence interval. In an illiquid market, such conservatism is a meaningful advantage. A comparison with observed vanilla option quotes shows that, even without using option data in calibration, the model gives a mean absolute pricing error of only 0.5 rubles. For 26% of the instruments, the model price falls inside the bid–ask spread, while the remaining prices lie slightly above the ask quote. This moderate upward bias supports the adequacy of the framework. The algorithm reaches numerical convergence already at 10 000 simulations. The sensitivity analysis shows that EMS is critically important: pricing under the physical measure without this correction distorts the option value by 37%. The expected sensitivity to the initial asset price (4.7%) and to forecast variance (6%) is also documented.

The results show that the HARGL – EMS combination provides a reliable computational tool for pricing and hedging. Since the algorithm produces full simulated paths, it can be extended naturally to exotic derivatives. In this sense, the framework gives a numerical implementation of the core ideas behind the fundamental theorems of asset pricing and provides a stable no-arbitrage valuation procedure under severe illiquidity.