Все выпуски

Предлагается диссипативная стохастическая динамическая модель эволюции языковых знаков, удовлетворяющая принципу «наименьшего действия» — одному из фундаментальных вариационных принципов природы. Модель предполагает пуассоновский характер потока рождения языковых знаков, экспоненциальное (показательное) распределение ассоциативно-семантического потенциала (АСП) знака и оперирует разностными стохастическими уравнениями специального вида для диссипативных процессов. Получаемые из модели распределения полисемии и частотно-ранговые распределения языковых знаков статистически значимо (по критерию Колмогорова–Смирнова) не отличаются от эмпирических распределений, полученных из представительных толковых и частотных словарей русского и английского языков.

We offer the dissipative stochastic dynamic model of the language sign evolution, satisfying to the principle of the least action, one of fundamental variational principles of the Nature. The model conjectures the Poisson nature of the birth flow of language signs and the exponential distribution of their associative-semantic potential (ASP). The model works with stochastic difference equations of the special type for dissipative processes. The equation for momentary polysemy distribution and frequency-rank distribution drawn from our model do not differs significantly (by Kolmogorov-Smirnov’s test) from empirical distributions, got from main Russian and English explanatory dictionaries as well as frequency dictionaries of them.

Предложен новый метод статистического анализа текстов. Исследовано распределение частот различных первых значащих цифр в числительных англоязычных текстов. Учитываются количественные и порядковые числительные, выраженные как цифрами, так и словесно. Предварительно из текста удаляются случайно попавшие в него числительные, не отражающие авторский замысел (номера страниц, маркеры списков, идиоматические выражения, устойчивые обороты речи и тому подобное). Обнаружено, что для сборных текстов разного авторства частоты первых значащих цифр приближенно соответствуют известному закону Бенфорда, но с резким преобладанием встречаемости единицы. В связных авторских текстах возникают характерные отклонения от закона Бенфорда; показано, что эти отклонения являются статистически устойчивыми и значимыми авторскими особенностями, позволяющими при определенных условиях ответить на вопрос об авторстве и различить тексты разных авторов. Требуется, чтобы текст был достаточно длинным (не менее чем порядка 200 кБ). Распределение первых значащих цифр конца ряда $\{1, 2, \ldots, 8, 9\}$ подвержено сильным флуктуациям и не показательно для нашей цели. Цель теоретического обоснования найденной эмпирической закономерности в работе не ставится, но продемонстрировано ее практическое использование для атрибуции текстов. Предлагаемый подход и сделанные выводы подкреплены примерами компьютерного анализа художественных текстов У. М. Теккерея, М. Твена, Р. Л. Стивенсона, Дж.Джойса, сестер Бронте, Дж.Остин. На основе разработанной методологии рассмотрены проблемы авторства текста, ранее приписывавшегося Л.Ф. Бауму (результат согласуется с полученным другими методами), а также известного романа Харпер Ли «Убить пересмешника»; показано, что к написанию первоначального варианта этой книги («Пойди, поставь сторожа») мог быть причастен Трумен Капоте, но финальный текст, вероятно, принадлежит Харпер Ли. Результаты подтверждены на основе параметрического критерия Пирсона, а также непараметрических U-критерия Манна–Уитни и критерия Крускала–Уоллиса.

A new method of statistical analysis of texts is suggested. The frequency distribution of the first significant digits in numerals of English-language texts is considered. We have taken into account cardinal as well as ordinal numerals expressed both in figures, and verbally. To identify the author’s use of numerals, we previously deleted from the text all idiomatic expressions and set phrases accidentally containing numerals, as well as itemizations and page numbers, etc. Benford’s law is found to hold approximately for the frequencies of various first significant digits of compound literary texts by different authors; a marked predominance of the digit 1 is observed. In coherent authorial texts, characteristic deviations from Benford’s law arise which are statistically stable significant author peculiarities that allow, under certain conditions, to consider the problem of authorship and distinguish between texts by different authors. The text should be large enough (at least about 200 kB). At the end of $\{1, 2, \ldots, 9\}$ digits row, the frequency distribution is subject to strong fluctuations and thus unrepresentative for our purpose. The aim of the theoretical explanation of the observed empirical regularity is not intended, which, however, does not preclude the applicability of the proposed methodology for text attribution. The approach suggested and the conclusions are backed by the examples of the computer analysis of works by W.M. Thackeray, M. Twain, R. L. Stevenson, J. Joyce, sisters Bront¨e, and J.Austen. On the basis of technique suggested, we examined the authorship of a text earlier ascribed to L. F. Baum (the result agrees with that obtained by different means). We have shown that the authorship of Harper Lee’s “To Kill a Mockingbird” pertains to her, whereas the primary draft, “Go Set a Watchman”, seems to have been written in collaboration with Truman Capote. All results are confirmed on the basis of parametric Pearson’s chi-squared test as well as non-parametric Mann –Whitney U test and Kruskal –Wallis test.

В работе описывается метод распознавания авторов литературных текстов по близости фрагментов, на которые разделен отдельный текст, к эталону автора. Эталоном является эмпирическое распределение частот буквосочетаний, построенное по обучающей выборке, куда вошли экспертно отобранные достоверно известные произведения данного автора. Совокупность эталонов разных авторов образует библиотеку, внутри которой и решается задача об идентификации автора неизвестного текста. Близость между текстами понимается в смысле нормы в L1 для вектора частот буквосочетаний, который строится для каждого фрагмента и для текста в целом. Автором неизвестного текста назначается тот, эталон которого чаще всего выбирается в качестве ближайшего для набора фрагментов, на которые разделен текст. Длина фрагмента оптимизируется исходя из принципа максимального различия расстояний от фрагментов до эталонов в задаче распознавания «свой–чужой». Тестирование метода проведено на корпусе отечественных и зарубежных (в переводе) авторов. Были собраны 1783 текста 100 авторов суммарным объемом примерно 700 млн знаков. Чтобы исключить тенденциозность отбора авторов, рассматривались авторы, фамилии которых начинались на одну и ту же букву (в данном случае Л). Ошибка идентификации по биграммам составила 12%. Наряду с достаточно высокой точностью данный метод обладает еще одним важным свойством: он позволяет оценить вероятность того, что эталон автора рассматриваемого текста в библиотеке отсутствует. Эта вероятность может быть оценена по результатам статистики ближайших эталонов для малых фрагментов текста. В работе исследуются также статистические цифровые портреты писателей: это совместные эмпирические распределения вероятности того, что некоторая доля текста идентифицируется на заданном уровне доверия. Практическая важность этих статистик в том, что носители соответствующих распределений практически не пересекаются для своих и чужих эталонов, что позволяет распознать эталонное распределение буквосочетаний на высоком уровне доверия.

The paper describes a method for recognizing authors of literary texts by the proximity of fragments into which a separate text is divided to the standard of the author. The standard is the empirical frequency distribution of letter combinations, built on a training sample, which included expertly selected reliably known works of this author. A set of standards of different authors forms a library, within which the problem of identifying the author of an unknown text is solved. The proximity between texts is understood in the sense of the norm in L1 for the frequency vector of letter combinations, which is constructed for each fragment and for the text as a whole. The author of an unknown text is assigned the one whose standard is most often chosen as the closest for the set of fragments into which the text is divided. The length of the fragment is optimized based on the principle of the maximum difference in distances from fragments to standards in the problem of recognition of «friend–foe». The method was tested on the corpus of domestic and foreign (translated) authors. 1783 texts of 100 authors with a total volume of about 700 million characters were collected. In order to exclude the bias in the selection of authors, authors whose surnames began with the same letter were considered. In particular, for the letter L, the identification error was 12%. Along with a fairly high accuracy, this method has another important property: it allows you to estimate the probability that the standard of the author of the text in question is missing in the library. This probability can be estimated based on the results of the statistics of the nearest standards for small fragments of text. The paper also examines statistical digital portraits of writers: these are joint empirical distributions of the probability that a certain proportion of the text is identified at a given level of trust. The practical importance of these statistics is that the carriers of the corresponding distributions practically do not overlap for their own and other people’s standards, which makes it possible to recognize the reference distribution of letter combinations at a high level of confidence.

На финансовых рынках деривативы предлагают широкие возможности для инвестиций и хеджирования. Однако доминирующий пласт стохастических моделей требует наличия ликвидного рынка опционов для процесса калибровки. На неликвидных рынках, включая современный финансовый рынок РФ, это является критической проблемой.

В настоящей работе исследуется использование моделей реализованной волатильности и эмпирической рискнейтральной коррекции для оценки стоимости производных финансовых инструментов на один базовый актив. Применяются модель HARGL, обученная на исторических высокочастотных данных, и метод эмпирической мартингальной симуляции (Empirical Martingale Simulation, EMS) для корректировки сгенерированных траекторий. Выбор реализованной волатильности оправдан тем, что модель симулирует динамику интегрированной дисперсии и доходности актива, не требуя наличия поверхности волатильности. Выбор риск-нейтральной меры необходим для выполнения первой фундаментальной теоремы об отсутствии арбитража. В условиях неполного рынка таких мер существует бесконечное множество, поэтому алгоритм EMS выступает оптимальным правилом: он минимально искажает историческую динамику, но гарантирует строгую мартингальность процесса цены.

Процесс валидации включает проверку прогнозов волатильности, отсутствия арбитража, сходимости и сравнение с биржевыми котировками. Модель HARGL дает содержательно корректное описание распределения дисперсии (среднее значение показателя преобразования вероятностного интеграла (PIT) равно 0,46 при эталоне 0,5), показывая умеренно консервативное смещение: в 90% доверительный интервал попадает 96% значений. На неликвидных рынках такая консервативность является существенным плюсом. Сравнение с реальными котировками ванильных опционов показало, что модель, абсолютно не опираясь на опционные данные при калибровке, дала среднюю абсолютную ошибку всего 0,5 рубля. Для 26% инструментов цена оказалась между котировками покупки и продажи, остальные цены — выше котировки продажи. Умеренная переоценка активов подтверждает адекватность предложенного подхода. Вычислительная сходимость алгоритма достигается уже при 10 000 симуляциях. Анализ чувствительности выявил критическую важность процедуры EMS: оценка в физической мере без нее искажает цену на 37%. Также зафиксирована ожидаемая чувствительность к начальной цене актива (4,7%) и прогнозной дисперсии (6%).

В результате исследования показано, что связка HARGL и EMS представляет собой надежный вычислительный инструмент для оценки стоимости деривативов и хеджирования. Поскольку на выходе алгоритм формирует готовые траектории, он легко масштабируется на экзотические деривативы. Предложенный подход численно реализует условия фундаментальных теорем финансовой математики, обеспечивая устойчивую безарбитражную оценку инструментов в условиях острой нехватки ликвидности.

Derivatives offer broad opportunities for investment and hedging in financial markets. However, most stochastic pricing models rely on a liquid options market for calibration. In illiquid markets, including the current Russian financial market, this becomes a critical limitation.

This paper studies the use of realized-volatility models and an empirical risk-neutral correction for pricing derivatives written on a single underlying asset. The framework combines the HARGL model, estimated on historical high-frequency data, with the Empirical Martingale Simulation (EMS) technique used to adjust the simulated price paths. The choice of realized volatility is motivated by the fact that the model simulates both integrated variance and asset returns without requiring an implied-volatility surface. The choice of a risk-neutral measure is needed to satisfy the first fundamental theorem of asset pricing. In an incomplete market, infinitely many such measures exist, so EMS is used as an operational rule: it alters the historical dynamics as little as possible while enforcing strict martingality of the price process.

The validation procedure includes volatility-forecast testing, no-arbitrage checks, convergence analysis, and comparison with exchange-traded option quotes. The HARGL model describes the variance distribution accurately, with a mean PIT value of 0.46 versus the benchmark value of 0.5, while showing a moderately conservative bias: 96% of the observations fall inside the 90% confidence interval. In an illiquid market, such conservatism is a meaningful advantage. A comparison with observed vanilla option quotes shows that, even without using option data in calibration, the model gives a mean absolute pricing error of only 0.5 rubles. For 26% of the instruments, the model price falls inside the bid–ask spread, while the remaining prices lie slightly above the ask quote. This moderate upward bias supports the adequacy of the framework. The algorithm reaches numerical convergence already at 10 000 simulations. The sensitivity analysis shows that EMS is critically important: pricing under the physical measure without this correction distorts the option value by 37%. The expected sensitivity to the initial asset price (4.7%) and to forecast variance (6%) is also documented.

The results show that the HARGL – EMS combination provides a reliable computational tool for pricing and hedging. Since the algorithm produces full simulated paths, it can be extended naturally to exotic derivatives. In this sense, the framework gives a numerical implementation of the core ideas behind the fundamental theorems of asset pricing and provides a stable no-arbitrage valuation procedure under severe illiquidity.