Все выпуски

Рассмотрены вопросы адекватности разработанной ранее автором модели для анализа неравенства доходов, основанной на эмпирически подтвержденной гипотезе о том, что относительные (по отношению к доходу наиболее богатой группы) величины дохода 20% групп населения в совокупном доходе могут быть приближенно представлены в виде конечной функциональной последовательности, каждый член которой зависит от одного параметра — специально определенного показателя неравенства. Показано, что в дополнение к существующим методам анализа неравенства с помощью этой модели можно определить зависимость доли дохода 20%, 10% и более мелких групп населения от уровня неравенства, выявить особенности их изменения при росте неравенства, рассчитать уровень неравенства при известных соотношениях между доходами различных групп населения и др.

В работе приводится более подробное подтверждение адекватности предложенной модели по сравнению с полученными ранее результатами статистического анализа эмпирических данных о распределении доходов между 20%- и 10%-ми группами населения. Оно основано на анализе определенных соотношений между величинами квинтилей и децилей согласно предлагаемой модели. Проверка этих соотношений проведена по совокупности данных для большого числа стран. Полученные оценки подтверждают достаточно высокую точность модели.

Приведены данные, которые подтверждают возможность применения модели для анализа зависимости распределения доходов по группам населения от уровня неравенства, а также для оценки показателя неравенства для вариантов соотношений доходов между различными группами, в том числе когда доход 20% наиболее богатых равен доходу 60% бедных, доходу 40% среднего класса или доходу 80% остального населения, а также когда доход 10% самых богатых равен доходу 40%, 50% или 60% бедных, доходу различных групп среднего класса и др., а также для случаев, когда распределение доходов подчиняется гармоническим пропорциям и когда квинтили и децили, соответствующие среднему классу, достигают максимума. Показано, что доли дохода наиболее богатых групп среднего класса относительно стабильны и имеют максимум при определенных уровнях неравенства.

Полученные с помощью модели результаты могут быть использованы для определения нормативов при разработке политики поэтапного повышении уровня прогрессивного налогообложения с целью перехода к уровню неравенства, характерному для стран с социально ориентированной экономикой.

The paper considers the adequacy of the model developed earlier by the author for the analysis of income inequality and based on an empirically confirmed hypothesis that the relative (to the income of the richest group) income values of 20% population groups in total income can be represented as a finite functional sequence, each member of which depends on one parameter — a specially defined indicator of inequality. It is shown that in addition to the existing methods of inequality analysis, the model makes it possible to estimate with the help of analytical expressions the income shares of 20%, 10% and smaller groups of the population for different levels of inequality, as well as to identify how they change with the growth of inequality, to estimate the level of inequality for known ratios between the incomes of different groups of the population, etc.

The paper provides a more detailed confirmation of the proposed model adequacy in comparison with the previously obtained results of statistical analysis of empirical data on the distribution of income between the 20% and 10% population groups. It is based on the analysis of certain ratios between the values of quintiles and deciles according to the proposed model. The verification of these ratios was carried out using a set of data for a large number of countries and the estimates obtained confirm the sufficiently high accuracy of the model.

Data are presented that confirm the possibility of using the model to analyze the dependence of income distribution by population groups on the level of inequality, as well as to estimate the inequality indicator for income ratios between different groups, including variants when the income of the richest 20% is equal to the income of the poor 60 %, income of the middle class 40% or income of the rest 80% of the population, as well as when the income of the richest 10% is equal to the income of the poor 40 %, 50% or 60%, to the income of various middle class groups, etc., as well as for cases, when the distribution of income obeys harmonic proportions and when the quintiles and deciles corresponding to the middle class reach a maximum. It is shown that the income shares of the richest middle class groups are relatively stable and have a maximum at certain levels of inequality.

The results obtained with the help of the model can be used to determine the standards for developing a policy of gradually increasing the level of progressive taxation in order to move to the level of inequality typical of countries with social oriented economy.

Для исследования динамики неоднородной полинуклеотидной цепочки ДНК была использована упрощенная Y-модель с нулевым диссипативным членом. На основе этой модели с помощью численных методов были проведены расчеты, демонстрирующие поведение нелинейного конформационного возмущения (кинка), распространяющегося вдоль неоднородной полинуклеотидной цепи, состоящей из двух разных однородных последовательностей нуклеотидов. Как показал численный анализ, нелинейное возмущение в виде кинка, распространяющееся вдоль рассматриваемой модельной молекулы ДНК, может вести себя тремя разными способами. При достижении границы между двумя однородными последовательностями, состоящими из разных типов оснований, кинк может: а) отразиться, б) пройти границу с ускорением (увеличить скорость), в) пройти границу с замедлением (уменьшить скорость).

To research dynamics of inhomogeneous polynucleotide DNA chain the Y-model with no dissipation term was used. Basing on this model using numerical methods calculations were carried out, which have shown the behaviour of nonlinear conformational excitation (kink), spreading along the inhomogeneous polynucleotide chain, consisting of two different homogeneous nucleotide sequences. As numerical analysis shows there are three ways of behaviour of the nonlinear kink excitation spreading along the DNA chain. After reaching the interface between two homogeneous sequences consisting of different types of bases kink can a) reflect, b) pass the interface with acceleration (increase its velocity), c) pass the interface with deceleration (decrease its velocity).

Рассматривается задача построения различий, возникающих при редактировании документов в формате ${\mathrm{\LaTeX}}$. Каждый документ представляется в виде синтаксического дерева, узлы которого называются токенами. Строится минимально возможное текстовое представление документа, не меняющее синтаксическое дерево. Весь текст разбивается на фрагменты, границы которых соответствуют токенам. С помощью алгоритма Хиршберга строится отображение последовательности текстовых фрагментов изначального документа в аналогичную последовательность отредактированного документа, соответствующее минимальному редактирующему расстоянию. Строится отображение символов текстов, соответствующее отображению последовательностей текстовых фрагментов. В синтаксических деревьях выделяются токены такие, что символы соответствующих фрагментов текста при отображении либо все не меняются, либо все удаляются, либо все добавляются. Для деревьев, образованных остальными токенами, строится отображение с помощью алгоритма Zhang–Shasha.

The problem is constructing the differences that arise on ${\mathrm{\LaTeX}}$ documents editing. Each document is represented as a parse tree whose nodes are called tokens. The smallest possible text representation of the document that does not change the syntax tree is constructed. All of the text is splitted into fragments whose boundaries correspond to tokens. A map of the initial text fragment sequence to the similar sequence of the edited document corresponding to the minimum distance is built with Hirschberg algorithm A map of text characters corresponding to the text fragment sequences map is cunstructed. Tokens, that chars are all deleted, or all inserted, or all not changed, are selected in the parse trees. The map for the trees formed with other tokens is built using Zhang–Shasha algorithm.

В работе рассматривается задача оценивания параметров временных рядов, описываемых регрессионными моделями с марковскими переключениями двух режимов в случайные моменты времени и независимыми гауссовскими шумами. Для решения предлагается вариант EM-алгоритма, основанный на итерационной процедуре, в ходе которой происходит чередование оценивания параметров регрессии при заданной последовательности переключений режимов и оценивания последовательности переключений при заданных параметрах моделей регрессии. В отличие от известных методов оценивания параметров регрессий с марковскими переключениями режимов, которые основаны на вычислении апостериорных вероятностей дискретных состояний последовательности переключений, в работе находятся оптимальные по критерию максимума апостериорной вероятности оценки процесса переключений. В результате предлагаемый алгоритм оказывается более простым и требует меньшее количество расчетов. Компьютерное моделирование позволяет выявить факторы, влияющие на точность оценивания. К таким факторам относятся число наблюдений, количество неизвестных параметров регрессии, степень их различия в разных режимах работы, а также величина отношения сигнала к шуму, которую в моделях регрессии можно связать с величиной коэффициента детерминации. Предложенный алгоритм применяется для задачи оценивания параметров в моделях регрессии для доходности индекса РТС в зависимости от доходностей индекса S&P 500 и акций «Газпрома» за период с 2013 года по 2018 год. Проводится сравнение оценок параметров, найденных с помощью предлагаемого алгоритма, с оценками, которые формируются с использованием эконометрического пакета EViews, и с оценками обычного метода наименьших квадратов без учета переключений режимов. Учет переключений позволяет получить более точное представление о структуре статистической зависимости исследуемых переменных. В моделях с переключениями рост отношения сигнала к шуму приводит к тому, что уменьшаются различия в оценках, вырабатываемых предлагаемым алгоритмом и с помощью программы EViews.

The paper considers the problem of estimating the parameters of time series described by regression models with Markov switching of two regimes at random instants of time with independent Gaussian noise. For the solution, we propose a variant of the EM algorithm based on the iterative procedure, during which an estimation of the regression parameters is performed for a given sequence of regime switching and an evaluation of the switching sequence for the given parameters of the regression models. In contrast to the well-known methods of estimating regression parameters in the models with Markov switching, which are based on the calculation of a posteriori probabilities of discrete states of the switching sequence, in the paper the estimates are calculated of the switching sequence, which are optimal by the criterion of the maximum of a posteriori probability. As a result, the proposed algorithm turns out to be simpler and requires less calculations. Computer modeling allows to reveal the factors influencing accuracy of estimation. Such factors include the number of observations, the number of unknown regression parameters, the degree of their difference in different modes of operation, and the signal-to-noise ratio which is associated with the coefficient of determination in regression models. The proposed algorithm is applied to the problem of estimating parameters in regression models for the rate of daily return of the RTS index, depending on the returns of the S&P 500 index and Gazprom shares for the period from 2013 to 2018. Comparison of the estimates of the parameters found using the proposed algorithm is carried out with the estimates that are formed using the EViews econometric package and with estimates of the ordinary least squares method without taking into account regimes switching. The account of regimes switching allows to receive more exact representation about structure of a statistical dependence of investigated variables. In switching models, the increase in the signal-to-noise ratio leads to the fact that the differences in the estimates produced by the proposed algorithm and using the EViews program are reduced.

Статья посвящена применению методов математического анализа, поиска паттернов и изучения состава нуклеотидов в последовательностях ДНК на геномном уровне. Изложены новые методы математической биологии, которые позволили обнаружить и отобразить скрытую упорядоченность генетических нуклеотидных последовательностей, находящихся в клетках живых организмов. Исследования основаны на работах по алгебраической биологии доктора физико-математических наук С. В. Петухова, которым впервые были введены и обоснованы новые алгебры и гиперкомплексные числовые системы, описывающие генетические явления. В данной работе описана новая фаза развития матричных методов в генетике для исследования свойств нуклеотидных последовательностей (и их физико-химических параметров), построенная на принципах конечной геометрии. Целью исследования является демонстрация возможностей новых алгоритмов и обсуждение обнаруженных свойств генетических молекул ДНК и РНК. Исследование включает три этапа: параметризация, масштабирование и визуализация. Параметризация — определение учитываемых параметров, которые основаны на структурных и физико-химических свойствах нуклеотидов как элементарных составных частей генома. Масштабирование играет роль «фокусировки» и позволяет исследовать генетические структуры в различных масштабах. Визуализация включает выбор осей координатной системы и способа визуального отображения. Представленные в работе алгоритмы выдвигаются на роль расширенного инструментария для развития научно-исследовательского программного обеспечения анализа длинных нуклеотидных последовательностей с возможностью отображения геномов в параметрических пространствах различной размерности. Одним из значимых результатов исследования является то, что были получены новые биологически интерпретируемые критерии классификации геномов различных живых организмов для выявления межвидовых взаимосвязей. Новая концепция позволяет визуально и численно оценить вариативность физико-химических параметров нуклеотидных последовательностей. Эта концепция также позволяет обосновать связь параметров молекул ДНК и РНК с фрактальными геометрическими мозаиками, обнаруживает упорядоченность и симметрии полинуклеотидов и их помехоустойчивость. Полученные результаты стали обоснованием для введения новых научных терминов: «генометрия» как методология вычислительных стратегий и «генометрика» как конкретные параметры того или иного генома или нуклеотидной последовательности. В связи с результатами исследования затронуты вопросы биосемиотики и уровни иерархичности организации живой материи.

The article is devoted to the application of various methods of mathematical analysis, search for patterns and studying the composition of nucleotides in DNA sequences at the genomic level. New methods of mathematical biology that made it possible to detect and visualize the hidden ordering of genetic nucleotide sequences located in the chromosomes of cells of living organisms described. The research was based on the work on algebraic biology of the doctor of physical and mathematical sciences S. V. Petukhov, who first introduced and justified new algebras and hypercomplex numerical systems describing genetic phenomena. This paper describes a new phase in the development of matrix methods in genetics for studying the properties of nucleotide sequences (and their physicochemical parameters), built on the principles of finite geometry. The aim of the study is to demonstrate the capabilities of new algorithms and discuss the discovered properties of genetic DNA and RNA molecules. The study includes three stages: parameterization, scaling, and visualization. Parametrization is the determination of the parameters taken into account, which are based on the structural and physicochemical properties of nucleotides as elementary components of the genome. Scaling plays the role of “focusing” and allows you to explore genetic structures at various scales. Visualization includes the selection of the axes of the coordinate system and the method of visual display. The algorithms presented in this work are put forward as a new toolkit for the development of research software for the analysis of long nucleotide sequences with the ability to display genomes in parametric spaces of various dimensions. One of the significant results of the study is that new criteria were obtained for the classification of the genomes of various living organisms to identify interspecific relationships. The new concept allows visually and numerically assessing the variability of the physicochemical parameters of nucleotide sequences. This concept also allows one to substantiate the relationship between the parameters of DNA and RNA molecules with fractal geometric mosaics, reveals the ordering and symmetry of polynucleotides, as well as their noise immunity. The results obtained justified the introduction of new terms: “genometry” as a methodology of computational strategies and “genometrica” as specific parameters of a particular genome or nucleotide sequence. In connection with the results obtained, biosemiotics and hierarchical levels of organization of living matter are raised.

Острые респираторные инфекции представляют собой серьезную проблему общественного здравоохранения, поскольку являются одной из причин заболеваемости и смерти во многих странах. В связи с этим существует большой интерес к разработке моделей и методов, позволяющих моделировать распространение этих инфекций в сообществах с целью контроля вспышек и предотвращения их распространения. Агентные модели (АМ) являются одним из важнейших инструментов эпидемиологических исследований для моделирования динамики эпидемий в реальных популяциях, но они сталкиваются со значительными трудностями, связанными с вычислительной сложностью при их использовании и калибровке эпидемиологических данных, поскольку оценка параметров обычно требует многократного моделирования в больших пространствах параметров для определения правдоподобных значений ключевых эпидемиологических показателей. В данной статье рассматривается проблема снижения вычислительных ограничений в обратной задаче калибровки АМ для моделирования распространения респираторных инфекций в Санкт-Петербурге. В статье предлагается применение суррогатного машинного обучения для связи траекторий эпидемий с лежащими в их основе эпидемиологическими параметрами, что позволяет быстро выводить оценки параметров на основе наблюдаемых эпидемических данных. Это достигается путем формулировки задачи калибровки АМ по эпидемиологическим данным как задачи контролируемого обучения, в которой последовательности, извлеченные из эпидемиологических траекторий, связываются с базовыми эпидемиологическими параметрами. Исследование было основано на оценке эффективности моделирования последовательностей на основе внимания, вероятностного глубокого обучения и распределительной регрессии для вывода оценок параметров из усеченных последовательностей эпидемических траекторий. Экспериментальные оценки продемонстрировали эффективность данного подхода и его практическое и простое применение. Результаты также указали на превосходство моделирования последовательностей на основе внимания, поскольку оно показало более стабильную производительность по всем метрикам и горизонтам, обеспечивая точную оценку параметров и достоверное количественное определение неопределенности. Моделирование распределительной регрессии также показало хорошую производительность, особенно с точки зрения точности точек, в то время как вероятностное глубокое обучение показало плохую производительность, особенно при более длительных входных горизонтах.

Acute respiratory infections are a major public health concern because they are the leading cause of illness and death in many countries. Therefore, there is great interest in developing models and methods capable of modeling the spread of these infections within communities, with the aim of controlling outbreaks and preventing their spread. Agent-based models (ABM) are one of the most important tools in epidemiological research for modeling epidemic dynamics in realistic populations, but they face significant challenges in terms of computational complexity in their operation and calibration of epidemiological data, as parameter estimation typically requires repeated simulations across large parameter spaces to determine plausible values for key epidemiological parameters. This paper addresses the problem of alleviating computational constraints in the inverse problem of calibrating an ABM model for simulating the spread of respiratory infections in Saint Petersburg. The paper proposes the application of machine learning surrogate to link epidemic trajectories to underlying epidemiological parameters, enabling them to quickly infer parameter estimates from observed epidemic data. This is done by formulating the task of calibrating ABMs against epidemiological data as a supervised learning problem, where sequences extracted from epidemiological trajectories are associated with underlying epidemiological parameters. The research was based on evaluating the performance of attention-based sequence modeling, probabilistic deep learning, and distributional regression for inferring parameter estimates from truncated sequences of epidemic trajectories. Experimental evaluations have demonstrated the effectiveness of this approach and its practical and straightforward application. The results also indicated the superiority of attention-based sequence modeling, as it showed more consistent performance across metrics and horizons in accurate parameter estimation and credible uncertainty quantification. Distributional regression modeling also showed good performance with specific strengths in point accuracy while probabilistic deep learning performed poorly, especially at longer input horizons.

В рамках данной работыбы ла продемонстрирована возможность использования характеристик профилей электростатического потенциала вдоль последовательностей ДНК для определения их функционального класса. Построенымо дели, позволяющие разделять промоторные и непромоторные последовательности (случайные бернуллиевские, кодирующие и псевдопромоторы) с точностью порядка 83–85%. Определены наиболее значимые участки для такого разделения, по-видимому играющие важную роль при ДНК-полимеразном узнавании.

The article is devoted to the idea of using physical properties of DNA instead of sequence along for the aspect of accurate search and annotation of various prokaryotic genomic regions. Particulary, the possibility to use electrostatic potential distribution around DNA sequence as a classifier for identification of a few functional DNA regions was demonstrated. A number of classification models was built providing discrimination of promoters and non-promoter regions (random sequences, coding regions and promoter-like sequences) with accuracy value about 83–85%. The most valueable regions for the discrimination were determined and expected to play a certain role in the process of DNA-recognition by RNA-polymerase.

Исследование влияния внешних полей на живые системы — одно их наиболее интересных и быстро развивающихся направлений современной биофизики. Однако механизмы такого воздействия до сих пор не совсем ясны. Один из подходов к изучению этого вопроса связывают с моделированием взаимодействия внешних полей с внутренней подвижностью биологических объектов. В настоящей работе этот подход применяется для исследования влияния внешних полей на движение локальных конформационных возмущений — кинков в молекуле ДНК. Понимая и учитывая, что в целом такая задача тесно связана с задачей о механизмах регуляции процессов жизнедеятельности клеток и клеточных систем, мы поставили задачу — исследовать физические механизмы, регулирующие движение кинков, а также ответить на вопрос, могут ли постоянные и периодические поля выступать в роли регуляторов этого движения. В работе рассматривается самый общий случай, когда постоянные и периодические поля включаются и выключаются асинхронно. Детально исследованы три варианта асинхронного включения/выключения. В первом варианте интервалы (или диапазоны) действия постоянного и периодического полей не перекрываются, во втором — перекрываются, а третьем — интервалы вложены друг в друга. Расчеты выполнялись для последовательности плазмиды pTTQ18. Движение кинков моделировалось уравнением МакЛафлина–Скотта, а коэффициенты этого уравнения рассчитывались в квазиоднородном приближении. Численные эксперименты показали, что постоянные и периодические поля оказывают существенное влияние на характер движения кинка и регулируют его. Так, включение постоянного поля приводит к быстрому увеличению скорости кинка и установлению стационарной скорости движения, а включение периодического поля приводит к установившимся колебаниям кинка с частотой внешнего периодического поля. Показано, что поведение кинка зависит от взаимного расположения диапазонов действия внешних полей. Причем, как оказалось, события, происходящие в одном диапазоне, могут оказывать влияние на события в другом временном диапазоне даже в том случае, когда диапазоны расположены достаточно далеко друг от друга. Показано, что перекрывание диапазонов действия постоянного и периодического полей приводит к значительному увеличению пути, проходимому кинком до полной остановки. Максимальный рост пути наблюдается в случае вложенных друг в друга диапазонов. В заключении обсуждается вопрос о том, как полученные модельные результаты могут быть связаны с важнейшей задачей биологии — задачей о механизмах регуляции процессов жизнедеятельности клеток и клеточных систем.

Investigation of the influence of external fields on living systems is one of the most interesting and rapidly developing areas of modern biophysics. However, the mechanisms of such an impact are still not entirely clear. One approach to the study of this issue is associated with modeling the interaction of external fields with internal mobility of biological objects. In this paper, this approach is used to study the effect of external fields on the motion of local conformational distortions — kinks, in the DNA molecule. Realizing and taking into account that on the whole this task is closely connected with the problem of the mechanisms of regulation of vital processes of cells and cellular systems, we set the problem — to investigate the physical mechanisms regulating the motion of kinks and also to answer the question whether permanent and periodic fields can play the role of regulators of this movement. The paper considers the most general case, when constant and periodic fields are switching on and off asynchronously. Three variants of asynchronous switching on/off are studied in detail. In the first variant, the time intervals (or diapasons) of the actions of the constant and periodic fields do not overlap, in the second — overlap, and in the third — the intervals are putting in each other. The calculations were performed for the sequence of plasmid pTTQ18. The kink motion was modeled by the McLaughlin–Scott equation, and the coefficients of the equation were calculated in a quasi-homogeneous approximation. Numerical experiments showed that constant and periodic fields exert a significant influence on the character of the kink motion and regulate it. So the switching on of a constant field leads to a rapid increase of the kink velocity and to the establishment of a stationary velocity of motion, and the switching on of a periodic field leads to the steady oscillations of the kink with the frequency of the external periodic field. It is shown that the behavior of the kink depends on the mutual arrangement of the diapasons of the action of the external fields. As it turned out, events occurring in one of the two diapasons can affect the events in the other diapason, even when the diapasons are sufficiently far apart. It is shown that the overlapping of the diapasons of action of the constant and periodic fields leads to a significant increase in the path traversed by the kink to a complete stop. Maximal growth of the path is observed when one diapason is putting in each other. In conclusion, the question of how the obtained model results could be related to the most important task of biology — the problem of the mechanisms of regulation of the processes of vital activity of cells and cellular systems is discussed.

Решение общей проблемы информационного взрыва связано с системами автоматической обработки цифровых данных, включая их распознавание, сортировку, содержательную обработку и представление в виде, приемлемом для восприятия человеком. Естественным решением является создание интеллектуальных систем извлечения знаний из неструктурированной информации. При этом явные успехи в области обработки структурированных данных контрастируют со скромными достижениями в области анализа неструктурированной информации, в частности в задачах обработки текстовых документов. В настоящее время данное направление находится в стадии интенсивных исследований и разработок. Данная работа представляет собой системный обзор международных и отечественных публикаций, посвященных ведущему тренду в области автоматической обработки потоков текстовой информации, а именно интеллектуальному анализу текстов или Text Mining (TM). Рассмотрены основные задачи и понятия TM, его место в области проблемы искусственного интеллекта, а также указаны сложности при обработке текстов на естественном языке (NLP), обусловленные слабой структурированностью и неоднозначностью лингвистической ин- формации. Описаны стадии предварительной обработки текстов, их очистка и селекция признаков, которые, наряду с результатами морфологического, синтаксического и семантического анализа, являются компонентами TM. Процесс интеллектуального анализа текстов представлен как отображение множества текстовых документов в «знания», т.е. в очищенную от избыточности и шума совокупность сведений, необходимых для решения конкретной прикладной задачи. На примере задачи трейдинга продемонстрирована формализация принятия торгового решения, основанная на совокупности аналитических рекомендаций. Типичными примерами TM являются задачи и технологии информационного поиска (IR), суммаризации текста, анализа тональности, классификации и кластеризации документов и т. п. Общим вопросом для всех методов TM является выбор типа словоформ и их производных, используемых для распознавания контента в последовательностях символов NL. На примере IR рассмотрены типовые алгоритмы поиска, основанные на простых словоформах, фразах, шаблонах и концептах, а также более сложные технологии, связанные с дополнением шаблонов синтаксической и семантической информацией. В общем виде дано описание механизмов NLP: морфологический, синтаксический, семантический и прагматический анализ. Приведен сравнительный анализ современных инструментов TM, позволяющий осуществить выбор платформы, исходя из особенности решаемой задачи и практических навыков пользователя.

In general, solving the information explosion problem can be delegated to systems for automatic processing of digital data. These systems are intended for recognizing, sorting, meaningfully processing and presenting data in formats readable and interpretable by humans. The creation of intelligent knowledge extraction systems that handle unstructured data would be a natural solution in this area. At the same time, the evident progress in these tasks for structured data contrasts with the limited success of unstructured data processing, and, in particular, document processing. Currently, this research area is undergoing active development and investigation. The present paper is a systematic survey on both Russian and international publications that are dedicated to the leading trend in automatic text data processing: Text Mining (TM). We cover the main tasks and notions of TM, as well as its place in the current AI landscape. Furthermore, we analyze the complications that arise during the processing of texts written in natural language (NLP) which are weakly structured and often provide ambiguous linguistic information. We describe the stages of text data preparation, cleaning, and selecting features which, alongside the data obtained via morphological, syntactic, and semantic analysis, constitute the input for the TM process. This process can be represented as mapping a set of text documents to «knowledge». Using the case of stock trading, we demonstrate the formalization of the problem of making a trade decision based on a set of analytical recommendations. Examples of such mappings are methods of Information Retrieval (IR), text summarization, sentiment analysis, document classification and clustering, etc. The common point of all tasks and techniques of TM is the selection of word forms and their derivatives used to recognize content in NL symbol sequences. Considering IR as an example, we examine classic types of search, such as searching for word forms, phrases, patterns and concepts. Additionally, we consider the augmentation of patterns with syntactic and semantic information. Next, we provide a general description of all NLP instruments: morphological, syntactic, semantic and pragmatic analysis. Finally, we end the paper with a comparative analysis of modern TM tools which can be helpful for selecting a suitable TM platform based on the user’s needs and skills.

Рассматривается технология создания паттернов из слов (понятий) естественного языка по текстовым данным в модели «мешок слов». Паттерны применяются для снижения размерности исходного пространства в описании документов и поиска семантически связанных слов по темам. Процесс снижения размерности реализуется через формирование по паттернам латентных признаков. Исследуется многообразие структур отношений документов для разбиения их на темы в латентном пространстве.

Считается, что заданное множество документов (объектов) разделено на два непересекающихся класса, для анализа которых необходимо использовать общий словарь. Принадлежность слов к общему словарю изначально неизвестна. Объекты классов рассматриваются в ситуации оппозиции друг к другу. Количественные параметры оппозиционности определяются через значения устойчивости каждого признака и обобщенные оценки объектов по непересекающимся наборам признаков.

Для вычисления устойчивости используются разбиения значений признаков на непересекающиеся интервалы, оптимальные границы которых определяются по специальному критерию. Максимум устойчивости достигается при условии, что в границах каждого интервала содержатся значения одного из двух классов.

Состав признаков в наборах (паттернах из слов) формируется из упорядоченной по значениям устойчивости последовательности. Процесс формирования паттернов и латентных признаков на их основе реализуется по правилам иерархической агломеративной группировки.

Набор латентных признаков используется для кластерного анализа документов по метрическим алгоритмам группировки. В процессе анализа применяется коэффициент контентной аутентичности на основе данных о принадлежности документов к классам. Коэффициент является численной характеристикой доминирования представителей классов в группах.

Для разбиения документов на темы предложено использовать объединение групп по отношению их центров. В качестве закономерностей по каждой теме рассматривается упорядоченная по частоте встречаемости последовательность слов из общего словаря.

Приводятся результаты вычислительного эксперимента на коллекциях авторефератов научных диссертаций. Сформированы последовательности слов из общего словаря по четырем темам.

The technology of creating patterns from natural language words (concepts) based on text data in the bag of words model is considered. Patterns are used to reduce the dimension of the original space in the description of documents and search for semantically related words by topic. The process of dimensionality reduction is implemented through the formation of patterns of latent features. The variety of structures of document relations is investigated in order to divide them into themes in the latent space.

It is considered that a given set of documents (objects) is divided into two non-overlapping classes, for the analysis of which it is necessary to use a common dictionary. The belonging of words to a common vocabulary is initially unknown. Class objects are considered as opposition to each other. Quantitative parameters of oppositionality are determined through the values of the stability of each feature and generalized assessments of objects according to non-overlapping sets of features.

To calculate the stability, the feature values are divided into non-intersecting intervals, the optimal boundaries of which are determined by a special criterion. The maximum stability is achieved under the condition that the boundaries of each interval contain values of one of the two classes.

The composition of features in sets (patterns of words) is formed from a sequence ordered by stability values. The process of formation of patterns and latent features based on them is implemented according to the rules of hierarchical agglomerative grouping.

A set of latent features is used for cluster analysis of documents using metric grouping algorithms. The analysis applies the coefficient of content authenticity based on the data on the belonging of documents to classes. The coefficient is a numerical characteristic of the dominance of class representatives in groups.

To divide documents into topics, it is proposed to use the union of groups in relation to their centers. As patterns for each topic, a sequence of words ordered by frequency of occurrence from a common dictionary is considered.

The results of a computational experiment on collections of abstracts of scientific dissertations are presented. Sequences of words from the general dictionary on 4 topics are formed.