Все выпуски

В последние годы моделирование социальных, социо-биологических и исторических процессов получило большое развитие. В настоящей работе на основе кинетического подхода моделируются исторические процессы: агрессивное вторжение нацистской Германии в Польшу, Францию и СССР. Показано, что изучаемая система нелинейных уравнений полностью интегрируема: общее решение строится в виде квадратур. Вторжение (блицкриг) описывается краевой задачей Коши для двухэлементной кинетической модели с однородными по двум частям пространства начальными условиями. Решение данной задачи имеет вид бегущей волны, а скорость смещения линии фронта зависит от отношения начальных концентраций войск. Полученные оценки скорости распространения фронта согласуются с историческими фактами.

Recently many investigations have been devoted to theoretical models in new areas concerning description of different biological, sociological and historical processes. In the present paper we investigate the nazi Germany invasion in Poland, France and USSR from the kinetic theory point of view. We model this process with the Cauchy boundary problem for the two-element kinetic equations with spatial uniform initial conditions. The solution of the problem is given in the form of the traveling wave and the propagation velocity of a frontline depends on the quotient between initial forces concentrations. Moreover it is obtained that the general solution of the model can be obtained in terms of the quadratures and elementary functions. Finally it is shown that the frontline velocities are complied with the historical data.

В рамках данной работыбы ла продемонстрирована возможность использования характеристик профилей электростатического потенциала вдоль последовательностей ДНК для определения их функционального класса. Построенымо дели, позволяющие разделять промоторные и непромоторные последовательности (случайные бернуллиевские, кодирующие и псевдопромоторы) с точностью порядка 83–85%. Определены наиболее значимые участки для такого разделения, по-видимому играющие важную роль при ДНК-полимеразном узнавании.

The article is devoted to the idea of using physical properties of DNA instead of sequence along for the aspect of accurate search and annotation of various prokaryotic genomic regions. Particulary, the possibility to use electrostatic potential distribution around DNA sequence as a classifier for identification of a few functional DNA regions was demonstrated. A number of classification models was built providing discrimination of promoters and non-promoter regions (random sequences, coding regions and promoter-like sequences) with accuracy value about 83–85%. The most valueable regions for the discrimination were determined and expected to play a certain role in the process of DNA-recognition by RNA-polymerase.

Представлена трехмерная гидродинамическая модель для описания пространственной структуры поля скорости ветра и турбулентного обмена в приземном слое атмосферы над неоднородным растительным покровом. Взаимодействие воздушного потока с растительностью моделировали с помощью теории контрастных структур. На основе модельных экспериментов на примере сплошной вырубки показано существенное влияние неоднородной растительности на поле скорости ветра и турбулентный обмен между земной поверхностью и атмосферой. Полученные результаты хорошо согласуются с данными полевых экспериментов и результатами выполненных ранее модельных расчетов с применением альтернативных моделей.

A three-dimensional (3D) hydrodynamic model to describe the spatial patterns of wind and turbulence characteristics in the atmospheric surface layer over inhomogeneous vegetation cover is presented. To describe the interaction of air flow with vegetation the theory of contrast structures is used. The numerical experiments provided by a developed model to assess the impact of small clear-cutting on wind and turbulent regime in the atmospheric surface layer showed a significant influence of heterogeneous vegetation on the wind field and the turbulent exchange processes between the land surface and the atmosphere. Obtained results give a reasonable agreement with field experimental data and results of numerical experiments provided using alternative models.

Сверхпластическая формовка сплавов на основе титана и никеля широко применяется в аэрокосмической промышленности. Основным преимуществом использования эффекта сверхпластичности является возможность формования материала до очень высоких деформаций при значительных растягивающих напряжений в материале. Представленная работа посвящена изучению возможности программного комплекса, основанного на методе конечных элементов, SFTC DEFORM прогнозировать разнотолщинность наноструктурного сплава ВТ6 при низкотемпературной сверхпластической формовке. Экспериментально разнотолщинность при свехпластической формовке наблюдается при локализации пластического течения и усугубляется локальным разупрочнением материала, которое обусловлено структурными изменениями. Для анализа экспериментально наблюдаемого течения металла была построена теоретическая модель. При расчете использовались два подхода. Первый подход включал использование интегрированной в программный комплекс модели ползучести. Так как эффект сверхпластичности наблюдается только в материалах с ультрамелкозернистой структурой, второй подход заключался в разработке комбинированной реологической модели материала с учетом структурного состояния. С помощью пользовательского программирования на языке Fortran уравнения реологической модели с учетом структурных превращений были интегрированы в DEFORM на солверном уровне. Использование КЭ-моделирования для подобных задач позволяет оценивать скорость деформации в разных точках заготовки, что является важным для поддержания состояния сверхпластичности в материале. Сопоставление применяемых моделей пластического течения позволило выявить влияние эволюции микроструктуры на течение сплава в режиме сверхпластичности. Результаты моделирования и теоретические выводы подтверждаются результатами стандартного испытания по Эриксону. В результате проведения работы было установлено следующее: а) программный пакет DEFORM позволяет спрогнозировать формообразование при низкотемпературной сверхпластичности; б) для повышения достоверности прогнозирования мест локализации деформации при сверхпластической деформации СМК материалов необходимо учитывать влияние измерения микроструктурного состояния и его влияние на свойства материалов в процессе деформирования.

Superplastic forming of Ni and Ti based alloys is widely used in aerospace industry. The main advantage of using the effect of superplasticity in sheet metal forming processes is a feasibility of forming materials with a high amount of plastic strain in conditions of prevailing tensile stresses. This article is dedicated to study commercial FEM software SFTC DEFORM application for prediction thickness deviation during low temperature superplastic forming of UFG Ti-6-4 alloy. Experimentally, thickness deviation during superplastic forming can be observed in the local area of plastic deformation and this process is aggravated by local softening of the metal and this is stipulated by microstructure coarsening. The theoretical model was prepared to analyze experimentally observed metal flow. Two approaches have been used for that. The first one is the using of integrated creep rheology model in DEFORM. As superplastic effect is observed only in materials with fine and ultrafine grain sizes the second approach is carried out using own user procedures for rheology model which is based on microstructure evolution equations. These equations have been implemented into DEFORM via Fortran user’s solver subroutines. Using of FEM simulation for this type of forming allows tracking a strain rate in different parts of a workpiece during a process, which is crucial for maintaining the superplastic conditions. Comparison of these approaches allows us to make conclusions about effect of microstructure evolution on metal flow during superplastic deformation. The results of the FEM analysis and theoretical conclusions have been approved by results of the conducted Erichsen test. The main issues of this study are as follows: a) the DEFORM software allows an engineer to predict formation of metal shape under the condition of low-temperature superplasticity; b) in order to augment the accuracy of the prediction of local deformations, the effect of the microstructure state of an alloy having sub-microcristalline structure should be taken into account in the course of calculations in the DEFORM software.

Исследование влияния внешних полей на живые системы — одно их наиболее интересных и быстро развивающихся направлений современной биофизики. Однако механизмы такого воздействия до сих пор не совсем ясны. Один из подходов к изучению этого вопроса связывают с моделированием взаимодействия внешних полей с внутренней подвижностью биологических объектов. В настоящей работе этот подход применяется для исследования влияния внешних полей на движение локальных конформационных возмущений — кинков в молекуле ДНК. Понимая и учитывая, что в целом такая задача тесно связана с задачей о механизмах регуляции процессов жизнедеятельности клеток и клеточных систем, мы поставили задачу — исследовать физические механизмы, регулирующие движение кинков, а также ответить на вопрос, могут ли постоянные и периодические поля выступать в роли регуляторов этого движения. В работе рассматривается самый общий случай, когда постоянные и периодические поля включаются и выключаются асинхронно. Детально исследованы три варианта асинхронного включения/выключения. В первом варианте интервалы (или диапазоны) действия постоянного и периодического полей не перекрываются, во втором — перекрываются, а третьем — интервалы вложены друг в друга. Расчеты выполнялись для последовательности плазмиды pTTQ18. Движение кинков моделировалось уравнением МакЛафлина–Скотта, а коэффициенты этого уравнения рассчитывались в квазиоднородном приближении. Численные эксперименты показали, что постоянные и периодические поля оказывают существенное влияние на характер движения кинка и регулируют его. Так, включение постоянного поля приводит к быстрому увеличению скорости кинка и установлению стационарной скорости движения, а включение периодического поля приводит к установившимся колебаниям кинка с частотой внешнего периодического поля. Показано, что поведение кинка зависит от взаимного расположения диапазонов действия внешних полей. Причем, как оказалось, события, происходящие в одном диапазоне, могут оказывать влияние на события в другом временном диапазоне даже в том случае, когда диапазоны расположены достаточно далеко друг от друга. Показано, что перекрывание диапазонов действия постоянного и периодического полей приводит к значительному увеличению пути, проходимому кинком до полной остановки. Максимальный рост пути наблюдается в случае вложенных друг в друга диапазонов. В заключении обсуждается вопрос о том, как полученные модельные результаты могут быть связаны с важнейшей задачей биологии — задачей о механизмах регуляции процессов жизнедеятельности клеток и клеточных систем.

Investigation of the influence of external fields on living systems is one of the most interesting and rapidly developing areas of modern biophysics. However, the mechanisms of such an impact are still not entirely clear. One approach to the study of this issue is associated with modeling the interaction of external fields with internal mobility of biological objects. In this paper, this approach is used to study the effect of external fields on the motion of local conformational distortions — kinks, in the DNA molecule. Realizing and taking into account that on the whole this task is closely connected with the problem of the mechanisms of regulation of vital processes of cells and cellular systems, we set the problem — to investigate the physical mechanisms regulating the motion of kinks and also to answer the question whether permanent and periodic fields can play the role of regulators of this movement. The paper considers the most general case, when constant and periodic fields are switching on and off asynchronously. Three variants of asynchronous switching on/off are studied in detail. In the first variant, the time intervals (or diapasons) of the actions of the constant and periodic fields do not overlap, in the second — overlap, and in the third — the intervals are putting in each other. The calculations were performed for the sequence of plasmid pTTQ18. The kink motion was modeled by the McLaughlin–Scott equation, and the coefficients of the equation were calculated in a quasi-homogeneous approximation. Numerical experiments showed that constant and periodic fields exert a significant influence on the character of the kink motion and regulate it. So the switching on of a constant field leads to a rapid increase of the kink velocity and to the establishment of a stationary velocity of motion, and the switching on of a periodic field leads to the steady oscillations of the kink with the frequency of the external periodic field. It is shown that the behavior of the kink depends on the mutual arrangement of the diapasons of the action of the external fields. As it turned out, events occurring in one of the two diapasons can affect the events in the other diapason, even when the diapasons are sufficiently far apart. It is shown that the overlapping of the diapasons of action of the constant and periodic fields leads to a significant increase in the path traversed by the kink to a complete stop. Maximal growth of the path is observed when one diapason is putting in each other. In conclusion, the question of how the obtained model results could be related to the most important task of biology — the problem of the mechanisms of regulation of the processes of vital activity of cells and cellular systems is discussed.

Статья посвящена моделированию динамики численности занятого населения по отраслям экономики как на национальном, так и на региональном уровне. Отсутствие целевого распределения работников в рыночной экономике требует исследования системных процессов на рынке труда, приводящих к различной динамике численности занятых в отраслях экономики. В этом случае значимыми становятся личные стратегии выбора трудовой деятельности экономическими агентами. Наличие различных стратегий приводит к появлению страт на рынке труда с динамично изменяющейся численностью занятых, неравномерно распределенной между отраслями экономики. В результате этого могут наблюдаться нелинейные колебания численности занятого населения, для исследования которых релевантен инструментарий агент-ориентированного моделирования. В статье на примере Еврейской автономной области рассмотрены синхронные и противофазные колебания численности занятых по видам экономической деятельности, обнаруженные во временных рядах статистических данных для 2008–2016 гг. Показано, что такие колебания наблюдаются по возрастным группам работников. Ввиду этого выдвинута гипотеза о том, что агент на рынке труда при выборе места работы руководствуется стратегией, характерной для его возрастной группы, что в итоге прямо влияет на распределение численности занятых различных когорт и общую численность занятых в отраслях экономики. При этом стратегия определяется исходя из социально-экономических характеристик отраслей (различного уровня оплаты труда, условий труда, престижа профессии). Для проверки гипотезы построена базовая агент-ориентированная модель трехотраслевой экономики, в которой учтены различные стратегии экономических агентов, включающие выбор наибольшей заработной платы, наиболее высокого престижа профессии и наилучших условий труда. В результате численных экспериментов показано, что наличие различных стратегий выбора отрасли в совокупности с возрастными предпочтениями работодателей внутри отрасли приводит к периодическим и сложным режимам динамики численности разновозрастных занятых. Такие возрастные предпочтения могут быть вызваны, например, требованием работодателя к наличию трудового стажа и образования. Также сущетвенные изменения возрастной структуры занятого населения могут возникнуть вследствие миграции.

The article deals with the modeling of the number of employed population by branches of the economy at the national and regional levels. The lack of targeted distribution of workers in a market economy requires the study of systemic processes in the labor market that lead to different dynamics of the number of employed in the sectors of the economy. In this case, personal strategies for choosing labor activity by economic agents become important. The presence of different strategies leads to the emergence of strata in the labor market with a dynamically changing number of employees, unevenly distributed among the sectors of the economy. As a result, non-linear fluctuations in the number of employed population can be observed, the toolkit of agentbased modeling is relevant for the study of the fluctuations. In the article, we examined in-phase and anti-phase fluctuations in the number of employees by economic activity on the example of the Jewish Autonomous Region in Russia. The fluctuations found in the time series of statistical data for 2008–2016. We show that such fluctuations appear by age groups of workers. In view of this, we put forward a hypothesis that the agent in the labor market chooses a place of work by a strategy, related with his age group. It directly affects the distribution of the number of employed for different cohorts and the total number of employed in the sectors of the economy. The agent determines the strategy taking into account the socio-economic characteristics of the branches of the economy (different levels of wages, working conditions, prestige of the profession). We construct a basic agentoriented model of a three-branch economy to test the hypothesis. The model takes into account various strategies of economic agents, including the choice of the highest wages, the highest prestige of the profession and the best working conditions by the agent. As a result of numerical experiments, we show that the availability of various industry selection strategies and the age preferences of employers within the industry lead to periodic and complex dynamics of the number of different-aged employees. Age preferences may be a consequence, for example, the requirements of employer for the existence of work experience and education. Also, significant changes in the age structure of the employed population may result from migration.

В представленной статье мы исследуем процесс изменения рейтинга одобрения политического лидера под влиянием процессов, протекающих в цифровом публичном пространстве. Драйвером указанных изменений служит взаимодействие пользователей онлайн-площадок (информационных и новостных ресурсов, блогов, социальных сетей), в результате которого они могут обмениваться друг с другом мнениями и формулировать свою позицию в отношении политика. Помимо межличностного взаимодействия мы рассмотрим такие факторы, как информационное воздействие, выражающееся в создании информационного потока, имеющего заданную мощность и тональность (положительную или отрицательную, в контексте влияния на имидж политического лидера), а также наличие группы агентов (лидеров мнений), оказывающих поддержку политику или же, наоборот, негативно влияющих на его представление в медийном пространстве.

Математической основой представленного исследования является модель Кирмана, имеющая истоки в биологии и первоначально нашедшая свое применение в экономике. В рамках даннойм одели считается, что каждый участник находится в одном из двух возможных состояний, а также задается скачкообразный марковский процесс, описывающий переходы между этими состояниями. Для рассматриваемой нами задачи данными состояниями являются 0 или 1, в зависимости от того, является ли конкретный агент сторонником политика и одобряет его деятельность или же нет. Пользуясь аппаратом теории марковских процессов, мы находим его диффузионное приближение, известное как процесс Якоби. При помощи спектрального разложения для инфинитезимального оператора данного процесса мы имеем возможность найти аналитическое представление для плотности переходных вероятностей.

Анализируя вероятности, полученные указанным образом, можно оценить влияние отдельных факторов модели: мощность и тональность новостных сообщений, доступных для пользователей онлайн-пространства и релевантных для задач формирования рейтинга, а также численности сторонников или противников политика. Далее, пользуясь найденными собственными функциями и значениями, мы выводим выражения для оценки условных математических ожиданий рейтинга политика, что может служить основой для построения прогнозов, важных для задач формирования стратегии представления политического лидера в онлайн-среде.

In the present article we explore the process of changing the level of approval of a political leader under the influence of the processes taking place in online platforms (social networks, forums, etc.). The driver of these changes is the interaction of users, through which they can exchange opinions with each other and formulate their position in relation to the political leader. In addition to interpersonal interaction, we will consider such factors as the information impact, expressed in the creation of an information flow with a given power and polarity (positive or negative, in the context of influencing the image of a political leader), as well as the presence of a group of agents (opinion leaders), supporting the leader, or, conversely, negatively affecting its representation in the media space.

The mathematical basis of the presented research is the Kirman model, which has its roots in biology and initially found its application in economics. Within the framework of this model it is considered that each user is in one of the two possible states, and a Markov jump process describing transitions between these states is given. For the problem under consideration, these states are 0 or 1, depending on whether a particular agent is a supporter of a political leader or not. For further research, we find its diffusional approximation, known as the Jacoby process. With the help of spectral decomposition for the infinitesimal operator of this process we have an opportunity to find an analytical representation for the transition probability density.

Analyzing the probabilities obtained in this way, we can assess the influence of individual factors of the model: the power and direction of the information flow, available to online users and relevant to the tasks of rating formation, as well as the number of supporters or opponents of the politician. Next, using the found eigenfunctions and eigenvalues, we derive expressions for the evaluation of conditional mathematical expectations of a politician’s rating, which can serve as a basis for building forecasts that are important for the formation of a strategy of representing a political leader in the online environment.

В предлагаемой публикации используется объединение оптимизационного подхода общего равновесия, позволяющего объяснить поведение спроса, предложения и цен в экономике с несколькими взаимодействующими рынками, и мультиагентного имитационного подхода, формализующего поведение домашних хозяйств. Интегрирование двух этих подходов рассматривается на примере динамической стохастической модели, включающей теневой, неформальный и сектор домашних хозяйств, производящих блага для собственного потребления. Синтеза гентного подхода и подхода общего равновесия осуществляется с помощью компьютерной реализации рекурсивной обратной связи между микроагентами и макросредой. В предлагаемом исследовании для реализации взаимодействия микроагентов с макросредой используется один из самых популярных подходов, аппроксимирующий распределение доходов индивидуальных агентов дискретным и конечным набором моментов. Особенностью алгоритма реализации рекурсивной обратной связи является получение индивидуальных поведенческих функций микроагентов при их взаимодействии с макросредой, имитационное моделирование с помощью метода Монте-Карло индивидуальных доходов всей совокупности агентов с последующей агрегацией доходов. Параметры модели оцениваются с помощью байесовской эконометрики на статистических данных экономики России. Исходя изс равнения функций правдоподобия, сделан вывод, что исследуемая модель с неоднородными агентами более адекватно описывает эмпирические данные российской экономики. Поведение функций импульсного отклика основных переменных модели свидетельствует об антициклическом характере политики, связанной с наличием теневых секторов экономики (включая неформальный сектор и сектор производства домохозяйств) во время рецессий. Важным фактором является также то, что индивидуальность в поведении агентов способствует повышению эластичности предложения труда в исследуемых секторах экономики. Научной новизной исследования является объединение мультиагентного подхода и подхода общего равновесия для моделирования макроэкономических процессов на региональном и национальном уровне. Перспективы дальнейших исследований могут быть связаны с моделированием и компьютерной реализацией большего числа источников гетерогенности, позволяющих, в частности, описать поведение неоднородных групп агентов в секторах, связанных с производством товаров и услуг.

This article discusses the influence of the shadow, informal and household sectors on the dynamics of a stochastic model with heterogeneous (heterogeneous) agents. The study uses the integration of the general equilibrium approach to explain the behavior of demand, supply and prices in an economy with several interacting markets, and a multi-agent approach. The analyzed model describes an economy with aggregated uncertainty and with an infinite number of heterogeneous agents (households). The source of heterogeneity is the idiosyncratic income shocks of agents in the legal and shadow sectors of the economy. In the analysis, an algorithm is used to approximate the dynamics of the distribution function of the capital stocks of individual agents — the dynamics of its first and second moments. The synthesis of the agent approach and the general equilibrium approach is carried out using computer implementation of the recursive feedback between microagents and macroenvironment. The behavior of the impulse response functions of the main variables of the model confirms the positive influence of the shadow economy (below a certain limit) on minimizing the rate of decline in economic indicators during recessions, especially for developing economies. The scientific novelty of the study is the combination of a multi-agent approach and a general equilibrium approach for modeling macroeconomic processes at the regional and national levels. Further research prospects may be associated with the use of more detailed general equilibrium models, which allow, in particular, to describe the behavior of heterogeneous groups of agents in the entrepreneurial sector of the economy.

Segmentation of medical image is one of the most challenging tasks in analysis of medical image. It classifies the organs pixels or lesions from medical images background like MRI or CT scans, that is to provide critical information about the human organ’s volumes and shapes. In scientific imaging field, medical imaging is considered one of the most important topics due to the rapid and continuing progress in computerized medical image visualization, advances in analysis approaches and computer-aided diagnosis. Digital image processing becomes more important in healthcare field due to the growing use of direct digital imaging systems for medical diagnostics. Due to medical imaging techniques, approaches of image processing are now applicable in medicine. Generally, various transformations will be needed to extract image data. Also, a digital image can be considered an approximation of a real situation includes some uncertainty derived from the constraints on the process of vision. Since information on the level of uncertainty will influence an expert’s attitude. To address this challenge, we propose novel framework involving interval concept that consider a good tool for dealing with the uncertainty, In the proposed approach, the medical images are transformed into interval valued representation approach and entropies are defined for an image object and background. Then we determine a threshold for lower-bound image and for upper-bound image, and then calculate the mean value for the final output results. To demonstrate the effectiveness of the proposed framework, we evaluate it by using synthetic image and its ground truth. Experimental results showed how performance of the segmentation-based entropy threshold can be enhanced using proposed approach to overcome ambiguity.

Segmentation of medical image is one of the most challenging tasks in analysis of medical image. It classifies the organs pixels or lesions from medical images background like MRI or CT scans, that is to provide critical information about the human organ’s volumes and shapes. In scientific imaging field, medical imaging is considered one of the most important topics due to the rapid and continuing progress in computerized medical image visualization, advances in analysis approaches and computer-aided diagnosis. Digital image processing becomes more important in healthcare field due to the growing use of direct digital imaging systems for medical diagnostics. Due to medical imaging techniques, approaches of image processing are now applicable in medicine. Generally, various transformations will be needed to extract image data. Also, a digital image can be considered an approximation of a real situation includes some uncertainty derived from the constraints on the process of vision. Since information on the level of uncertainty will influence an expert’s attitude. To address this challenge, we propose novel framework involving interval concept that consider a good tool for dealing with the uncertainty, In the proposed approach, the medical images are transformed into interval valued representation approach and entropies are defined for an image object and background. Then we determine a threshold for lower-bound image and for upper-bound image, and then calculate the mean value for the final output results. To demonstrate the effectiveness of the proposed framework, we evaluate it by using synthetic image and its ground truth. Experimental results showed how performance of the segmentation-based entropy threshold can be enhanced using proposed approach to overcome ambiguity.

Решение общей проблемы информационного взрыва связано с системами автоматической обработки цифровых данных, включая их распознавание, сортировку, содержательную обработку и представление в виде, приемлемом для восприятия человеком. Естественным решением является создание интеллектуальных систем извлечения знаний из неструктурированной информации. При этом явные успехи в области обработки структурированных данных контрастируют со скромными достижениями в области анализа неструктурированной информации, в частности в задачах обработки текстовых документов. В настоящее время данное направление находится в стадии интенсивных исследований и разработок. Данная работа представляет собой системный обзор международных и отечественных публикаций, посвященных ведущему тренду в области автоматической обработки потоков текстовой информации, а именно интеллектуальному анализу текстов или Text Mining (TM). Рассмотрены основные задачи и понятия TM, его место в области проблемы искусственного интеллекта, а также указаны сложности при обработке текстов на естественном языке (NLP), обусловленные слабой структурированностью и неоднозначностью лингвистической ин- формации. Описаны стадии предварительной обработки текстов, их очистка и селекция признаков, которые, наряду с результатами морфологического, синтаксического и семантического анализа, являются компонентами TM. Процесс интеллектуального анализа текстов представлен как отображение множества текстовых документов в «знания», т.е. в очищенную от избыточности и шума совокупность сведений, необходимых для решения конкретной прикладной задачи. На примере задачи трейдинга продемонстрирована формализация принятия торгового решения, основанная на совокупности аналитических рекомендаций. Типичными примерами TM являются задачи и технологии информационного поиска (IR), суммаризации текста, анализа тональности, классификации и кластеризации документов и т. п. Общим вопросом для всех методов TM является выбор типа словоформ и их производных, используемых для распознавания контента в последовательностях символов NL. На примере IR рассмотрены типовые алгоритмы поиска, основанные на простых словоформах, фразах, шаблонах и концептах, а также более сложные технологии, связанные с дополнением шаблонов синтаксической и семантической информацией. В общем виде дано описание механизмов NLP: морфологический, синтаксический, семантический и прагматический анализ. Приведен сравнительный анализ современных инструментов TM, позволяющий осуществить выбор платформы, исходя из особенности решаемой задачи и практических навыков пользователя.

In general, solving the information explosion problem can be delegated to systems for automatic processing of digital data. These systems are intended for recognizing, sorting, meaningfully processing and presenting data in formats readable and interpretable by humans. The creation of intelligent knowledge extraction systems that handle unstructured data would be a natural solution in this area. At the same time, the evident progress in these tasks for structured data contrasts with the limited success of unstructured data processing, and, in particular, document processing. Currently, this research area is undergoing active development and investigation. The present paper is a systematic survey on both Russian and international publications that are dedicated to the leading trend in automatic text data processing: Text Mining (TM). We cover the main tasks and notions of TM, as well as its place in the current AI landscape. Furthermore, we analyze the complications that arise during the processing of texts written in natural language (NLP) which are weakly structured and often provide ambiguous linguistic information. We describe the stages of text data preparation, cleaning, and selecting features which, alongside the data obtained via morphological, syntactic, and semantic analysis, constitute the input for the TM process. This process can be represented as mapping a set of text documents to «knowledge». Using the case of stock trading, we demonstrate the formalization of the problem of making a trade decision based on a set of analytical recommendations. Examples of such mappings are methods of Information Retrieval (IR), text summarization, sentiment analysis, document classification and clustering, etc. The common point of all tasks and techniques of TM is the selection of word forms and their derivatives used to recognize content in NL symbol sequences. Considering IR as an example, we examine classic types of search, such as searching for word forms, phrases, patterns and concepts. Additionally, we consider the augmentation of patterns with syntactic and semantic information. Next, we provide a general description of all NLP instruments: morphological, syntactic, semantic and pragmatic analysis. Finally, we end the paper with a comparative analysis of modern TM tools which can be helpful for selecting a suitable TM platform based on the user’s needs and skills.