Все выпуски

Данная работа нацелена на программистов и разработчики, заинтересованных в использовании технологии параллельного программирования для увеличения производительности приложений. Программное обеспечение Oracle Solaris Studio обеспечивает современную оптимизацию и распараллеливание компиляторов для языков C, C ++ и ФОРТРАН, продвинутый отладчик, и оптимизированные математи- ческие и быстродействующие библиотеки. Также включены чрезвычайно мощный инструмент анализа производительности для профилирования последовательных и параллельных приложений, инструмент анализа для обнаружения состязания при передаче данных и блокировки в памяти параллельных программ и IDE. Программное обеспечение Oracle Message Passing Toolkit обеспечивает высокопроизводительные MPI библиотеки и сопряжённую среду во время работы программы, необходимую для приложений передачи сообщений, которые могут работать на одной системе или по всему множеству вычислительных систем с высокопроизводительным сетевым оснащением, включая Gigabit Ethernet, 10 Gigabit Ethernet, InfiniBand и Myrinet. Примеры OpenMP и MPI представлены по всему тексту работы, включая их использование через программные продукты Oracle Solaris Studio и Oracle Message Passing Toolkit для развития и развертывания последовательных и параллельных приложений на основе систем SPARC и x86/x64. В работе продемонстрировано, как развивать и развертывать приложение, распараллеленное с OpenMP и/или MPI.

This paper targets programmers and developers interested in utilizing parallel programming techniques to enhance application performance. The Oracle Solaris Studio software provides state-of-the-art optimizing and parallelizing compilers for C, C++ and Fortran, an advanced debugger, and optimized mathematical and performance libraries. Also included are an extremely powerful performance analysis tool for profiling serial and parallel applications, a thread analysis tool to detect data races and deadlock in memory parallel programs, and an Integrated Development Environment (IDE). The Oracle Message Passing Toolkit software provides the high-performance MPI libraries and associated run-time environment needed for message passing applications that can run on a single system or across multiple compute systems connected with high performance networking, including Gigabit Ethernet, 10 Gigabit Ethernet, InfiniBand and Myrinet. Examples of OpenMP and MPI are provided throughout the paper, including their usage via the Oracle Solaris Studio and Oracle Message Passing Toolkit products for development and deployment of both serial and parallel applications on SPARC and x86/x64 based systems. Throughout this paper it is demonstrated how to develop and deploy an application parallelized with OpenMP and/or MPI.

Представлена трехмерная гидродинамическая модель для описания пространственной структуры поля скорости ветра и турбулентного обмена в приземном слое атмосферы над неоднородным растительным покровом. Взаимодействие воздушного потока с растительностью моделировали с помощью теории контрастных структур. На основе модельных экспериментов на примере сплошной вырубки показано существенное влияние неоднородной растительности на поле скорости ветра и турбулентный обмен между земной поверхностью и атмосферой. Полученные результаты хорошо согласуются с данными полевых экспериментов и результатами выполненных ранее модельных расчетов с применением альтернативных моделей.

A three-dimensional (3D) hydrodynamic model to describe the spatial patterns of wind and turbulence characteristics in the atmospheric surface layer over inhomogeneous vegetation cover is presented. To describe the interaction of air flow with vegetation the theory of contrast structures is used. The numerical experiments provided by a developed model to assess the impact of small clear-cutting on wind and turbulent regime in the atmospheric surface layer showed a significant influence of heterogeneous vegetation on the wind field and the turbulent exchange processes between the land surface and the atmosphere. Obtained results give a reasonable agreement with field experimental data and results of numerical experiments provided using alternative models.

Частота сердечных сокращений (ЧСС) является наиболее доступным для измерения показателем. С целью контроля индивидуальной реакции на нагрузочность физических упражнений ЧСС измеряется при выполнении спортсменами мышечной работы разных типов (работа на силовых тренажерах, различные виды тренировочных и соревновательных нагрузок). По величине ЧСС и динамике ее изменения при мышечной работе и восстановлении можно объективно судить о функциональном состоянии сердечно-сосудистой системы спортсмена, об уровне его индивидуальной физической работоспособности, а также об адаптивной реакции на ту или иную физическую нагрузку. Однако ЧСС не является самостоятельным детерминантом физического состояния спортсмена. Величина ЧСС формируется в результате взаимодействия основных физиологических механизмов, определяющих гемодинамический режим сердечного выброса. Сердечный ритм зависит, с одной стороны, от сократимости сердца, от венозного возврата, от объемов предсердий и желудочков сердца, а с другой стороны — от сосудистой нагрузки сердца, основными компонентами которой являются эластическое и периферическое сопротивление артериальной системы. Величины сосудистых сопротивлений артериальной системы зависят от мощности мышечной работы и времени ее выполнения. Чувствительность ЧСС к изменениям сосудистой нагрузки сердца и его сократимости определялась у спортсменов по результатам парного регрессионного анализа одновременно зарегистрированных данных ЧСС, периферического $(R)$ и эластического $(E_a)$ сопротивлений (сосудистая нагрузка сердца), а также механической мощности $(W)$ сердечных сокращений (сократимость сердца). Коэффициенты чувствительности и коэффициенты парной корреляции между ЧСС и показателями сосудистой нагрузки и сократимости левого желудочка сердца спортсмена определялись в покое и при выполнении мышечной работы на велоэргометре. Показано, что с ростом мощности велоэргометрической нагрузки и увеличением ЧСС возрастают также коэффициенты корреляции и чувствительности между ЧСС и показателями сосудистой нагрузки сердца $(R, E_a)$ и его сократимости $(W)$.

Heart rate (HR) is the most affordable indicator for measuring. In order to control the individual response to physical exercises of different load types heart rate is measured when the athletes perform different types of muscular work (strength machines, various types of training and competitive exercises). The magnitude of heart rate and its dynamics during muscular work and recovery can be objectively judged on the functional status of the cardiovascular system of an athlete, the level of its individual physical performance, as well as an adaptive response to a particular exercise. However, the heart rate is not an independent determinant of the physical condition of an athlete. HR size is formed by the interaction of the basic physiological mechanisms underlying cardiac hemodynamic ejection mode. Heart rate depends on one hand, on contractility of the heart, the venous return, the volumes of the atria and ventricles of the heart and from vascular heart load, the main components of which are elastic and peripheral resistance of the arterial system on the other hand. The values of arterial system vascular resistances depend on the power of muscular work and its duration. HR sensitivity to changes in heart load and vascular contraction was determined in athletes by pair regression analysis simultaneously recorded heart rate data, and peripheral $(R)$ and elastic $(E_a)$ resistance (heart vascular load), and the power $(W)$ of heartbeats (cardiac contractility). The coefficients of sensitivity and pair correlation between heart rate indicators and vascular load and contractility of left ventricle of the heart were determined in athletes at rest and during the muscular work on the cycle ergometer. It is shown that increase in both ergometer power load and heart rate is accompanied by the increase of correlation coefficients and coefficients of the heart rate sensitivity to $R$, $E_a$ and $W$.

Статья посвящена моделированию динамики численности занятого населения по отраслям экономики как на национальном, так и на региональном уровне. Отсутствие целевого распределения работников в рыночной экономике требует исследования системных процессов на рынке труда, приводящих к различной динамике численности занятых в отраслях экономики. В этом случае значимыми становятся личные стратегии выбора трудовой деятельности экономическими агентами. Наличие различных стратегий приводит к появлению страт на рынке труда с динамично изменяющейся численностью занятых, неравномерно распределенной между отраслями экономики. В результате этого могут наблюдаться нелинейные колебания численности занятого населения, для исследования которых релевантен инструментарий агент-ориентированного моделирования. В статье на примере Еврейской автономной области рассмотрены синхронные и противофазные колебания численности занятых по видам экономической деятельности, обнаруженные во временных рядах статистических данных для 2008–2016 гг. Показано, что такие колебания наблюдаются по возрастным группам работников. Ввиду этого выдвинута гипотеза о том, что агент на рынке труда при выборе места работы руководствуется стратегией, характерной для его возрастной группы, что в итоге прямо влияет на распределение численности занятых различных когорт и общую численность занятых в отраслях экономики. При этом стратегия определяется исходя из социально-экономических характеристик отраслей (различного уровня оплаты труда, условий труда, престижа профессии). Для проверки гипотезы построена базовая агент-ориентированная модель трехотраслевой экономики, в которой учтены различные стратегии экономических агентов, включающие выбор наибольшей заработной платы, наиболее высокого престижа профессии и наилучших условий труда. В результате численных экспериментов показано, что наличие различных стратегий выбора отрасли в совокупности с возрастными предпочтениями работодателей внутри отрасли приводит к периодическим и сложным режимам динамики численности разновозрастных занятых. Такие возрастные предпочтения могут быть вызваны, например, требованием работодателя к наличию трудового стажа и образования. Также сущетвенные изменения возрастной структуры занятого населения могут возникнуть вследствие миграции.

The article deals with the modeling of the number of employed population by branches of the economy at the national and regional levels. The lack of targeted distribution of workers in a market economy requires the study of systemic processes in the labor market that lead to different dynamics of the number of employed in the sectors of the economy. In this case, personal strategies for choosing labor activity by economic agents become important. The presence of different strategies leads to the emergence of strata in the labor market with a dynamically changing number of employees, unevenly distributed among the sectors of the economy. As a result, non-linear fluctuations in the number of employed population can be observed, the toolkit of agentbased modeling is relevant for the study of the fluctuations. In the article, we examined in-phase and anti-phase fluctuations in the number of employees by economic activity on the example of the Jewish Autonomous Region in Russia. The fluctuations found in the time series of statistical data for 2008–2016. We show that such fluctuations appear by age groups of workers. In view of this, we put forward a hypothesis that the agent in the labor market chooses a place of work by a strategy, related with his age group. It directly affects the distribution of the number of employed for different cohorts and the total number of employed in the sectors of the economy. The agent determines the strategy taking into account the socio-economic characteristics of the branches of the economy (different levels of wages, working conditions, prestige of the profession). We construct a basic agentoriented model of a three-branch economy to test the hypothesis. The model takes into account various strategies of economic agents, including the choice of the highest wages, the highest prestige of the profession and the best working conditions by the agent. As a result of numerical experiments, we show that the availability of various industry selection strategies and the age preferences of employers within the industry lead to periodic and complex dynamics of the number of different-aged employees. Age preferences may be a consequence, for example, the requirements of employer for the existence of work experience and education. Also, significant changes in the age structure of the employed population may result from migration.

В работе проведен сравнительный анализ предприятий Арктической зоны Российской Федерации (АЗ РФ) по экономическим показателям в соответствии с рейтингом Полярного индекса. В исследование включены числовые данные 193 предприятий, находящихся в АЗ РФ. Применены методы машинного обучения, как стандартные, из открытых ресурсов, так и собственные оригинальные методы — метод оптимально достоверных разбиений (ОДР), метод статистически взвешенных синдромов (СВС). Проведено разбиение с указанием максимального значения функционала качества, в данном исследовании использовалось простейшее семейство разнообразных одномерных разбиений с одной-единственной граничной точкой, а также семейство различных двумерных разбиений с одной граничной точкой по каждой из двух объединяющих переменных. Перестановочные тесты позволяют не только оценивать достоверность данных выявленных закономерностей, но и исключать из множества выявленных закономерностей разбиения с избыточной сложностью.

Использование метода ОДР на одномерных показателях выявило закономерности, которые связывают номер класса с экономическими показателями. Также в приведенном исследовании представлены закономерности, которые выявлены в рамках простейшей одномерной модели с одной граничной точкой и со значимостью не хуже чем $p < 0.001$.

Для достоверной оценки подобной диагностической способности использовали так называемый метод скользящего контроля. В результате этих исследований был выделен целый набор методов, которые обладали достаточной эффективностью.

Коллективный метод по результатам нескольких методов машинного обучения показал высокую значимость экономических показателей для разделения предприятий в соответствии с рейтингом Полярного индекса.

Наше исследование доказало и показало, что те предприятия, которые вошли в топ рейтинга Полярного индекса, в целом распознаются по финансовым показателям среди всех компаний Арктической зоны. Вместе с тем представляется целесообразным включение в анализ также экологических и социальных факторов.

The paper presents a comparative analysis of the enterprises of the Arctic Zone of the Russian Federation (AZ RF) on economic indicators in accordance with the rating of the Polar index. This study includes numerical data of 193 enterprises located in the AZ RF. Machine learning methods are applied, both standard, from open source, and own original methods — the method of Optimally Reliable Partitions (ORP), the method of Statistically Weighted Syndromes (SWS). Held split, indicating the maximum value of the functional quality, this study used the simplest family of different one-dimensional partition with a single boundary point, as well as a collection of different two-dimensional partition with one boundary point on each of the two combining variables. Permutation tests allow not only to evaluate the reliability of the data of the revealed regularities, but also to exclude partitions with excessive complexity from the set of the revealed regularities. Patterns connected the class number and economic indicators are revealed using the SDT method on one-dimensional indicators. The regularities which are revealed within the framework of the simplest one-dimensional model with one boundary point and with significance not worse than p < 0.001 are also presented in the given study. The so-called sliding control method was used for reliable evaluation of such diagnostic ability. As a result of these studies, a set of methods that had sufficient effectiveness was identified. The collective method based on the results of several machine learning methods showed the high importance of economic indicators for the division of enterprises in accordance with the rating of the Polar index. Our study proved and showed that those companies that entered the top Rating of the Polar index are generally recognized by financial indicators among all companies in the Arctic Zone. However it would be useful to supplement the list of indicators with ecological and social criteria.

В статье дается детальное описание численной методики моделирования турбулентного обтекания вращающихся винтов вертолета и расчета аэродинамических характеристик винта. В качестве базовой математической модели используется система осредненных по Рейнольдсу уравнений Навье – Стокса для вязкого сжимаемого газа, замкнутая моделью турбулентности Спаларта – Аллмараса. Итоговая модель формулируется в неинерциальной вращающейся системе координат, связанной с винтом. Для задания граничных условий на поверхности винта используются пристеночные функции.

Численное решение полученной системы дифференциальных уравнений проводится на гибридных неструктурированных сетках, включающих призматические слои вблизи поверхности обтекаемого тела. Численный метод строится на основе оригинальных вершинно-центрированных конечно-объемных EBR-схем. Особенностью этих схем является их повышенная точность, которая достигается за счет использования реберно-ориентированной реконструкции переменных на расширенных квазиодномерных шаблонах, и умеренная вычислительная стоимость, позволяющая проводить серийные расчеты. Для приближенного решения задачи о распаде разрыва используются методы Роу и Лакса – Фридрихса. Метод Роу корректируется в случае низкоскоростных течений. При моделировании разрывов или решений с большими градиентами используется квазиодномерная WENO-схема или локальное переключение на квазиодномерную TVD-реконструкцию. Интегрирование по времени проводится по неявной трехслойной схеме второго порядка аппроксимации с линеаризацией по Ньютону системы разностных уравнений. Для решения системы линейных уравнений используется стабилизированный метод сопряженных градиентов.

Численная методика реализована в составе исследовательского программного комплекса NOISEtte согласно двухуровневой MPI–OpenMP-модели, позволяющей с высокой эффективностью проводить расчеты на сетках, состоящих из сотен миллионов узлов, при одновременном задействовании сотен тысячп роцессорных ядер современных суперкомпьютеров.

На основе результатов численного моделирования вычисляются аэродинамические характеристики винта вертолета, а именно сила тяги, крутящий момент и их безразмерные коэффициенты.

Валидация разработанной методики проводится путем моделирования турбулентного обтекания двухлопастного винта Caradonna – Tung и четырехлопастного модельного винта КНИТУ-КАИ на режиме висения, рулевого винта в кольце, а также жесткого несущего винта в косом потоке. численные результаты сравниваются с имеющими экспериментальными данными.

The paper gives a detailed description of the developed methods for simulating the turbulent flow around a helicopter rotor and calculating its aerodynamic characteristics. The system of Reynolds-averaged Navier – Stokes equations for a viscous compressible gas closed by the Spalart –Allmaras turbulence model is used as the basic mathematical model. The model is formulated in a non-inertial rotating coordinate system associated with a rotor. To set the boundary conditions on the surface of the rotor, wall functions are used.

The numerical solution of the resulting system of differential equations is carried out on mixed-element unstructured grids including prismatic layers near the surface of a streamlined body.The numerical method is based on the original vertex-centered finite-volume EBR schemes. A feature of these schemes is their higher accuracy which is achieved through the use of edge-based reconstruction of variables on extended quasi-onedimensional stencils, and a moderate computational cost which allows for serial computations. The methods of Roe and Lax – Friedrichs are used as approximate Riemann solvers. The Roe method is corrected in the case of low Mach flows. When dealing with discontinuities or solutions with large gradients, a quasi-one-dimensional WENO scheme or local switching to a quasi-one-dimensional TVD-type reconstruction is used. The time integration is carried out according to the implicit three-layer second-order scheme with Newton linearization of the system of difference equations. To solve the system of linear equations, the stabilized conjugate gradient method is used.

The numerical methods are implemented as a part of the in-house code NOISEtte according to the two-level MPI–OpenMP parallel model, which allows high-performance computations on meshes consisting of hundreds of millions of nodes, while involving hundreds of thousands of CPU cores of modern supercomputers.

Based on the results of numerical simulation, the aerodynamic characteristics of the helicopter rotor are calculated, namely, trust, torque and their dimensionless coefficients.

Validation of the developed technique is carried out by simulating the turbulent flow around the Caradonna – Tung two-blade rotor and the KNRTU-KAI four-blade model rotor in hover mode mode, tail rotor in duct, and rigid main rotor in oblique flow. The numerical results are compared with the available experimental data.

При разработке систем человеко-машинных интерфейсов актуальной является задача распознавания жестов. Для выявления наиболее эффективного метода распознавания жестов был проведен анализ различных методов машинного обучения, используемых для классификации движений на основе электромиографических сигналов мышц. Были рассмотрены такие методы, как наивный байесовский классификатор (НБК), дерево решений, случайный лес, градиентный бустинг, метод опорных векторов, метод $k$-ближайших соседей, а также ансамбли методов (НБК и дерево решений, НБК и градиентный бустинг, градиентный бустинг и дерево решений). В качестве метода получения информации о жестах была выбрана электромиография. Такое решение не требует расположения руки в поле зрения камеры и может быть использовано для распознавания движений пальцев рук. Для проверки эффективности выбранных методов распознавания жестов было разработано устройство регистрации электромиографического сигнала мышц предплечья, которое включает в себя три электрода и ЭМГ-датчик, соединенный с микрокон- троллером и блоком питания. В качестве жестов были выбраны: сжатие кулака, знак «большой палец», знак «Виктория», сжатие указательного пальца и взмах рукой справа налево. Оценка эффективности методов классификации проводилась на основе значений доли правильных ответов, точности, полноты, а также среднего значения времени работы классификатора. Данные параметры были рассчитаны для трех вариантов расположения электромиографических электродов на предплечье. По результатам тести- рования, наиболее эффективными методами являются метод $k$-ближайших соседей, случайный лес и ансамбль НБК и градиентного бустинга, средняя точность которого для трех положений электродов составила 81,55 %. Также было определено положение электродов, при котором методы машинного обучения достигают максимального значения точности распознавания. При таком положении один из дифференциальных электродов располагается на месте пересечения глубокого сгибателя пальцев и длинного сгибателя большого пальца, второй — над поверхностным сгибателем пальцев

Gesture recognition is an urgent challenge in developing systems of human-machine interfaces. We analyzed machine learning methods for gesture classification based on electromyographic muscle signals to identify the most effective one. Methods such as the naive Bayesian classifier (NBC), logistic regression, decision tree, random forest, gradient boosting, support vector machine (SVM), $k$-nearest neighbor algorithm, and ensembles (NBC and decision tree, NBC and gradient boosting, gradient boosting and decision tree) were considered. Electromyography (EMG) was chosen as a method of obtaining information about gestures. This solution does not require the location of the hand in the field of view of the camera and can be used to recognize finger movements. To test the effectiveness of the selected methods of gesture recognition, a device was developed for recording the EMG signal, which includes three electrodes and an EMG sensor connected to the microcontroller and the power supply. The following gestures were chosen: clenched fist, “thumb up”, “Victory”, squeezing an index finger and waving a hand from right to left. Accuracy, precision, recall and execution time were used to evaluate the effectiveness of classifiers. These parameters were calculated for three options for the location of EMG electrodes on the forearm. According to the test results, the most effective methods are $k$-nearest neighbors’ algorithm, random forest and the ensemble of NBC and gradient boosting, the average accuracy of ensemble for three electrode positions was 81.55%. The position of the electrodes was also determined at which machine learning methods achieve the maximum accuracy. In this position, one of the differential electrodes is located at the intersection of the flexor digitorum profundus and flexor pollicis longus, the second — above the flexor digitorum superficialis.

Segmentation of medical image is one of the most challenging tasks in analysis of medical image. It classifies the organs pixels or lesions from medical images background like MRI or CT scans, that is to provide critical information about the human organ’s volumes and shapes. In scientific imaging field, medical imaging is considered one of the most important topics due to the rapid and continuing progress in computerized medical image visualization, advances in analysis approaches and computer-aided diagnosis. Digital image processing becomes more important in healthcare field due to the growing use of direct digital imaging systems for medical diagnostics. Due to medical imaging techniques, approaches of image processing are now applicable in medicine. Generally, various transformations will be needed to extract image data. Also, a digital image can be considered an approximation of a real situation includes some uncertainty derived from the constraints on the process of vision. Since information on the level of uncertainty will influence an expert’s attitude. To address this challenge, we propose novel framework involving interval concept that consider a good tool for dealing with the uncertainty, In the proposed approach, the medical images are transformed into interval valued representation approach and entropies are defined for an image object and background. Then we determine a threshold for lower-bound image and for upper-bound image, and then calculate the mean value for the final output results. To demonstrate the effectiveness of the proposed framework, we evaluate it by using synthetic image and its ground truth. Experimental results showed how performance of the segmentation-based entropy threshold can be enhanced using proposed approach to overcome ambiguity.

Segmentation of medical image is one of the most challenging tasks in analysis of medical image. It classifies the organs pixels or lesions from medical images background like MRI or CT scans, that is to provide critical information about the human organ’s volumes and shapes. In scientific imaging field, medical imaging is considered one of the most important topics due to the rapid and continuing progress in computerized medical image visualization, advances in analysis approaches and computer-aided diagnosis. Digital image processing becomes more important in healthcare field due to the growing use of direct digital imaging systems for medical diagnostics. Due to medical imaging techniques, approaches of image processing are now applicable in medicine. Generally, various transformations will be needed to extract image data. Also, a digital image can be considered an approximation of a real situation includes some uncertainty derived from the constraints on the process of vision. Since information on the level of uncertainty will influence an expert’s attitude. To address this challenge, we propose novel framework involving interval concept that consider a good tool for dealing with the uncertainty, In the proposed approach, the medical images are transformed into interval valued representation approach and entropies are defined for an image object and background. Then we determine a threshold for lower-bound image and for upper-bound image, and then calculate the mean value for the final output results. To demonstrate the effectiveness of the proposed framework, we evaluate it by using synthetic image and its ground truth. Experimental results showed how performance of the segmentation-based entropy threshold can be enhanced using proposed approach to overcome ambiguity.

Решение общей проблемы информационного взрыва связано с системами автоматической обработки цифровых данных, включая их распознавание, сортировку, содержательную обработку и представление в виде, приемлемом для восприятия человеком. Естественным решением является создание интеллектуальных систем извлечения знаний из неструктурированной информации. При этом явные успехи в области обработки структурированных данных контрастируют со скромными достижениями в области анализа неструктурированной информации, в частности в задачах обработки текстовых документов. В настоящее время данное направление находится в стадии интенсивных исследований и разработок. Данная работа представляет собой системный обзор международных и отечественных публикаций, посвященных ведущему тренду в области автоматической обработки потоков текстовой информации, а именно интеллектуальному анализу текстов или Text Mining (TM). Рассмотрены основные задачи и понятия TM, его место в области проблемы искусственного интеллекта, а также указаны сложности при обработке текстов на естественном языке (NLP), обусловленные слабой структурированностью и неоднозначностью лингвистической ин- формации. Описаны стадии предварительной обработки текстов, их очистка и селекция признаков, которые, наряду с результатами морфологического, синтаксического и семантического анализа, являются компонентами TM. Процесс интеллектуального анализа текстов представлен как отображение множества текстовых документов в «знания», т.е. в очищенную от избыточности и шума совокупность сведений, необходимых для решения конкретной прикладной задачи. На примере задачи трейдинга продемонстрирована формализация принятия торгового решения, основанная на совокупности аналитических рекомендаций. Типичными примерами TM являются задачи и технологии информационного поиска (IR), суммаризации текста, анализа тональности, классификации и кластеризации документов и т. п. Общим вопросом для всех методов TM является выбор типа словоформ и их производных, используемых для распознавания контента в последовательностях символов NL. На примере IR рассмотрены типовые алгоритмы поиска, основанные на простых словоформах, фразах, шаблонах и концептах, а также более сложные технологии, связанные с дополнением шаблонов синтаксической и семантической информацией. В общем виде дано описание механизмов NLP: морфологический, синтаксический, семантический и прагматический анализ. Приведен сравнительный анализ современных инструментов TM, позволяющий осуществить выбор платформы, исходя из особенности решаемой задачи и практических навыков пользователя.

In general, solving the information explosion problem can be delegated to systems for automatic processing of digital data. These systems are intended for recognizing, sorting, meaningfully processing and presenting data in formats readable and interpretable by humans. The creation of intelligent knowledge extraction systems that handle unstructured data would be a natural solution in this area. At the same time, the evident progress in these tasks for structured data contrasts with the limited success of unstructured data processing, and, in particular, document processing. Currently, this research area is undergoing active development and investigation. The present paper is a systematic survey on both Russian and international publications that are dedicated to the leading trend in automatic text data processing: Text Mining (TM). We cover the main tasks and notions of TM, as well as its place in the current AI landscape. Furthermore, we analyze the complications that arise during the processing of texts written in natural language (NLP) which are weakly structured and often provide ambiguous linguistic information. We describe the stages of text data preparation, cleaning, and selecting features which, alongside the data obtained via morphological, syntactic, and semantic analysis, constitute the input for the TM process. This process can be represented as mapping a set of text documents to «knowledge». Using the case of stock trading, we demonstrate the formalization of the problem of making a trade decision based on a set of analytical recommendations. Examples of such mappings are methods of Information Retrieval (IR), text summarization, sentiment analysis, document classification and clustering, etc. The common point of all tasks and techniques of TM is the selection of word forms and their derivatives used to recognize content in NL symbol sequences. Considering IR as an example, we examine classic types of search, such as searching for word forms, phrases, patterns and concepts. Additionally, we consider the augmentation of patterns with syntactic and semantic information. Next, we provide a general description of all NLP instruments: morphological, syntactic, semantic and pragmatic analysis. Finally, we end the paper with a comparative analysis of modern TM tools which can be helpful for selecting a suitable TM platform based on the user’s needs and skills.

В работе проведен анализ системы контрактов, заключаемых организациями оборонно-промышленного комплекса России в процессе выполнения государственного оборонного заказа. Сделан вывод, что для описания данной системы может быть использована методология статистической механики. По аналогии с подходом, применяемым при рассмотрении большого канонического ансамбля Гиббса, изучаемый ансамбль сформирован в виде набора мгновенных «картинок», образованных из действующих в каждый момент времени неразличимых контрактов со своими стоимостями. Показано, что ограничения, накладываемые государством на процесс ценообразования, являются причиной того, что совокупность контрактов может быть отнесена к категории так называемых сложных систем, для описания которых используется неэкстенсивная статистика Тсаллиса. Это приводит к тому, что стоимостные распределения контрактов должны соответствовать деформированному распределению Бозе–Эйнштейна, полученному с использованием энтропии Тсаллиса. Данный вывод справедлив как для всей совокупности контрактов, заключаемых участниками выполнения государственного оборонного заказа, так и контрактов, заключаемых отдельной организацией в качестве исполнителя.

Для анализа степени соответствия эмпирических стоимостных распределений модифицированному распределению Бозе–Эйнштейна в настоящей работе использован метод сравнения соответствующих функций распределения вероятностей. В работе делается вывод о том, что для изучения стоимостных распределений контрактов отдельной организации в качестве анализируемых данных можно использовать сформировавшиеся за календарный год распределения выручки по отдельным заказам, соответствующим заключенным контрактам. Получены эмпирические функции распределения вероятностей ранжированных значений выручки от реализации по отдельным заказам АО «Концерн «ЦНИИ «Электроприбор», одной из ведущих приборостроительных организаций ОПК России, с 2007 по 2021 год. Наблюдается хорошее согласие между эмпирическими и теоретическими функциями распределений вероятностей, рассчитанными с использованием деформированных распределений Бозе–Эйнштейна в пределе «разряженного газа контрактов». Полученные на основе эмпирических данных значения параметров энтропийного индекса для каждого из изученных распределений выручки свидетельствуют о достаточно высокой степени неаддитивности, присущей изучаемой системе. Показано, что для оценки характеристических стоимостей распределений можно использовать величину среднего значения годовой выручки, рассчитанного с помощью нормированного эскортного распределения. Факт наилучшего согласия эмпирических и теоретических функций распределения вероятностей при нулевых значениях химического потенциала позволяет сделать предположение, что изучаемый «газ контрактов» можно сравнить с газом фотонов, в котором число частиц не является постоянным.

In this work, we analyze the system of contracts made by Russian defense enterprises in the process of state defense order execution. We conclude that methods of statistical mechanics can be applied to the description of the given system. Following the original grand-canonical ensemble approach, we can create the statistical ensemble under investigation as a set of instant snapshots of indistinguishable contracts having individual values. We show that due to government regulations of contract prices the contract system can be described in terms of nonextensive Tsallis statistics. We have found that probability distributions of contract prices correspond to deformed Bose – Einstein distributions obtained using nonextensive Tsallis entropy. This conclusion is true both in the case of the whole set of contracts and in the case of the contracts made by an individual defense company as a seller.

In order to analyze how deformed Bose – Einstein distributions fit the empirical contract price distributions we compare the corresponding cumulative distribution functions. We conclude that annual distributions of individual sales which correspond to each company’s contract (order) can be used as relevant data for contract price distributions analysis. The empirical cumulative distribution functions for the individual sales ranking of Concern CSRI Elektropribor, one of the leading Russian defense companies, are analyzed for the period 2007–2021. The theoretical cumulative distribution functions, obtained using deformed Bose – Einstein distributions in the case of «rare contract gas» limit, fit well to the empirical cumulative distribution functions. The fitted values for the entropic index show that the degree of nonextensivity of the system under investigations is rather high. It is shown that the characteristic prices of distributions can be estimated by weighing the values of annual individual sales with the escort probabilities. Given that the fitted values of chemical potential are equal to zero, we suggest that «gas of contracts» can be compared to photon gas in which the number of particles is not conserved.