Все выпуски

Решение общей проблемы информационного взрыва связано с системами автоматической обработки цифровых данных, включая их распознавание, сортировку, содержательную обработку и представление в виде, приемлемом для восприятия человеком. Естественным решением является создание интеллектуальных систем извлечения знаний из неструктурированной информации. При этом явные успехи в области обработки структурированных данных контрастируют со скромными достижениями в области анализа неструктурированной информации, в частности в задачах обработки текстовых документов. В настоящее время данное направление находится в стадии интенсивных исследований и разработок. Данная работа представляет собой системный обзор международных и отечественных публикаций, посвященных ведущему тренду в области автоматической обработки потоков текстовой информации, а именно интеллектуальному анализу текстов или Text Mining (TM). Рассмотрены основные задачи и понятия TM, его место в области проблемы искусственного интеллекта, а также указаны сложности при обработке текстов на естественном языке (NLP), обусловленные слабой структурированностью и неоднозначностью лингвистической ин- формации. Описаны стадии предварительной обработки текстов, их очистка и селекция признаков, которые, наряду с результатами морфологического, синтаксического и семантического анализа, являются компонентами TM. Процесс интеллектуального анализа текстов представлен как отображение множества текстовых документов в «знания», т.е. в очищенную от избыточности и шума совокупность сведений, необходимых для решения конкретной прикладной задачи. На примере задачи трейдинга продемонстрирована формализация принятия торгового решения, основанная на совокупности аналитических рекомендаций. Типичными примерами TM являются задачи и технологии информационного поиска (IR), суммаризации текста, анализа тональности, классификации и кластеризации документов и т. п. Общим вопросом для всех методов TM является выбор типа словоформ и их производных, используемых для распознавания контента в последовательностях символов NL. На примере IR рассмотрены типовые алгоритмы поиска, основанные на простых словоформах, фразах, шаблонах и концептах, а также более сложные технологии, связанные с дополнением шаблонов синтаксической и семантической информацией. В общем виде дано описание механизмов NLP: морфологический, синтаксический, семантический и прагматический анализ. Приведен сравнительный анализ современных инструментов TM, позволяющий осуществить выбор платформы, исходя из особенности решаемой задачи и практических навыков пользователя.

In general, solving the information explosion problem can be delegated to systems for automatic processing of digital data. These systems are intended for recognizing, sorting, meaningfully processing and presenting data in formats readable and interpretable by humans. The creation of intelligent knowledge extraction systems that handle unstructured data would be a natural solution in this area. At the same time, the evident progress in these tasks for structured data contrasts with the limited success of unstructured data processing, and, in particular, document processing. Currently, this research area is undergoing active development and investigation. The present paper is a systematic survey on both Russian and international publications that are dedicated to the leading trend in automatic text data processing: Text Mining (TM). We cover the main tasks and notions of TM, as well as its place in the current AI landscape. Furthermore, we analyze the complications that arise during the processing of texts written in natural language (NLP) which are weakly structured and often provide ambiguous linguistic information. We describe the stages of text data preparation, cleaning, and selecting features which, alongside the data obtained via morphological, syntactic, and semantic analysis, constitute the input for the TM process. This process can be represented as mapping a set of text documents to «knowledge». Using the case of stock trading, we demonstrate the formalization of the problem of making a trade decision based on a set of analytical recommendations. Examples of such mappings are methods of Information Retrieval (IR), text summarization, sentiment analysis, document classification and clustering, etc. The common point of all tasks and techniques of TM is the selection of word forms and their derivatives used to recognize content in NL symbol sequences. Considering IR as an example, we examine classic types of search, such as searching for word forms, phrases, patterns and concepts. Additionally, we consider the augmentation of patterns with syntactic and semantic information. Next, we provide a general description of all NLP instruments: morphological, syntactic, semantic and pragmatic analysis. Finally, we end the paper with a comparative analysis of modern TM tools which can be helpful for selecting a suitable TM platform based on the user’s needs and skills.

В данной работе рассматривается простейшая модель динамики популяции с неперекрывающимися поколениями, в которой плотностно-зависимые факторы лимитируют интенсивность рождаемости. При этом репродуктивный потенциал определяется генетически, а процессы размножения приурочены к определенному годовому сезону. Исследуемая в работе эколого-генетическая модель представляет собой объединение экологической модели динамики лимитированной популяции с неперекрывающимися поколениями и микроэволюционной модели динамики ее генетической структуры для случая, когда адаптивное разнообразие репродуктивных возможностей в популяции определяется одним аутосомным диаллельным локусом с аллеломорфами $А$ и $а$. В ходе исследования данной модели показано, что генетический состав популяции (а именно, будет ли она полиморфной или мономорфной) определяется значениями репродуктивных потенциалов гетерозиготы и гомозигот. При этом режимы динамики численности популяции определяются величиной среднего репродуктивного потенциала зрелых особей и интенсивностью процессов саморегуляции. В частности, показано, что эволюционный рост среднего значения репродуктивного потенциала при плотностной регуляции рождаемости приводит к дестабилизации динамики численности возрастных групп. В то время как интенсивность процессов саморегуляции определяет характер возникающих колебаний, поскольку от количественной оценки именно этого фактора зависит сценарий потери устойчивости равновесных состояний. Показано, что закономерности возникновения и эволюции циклических режимов динамики в большой степени определяются особенностями жизненного цикла особей, составляющих популяцию. Именно жизненный цикл определяет наличие изолированных субпопуляций разных лет, что, в свою очередь, приводит к возможности независимой микроэволюции этих субпопуляций и возникновения сложных сценариев динамики как численности, так и генетической структуры. Закрепление разных адаптивных мутаций постепенно приведет к генетической (а возможно, и морфологической) дифференциации и к различиям в средних репродуктивных потенциалах субпопуляций и достижению ими разного равновесного уровня численности. Дальнейший эволюционный рост репродуктивных потенциалов экологически лимитированных субпопуляций приводит к колебаниям их численности, которые могут отличаться не только амплитудой, но и фазой. Обнаруженные в предложенной модели сценарии микроэволюции генетического состава популяции, связанные с колебаниями численности, вполне согласуются с результатами исследований популяции тихоокеанской горбуши, которая демонстрирует не только колебания численности, но и наличие генетически дифференцированных субпопуляций смежных поколений.

This paper studies a model of a population with non-overlapping generations and density-dependent regulation of birth rate. The population breeds seasonally, and its reproductive potential is determined genetically. The model proposed combines an ecological dynamic model of a limited population with non-overlapping generations and microevolutionary model of its genetic structure dynamics for the case when adaptive trait of birth rate controlled by a single diallelic autosomal locus with allelomorphs A and a. The study showed the genetic composition of the population, namely, will it be polymorphic or monomorphic, is mainly determined by the values of the reproductive potentials of heterozygote and homozygotes. Moreover, the average reproductive potential of mature individuals and intensity of self-regulation processes determine population dynamics. In particularly, increasing the average value of the reproductive potential leads to destabilization of the dynamics of age group sizes. The intensity of self-regulation processes determines the nature of emerging oscillations, since scenario of stability loss of fixed points depends on the values of this parameter. It is shown that patterns of occurrence and evolution of cyclic dynamics regimes are mainly determined by the features of life cycle of individuals in population. The life cycle leading to existence of non-overlapping generation gives isolated subpopulations in different years, which results in the possibility of independent microevolution of these subpopulations and, as a result, the complex dynamics emergence of both stage structure and genetic one. Fixing various adaptive mutations will gradually lead to genetic (and possibly morphological) differentiation and to differences in the average reproductive potentials of subpopulations that give different values of equilibrium subpopulation sizes. Further evolutionary growth of reproductive potentials of limited subpopulations leads to their number fluctuations which can differ in both amplitude and phase.