Все выпуски

Решение общей проблемы информационного взрыва связано с системами автоматической обработки цифровых данных, включая их распознавание, сортировку, содержательную обработку и представление в виде, приемлемом для восприятия человеком. Естественным решением является создание интеллектуальных систем извлечения знаний из неструктурированной информации. При этом явные успехи в области обработки структурированных данных контрастируют со скромными достижениями в области анализа неструктурированной информации, в частности в задачах обработки текстовых документов. В настоящее время данное направление находится в стадии интенсивных исследований и разработок. Данная работа представляет собой системный обзор международных и отечественных публикаций, посвященных ведущему тренду в области автоматической обработки потоков текстовой информации, а именно интеллектуальному анализу текстов или Text Mining (TM). Рассмотрены основные задачи и понятия TM, его место в области проблемы искусственного интеллекта, а также указаны сложности при обработке текстов на естественном языке (NLP), обусловленные слабой структурированностью и неоднозначностью лингвистической ин- формации. Описаны стадии предварительной обработки текстов, их очистка и селекция признаков, которые, наряду с результатами морфологического, синтаксического и семантического анализа, являются компонентами TM. Процесс интеллектуального анализа текстов представлен как отображение множества текстовых документов в «знания», т.е. в очищенную от избыточности и шума совокупность сведений, необходимых для решения конкретной прикладной задачи. На примере задачи трейдинга продемонстрирована формализация принятия торгового решения, основанная на совокупности аналитических рекомендаций. Типичными примерами TM являются задачи и технологии информационного поиска (IR), суммаризации текста, анализа тональности, классификации и кластеризации документов и т. п. Общим вопросом для всех методов TM является выбор типа словоформ и их производных, используемых для распознавания контента в последовательностях символов NL. На примере IR рассмотрены типовые алгоритмы поиска, основанные на простых словоформах, фразах, шаблонах и концептах, а также более сложные технологии, связанные с дополнением шаблонов синтаксической и семантической информацией. В общем виде дано описание механизмов NLP: морфологический, синтаксический, семантический и прагматический анализ. Приведен сравнительный анализ современных инструментов TM, позволяющий осуществить выбор платформы, исходя из особенности решаемой задачи и практических навыков пользователя.

В развитие ранее полученного результата по моделированию динамики растительного покрова, вследствие изменчивости температурного фона, представлена новая схема интервального анализа динамики флористических образов формаций в случае, когда параметр скорости реагирования модели динамики каждого учетного вида растения задан интервалом разброса своих возможных значений. Желаемая в фундаментальных исследованиях детализация описания функциональных параметров макромоделей биоразнообразия, учитывающая сущностные причины наблюдаемых эволюционных процессов, может оказаться проблемной задачей. Использование более надежных интервальных оценок вариабельности функциональных параметров «обходит» проблему неопределенности в вопросах первичного оценивания эволюции фиторесурсного потенциала осваиваемых подконтрольных территорий. Полученные решения сохраняют не только качественную картину динамики видового разнообразия, но и дают строгую, в рамках исходных предположений, количественную оценку меры присутствия каждого вида растения. Практическая значимость схем двустороннего оценивания на основе конструирования уравнений для верхних и нижних границ траекторий разброса решений зависит от условий и меры пропорционального соответствия интервалов разбросов исходных параметров с интервалами разбросов решений. Для динамических систем желаемая пропорциональность далеко не всегда обеспечивается. Приведенные примеры демонстрирует приемлемую точность интервального оценивания эволюционных процессов. Важно заметить, что конструкции оценочных уравнений порождают исчезающие интервалы разбросов решений для квазипостоянных температурных возмущений системы. Иными словами, траектории стационарных температурных состояний растительного покрова предложенной схемой интервального оценивания не огрубляется. Строгость результата интервального оценивания видового состава растительного покрова формаций может стать определяющим фактором при выборе метода в задачах анализа динамики видового разнообразия и растительного потенциала территориальных систем ресурсно-экологического мониторинга. Возможности предложенного подхода иллюстрируются геоинформационными образами вычислительного анализа динамики растительного покрова полуострова Ямал и графиками ретроспективного анализа флористической изменчивости формаций ландшафтно-литологической группы «Верховые» по данным вариации летнего температурного фона метеостанции г. Салехарда от 2010 до 1935 года. Разработанные показатели флористической изменчивости и приведенные графики характеризуют динамику видового разнообразия, как в среднем, так и индивидуально, в виде интервалов возможных состояний по каждому учетному виду растения.