Все выпуски

В работе рассматривается задача поиска в научной статье фрагментов с недостающими библиографическими ссылками с помощью автоматической бинарной классификации. Для обучения модели предложен метод контрастного семплирования, новшеством которого является рассмотрение контекста ссылки с учетом границ фрагмента, максимально влияющего на вероятность нахождения в нем библиографической ссылки. Обучающая выборка формировалась из автоматически размеченных семплов — фрагментов из трех предложений с метками классов «без ссылки» и «со ссылкой», удовлетворяющих требованию контрастности: семплы разных классов дистанцируются в исходном тексте. Пространство признаков строилось автоматически по статистике встречаемости термов и расширялось за счет конструирования дополнительных признаков — выделенных в тексте сущностей ФИО, чисел, цитат и аббревиатур.

Проведена серия экспериментов на архивах научных журналов «Правоприменение» (273 статьи) и «Журнал инфектологии» (684 статьи). Классификация осуществлялась моделями Nearest Neighbours, RBF SVM, Random Forest, Multilayer Perceptron, с подбором оптимальных гиперпараметров для каждого классификатора.

Эксперименты подтвердили выдвинутую гипотезу. Наиболее высокую точность показал нейросетевой классификатор (95%), уступающий по скорости линейному, точность которого при контрастном семплировании также оказалась высока (91–94 %). Полученные значения превосходят результаты, опубликованные для задач NER и анализа тональности на данных со сравнимыми характеристиками. Высокая вычислительная эффективность предложенного метода позволяет встраивать его в прикладные системы и обрабатывать документы в онлайн-режиме.

Посты в социальных сетях способны как предсказывать движение финансового рынка, так и в некоторых случаях даже определять его направление. Анализ постов в Twitter способствует прогнозированию цен на криптовалюту. Специфика рассматриваемого сообщества заключается в особенной лексике. Так, в постах используются сленговые выражения, аббревиатуры и сокращения, наличие которых затрудняет векторизацию текстовых данных, в следствие чего рассматриваются методы предобработки такие, как лемматизация Stanza и применение регулярных выражений. В этой статье описываются простейшие модели машинного обучения, которые могут работать, несмотря на такие проблемы, как нехватка данных и короткие сроки прогнозирования. Решается задача бинарной текстовой классификации, в условиях которой слово рассматривается как элемент бинарного вектора единицы данных. Базисные слова определяются на основе частотного анализа упоминаний того или иного слова. Разметка составляется на основе свечей Binance с варьируемыми параметрами для более точного описания тренда изменения цены. В работе вводятся метрики, отражающие распределение слов в зависимости от их принадлежности к положительному или отрицательному классам. Для решения задачи классификации использовались dense-модель с подобранными при помощи Keras Tuner параметрами, логистическая регрессия, классификатор случайного леса, наивный байесовский классификатор, способный работать с малочисленной выборкой, что весьма актуально для нашей задачи, и метод k-ближайших соседей. Было проведено сравнение построенных моделей на основе метрики точности предсказанных меток. В ходе исследования было выяснено, что наилучшим подходом является использование моделей, которые предсказывают ценовые движения одной монеты. Наши модели имеют дело с постами, содержащими упоминания проекта LUNA, которого на данный момент уже не существует. Данный подход к решению бинарной классификации текстовых данных широко применяется для предсказания цены актива, тренда ее движения, что часто используется в автоматизированной торговле.

Целью исследования являются моделирование динамики автотранспортных потоков на транспортных сетях мегаполисов и систематизация современного состояния дел в этой области. Во введении указывается, что на первый план выходит развитие интеллектуальных транспортных систем, которые становятся неотъемлемой частью современных транспортных технологий. Основным ядром таких систем являются адекватные математические модели, максимально приближенные к реальности. Отмечается, что в связи с большим объемом вычислений необходимо использование суперкомпьютеров, следовательно, создание специальных пар аллельных алгоритмов. В начале статьи приводится современная классификация моделей, обсуждаются отличительные особенности каждого класса со ссылками на соответствующие примеры. Далее основное внимание уделяется созданным авторами статьи разработкам в области как макроскопического, так и микроскопического моделирования и определению места этих разработок в приведенной выше классификации. Макроскопическая модель основана на приближении сплошной среды и использует идеологию квазигазодинамических систем уравнений. Указаны ее достоинства по сравнению с существующими моделями этого класса. Система уравнений модели представлена как в одномерном варианте, но с возможностью исследования многополосного движения, так и в двумерном варианте, с введением понятия боковой скорости, то есть скорости перестроения из полосы в полосу. Второй вариант позволяет проводить вычисления в расчетной области, соответствующей реальной геометрии дороги. Представлены тестовые расчеты движения по дороге с локальным расширением и по дороге с системой светофоров с различными светофорными режимами. Расчеты позволили в первом случае сделать интересные выводы о влиянии расширения на пропускную способность дороги в целом, а во втором случае — выбрать оптимальный режим для получения эффекта «зеленой волны». Микроскопическая модель основана на теории клеточных автоматов и однополосной модели Нагеля – Шрекенберга и обобщена авторами на случай многополосного движения. В модели реализованы различные поведенческие стратегии водителей. В качестве теста моделируется движение на реальном участке транспортной сети в центре г. Москвы. Причем для грамотного прохождения транспортных узлов сети в соответствии с правилами движения реализованы специальные алгоритмы, адаптированные для параллельных вычислений. Тестовые расчеты выполнены на суперкомпьютере К-100 ЦКП ИПМ им. М. В. Келдыша РАН.

Метод спектрального анализа стохастической матрицы применяется для построения индикатора, позволяющего определять тематику научных текстов без использования ключевых слов. Эта матрица представляет собой матрицу условных вероятностей биграмм, построенную по статистике используемых в тексте символов алфавита без учета пробелов, цифр и знаков препинания. Научные тексты классифицируются по взаимному расположению инвариантных подпространств матрицы условных вероятностей пар буквосочетаний. Индикатор разделения — величина косинуса угла между правым и левым собственными векторами, отвечающими максимальному и минимальному собственным значениям. Вычислительный алгоритм использует специальное представление параметра дихотомии, в качестве которого выступает интеграл от нормы квадрата резольвенты стохастической матрицы биграмм по окружности заданного радиуса в комплексной плоскости. Стремление интеграла в бесконечность свидетельствует о приближении контура интегрирования к собственному значению матрицы. В работе приведены типовые распределения индикатора идентификации специальностей. Для статистического анализа были проанализированы диссертации по основным 19 специальностям ВАК без учета классификации внутри специальности, по 20 текстов на специальность. Выяснилось, что эмпирические распределения косинуса угла для физико-математических и гуманитарных специальностей не имеют общего носителя, поэтому могут быть формально разделены по значению этого индикатора без ошибки. Хотя корпус текстов был не особенно большой, тем не менее при произвольном отборе диссертаций ошибка идентификации на уровне 2 % представляется очень хорошим результатом по сравнению с методами, основанными на семантическом анализе. Также выяснилось, что можно составить паттерн текста по каждой из специальностей в виде эталонной матрицы биграмм, по близости к которой в норме суммируемых функций можно безошибочно идентифицировать тематику написанного научного произведения, не используя ключевые слова. Предложенный метод можно использовать и в качестве сравнительного индикатора большей или меньшей строгости научного текста или как индикатор соответствия текста определенному научному уровню.

Изучение механизма развития массовой паники ввиду ее чрезвычайной значимости и социальной опасности представляет собой важную научную задачу. Имеющаяся информация о механизме ее разви- тия основана в основном на работах специалистов-психологов и относится к разряду неточной. Поэтому в качестве инструмента для разработки математической модели восприимчивости человека к паническим ситуациям выбрана теория нечетких множеств.

В результате проведенного исследования разработана нечеткая модель, состоящая из следующих блоков: «Фаззификация», где происходит вычисление степени принадлежности значений входных пара- метров к нечетким множествам; «Вывод», где на основе степени принадлежности входных параметров вычисляется результирующая функция принадлежности выходного значения нечеткой модели; «Дефаззификация», где с помощью метода центра тяжести определяется единственное количественное значение выходной переменной, характеризующей восприимчивость человека к паническим ситуациям.

Так как реальные количественные значения для лингвистических переменных психических свойств человека неизвестны, то оценить качество разработанной модели, создавая настоящую ситуацию страха и паники, не подвергая людей опасности, не представляется возможным. Поэтому качество результатов нечеткого моделирования оценивалось по расчетному значению коэффициента детерминации, показавшего, что разработанная нечеткая модель относится к разряду моделей хорошего качества $(R^2 = 0.93)$, что подтверждает правомерность принятых допущений при ее разработке.

Согласно результатам моделирования восприимчивость человека к паническим ситуациям для сангвинического и холерического видов темперамента в соответствии с принятой классификацией можно отнести к повышенной (0.88), а для флегматического и меланхолического — к умеренной (0.38). Это означает, что холерики и сангвиники могут стать эпицентрами распространения паники и инициаторами возникновения давки, а флегматики и меланхолики — препятствиями на путях эвакуации, что необходимо учитывать при разработке эффективных эвакуационных мероприятий, главной задачей которых является быстрая и безопасная эвакуация людей из неблагоприятных условий.

В утвержденных методиках расчет нормативных значений параметров безопасности основан на упрощенных аналитических моделях движения людского потока, потому что приходится учитывать большое число факторов, часть которых являются количественно неопределенными. Полученный результат в виде количественных оценок восприимчивости человека к паническим ситуациям позволит повысить точность расчетов.

Настоящая статья посвящена некоторым адаптивным методам первого порядка для оптимизационных задач с относительно сильно выпуклыми функционалами. Недавно возникшее в оптимизации понятие относительной сильной выпуклости существенно расширяет класс выпуклых задач посредством замены в определении евклидовой нормы расстоянием в более общем смысле (точнее — расхождением или дивергенцией Брегмана). Важная особенность рассматриваемых в настоящей работе классов задач — обобщение стандартных требований к уровню гладкости целевых функционалов. Точнее говоря, рассматриваются относительно гладкие и относительно липшицевые целевые функционалы. Это может позволить применять рассматриваемую методику для решения многих прикладных задач, среди которых можно выделить задачу о нахождении общей точки системы эллипсоидов, а также задачу бинарной классификации с помощью метода опорных векторов. Если целевой функционал минимизационной задачи выпуклый, то условие относительной сильной выпуклости можно получить посредством регуляризации. В предлагаемой работе впервые предложены адаптивные методы градиентного типа для задач оптимизации с относительно сильно выпуклыми и относительно липшицевыми функционалами. Далее, в статье предложены универсальные методы для относительно сильно выпуклых задач оптимизации. Указанная методика основана на введении искусственной неточности в оптимизационную модель. Это позволило обосновать применимость предложенных методов на классе относительно гладких, так и на классе относительно липшицевых функционалов. При этом показано, как можно реализовать одновременно адаптивную настройку на значения параметров, соответствующих как гладкости задачи, так и введенной в оптимизационную модель искусственной неточности. Более того, показана оптимальность оценок сложности с точностью до умножения на константу для рассмотренных в работе универсальных методов градиентного типа для обоих классов относительно сильно выпуклых задач. Также в статье для задач выпуклого программирования с относительно липшицевыми функционалами обоснована возможность использования специальной схемы рестартов алгоритма зеркального спуска и доказана оптимальная оценка сложности такого алгоритма. Также приводятся результаты некоторых вычислительных экспериментов для сравнения работы предложенных в статье методов и анализируется целесообразность их применения.

В работе проведено сравнение различных методов машинной классификации научных текстов по тематическим разделам на примере публикаций в профильных медицинских журналах, выпускаемых издательством Springer. Исследовался корпус текстов по пяти разделам: фармакология/токсикология, кардиология, иммунология, неврология и онкология. Рассматривались как методы поверхностной классификации, основанные на анализе аннотаций и ключевых слов, так и методы классификации на основе обработки собственно текстов. Были применены методы байесовской классификации, опорных векторов и эталонных буквосочетаний. Показано, что наилучшую точность имеет метод классификации на основе создания библиотеки эталонов буквенных триграмм, отвечающих текстам определенной тематики, а семантические методы уступают ему по точности. Выяснилось, что применительно к рассматриваемому корпусу текстов байесовский метод дает ошибку порядка 20 %, метод опорных векторов имеет ошибку порядка 10 %, а метод близости распределения текста к трехбуквенному эталону тематики дает ошибку порядка 5 %, что позволяет ранжировать эти методы для использования искусственного интеллекта в задачах классификации текстов по отраслевым специальностям. Существенно, что при анализе аннотаций метод опорных векторов дает такую же точность, что и при анализе полных текстов, что важно для сокращения числа операций для больших корпусов текстов.

Задача вероятностного тематического моделирования заключается в том, чтобы по заданной коллекции текстовых документов найти две матрицы: матрицу условных вероятностей тем в документах и матрицу условных вероятностей слов в темах. Каждый документ представляется в виде мультимножества слов, то есть предполагается, что для выявления тематики документа не важен порядок слов в нем, а важна только их частота. При таком предположении задача сводится к вычислению низкорангового неотрицательного матричного разложения, наилучшего по критерию максимума правдоподобия. Данная задача имеет в общем случае бесконечное множество решений, то есть является некорректно поставленной. Для регуляризации ее решения к логарифму правдоподобия добавляется взвешенная сумма оптимизационных критериев, с помощью которых формализуются дополнительные требования к модели. При моделировании больших текстовых коллекций хранение первой матрицы представляется нецелесообразным, поскольку ее размер пропорционален числу документов в коллекции. В то же время тематические векторные представления документов необходимы для решения многих задач текстовой аналитики — информационного поиска, кластеризации, классификации, суммаризации текстов. На практике тематический вектор вычисляется для каждого документа по необходимости, что может потребовать десятков итераций по всем словам документа. В данной работе предлагается способ быстрого вычисления тематического вектора для произвольного текста, требующий лишь одной итерации, то есть однократного прохода по всем словам документа. Для этого в модель вводится дополнительное ограничение в виде уравнения, позволяющего вычислять первую матрицу через вторую за линейное время. Хотя формально данное ограничение не является оптимизационным критерием, фактически оно выполняет роль регуляризатора и может применяться в сочетании с другими критериями в рамках теории аддитивной регуляризации тематических моделей ARTM. Эксперименты на трех свободно доступных текстовых коллекциях показали, что предложенный метод улучшает качество модели по пяти оценкам качества, характеризующим разреженность, различность, информативность и когерентность тем. Для проведения экспериментов использовались библиотеки с открытымк одомB igARTM и TopicNet.

Разработана динамическая макромодельмиров ой динамики. В модели мир разбит на 19 регионов по географическому принципу согласно классификации Организации объединенных наций. Внутреннее развитие регионов описывается уравнениями разностного типа для демографических и экономических индикаторов, таких как численностьнас еления, валовой продукт, валовое накопление. Межрегиональные взаимодействия представляют собой агрегированные торговые потоки от региона к региону и описываются регрессионными уравнениями. В качестве регрессоров использовались время, валовой продукт экспортера и валовой продукт импортера. Рассматривалосьчеты ре типа: временная парная регрессия — зависимость торгового потока от времени, экспортная функция — зависимостьд оли торгового потока в валовом продукте экспортера от валового продукта импортера, импортная функция — зависимостьд оли торгового потока в валовой продукции импортера от валового продукта экспортера, множественная регрессия — зависимостьт оргового потока от валовых продуктов экспортера и импортера. Для каждого типа применялосьд ва вида функциональной зависимости: линейная и логарифмически-линейная, всего исследовано восемьв ариантов торгового уравнения. Проведено сравнение качества регрессионных моделей по коэффициенту детерминации. Расчеты показывают, что модель удовлетворительно аппроксимирует динамику монотонно меняющихся показателей. Проанализирована динамика немонотонных торговых потоков, для их аппроксимации предложено три вида функциональной зависимости от времени. Показано, что с 10%-й погрешностью множество внешнеторговых рядов может бытьприб лижено пространством семи главных компонент. Построен прогноз автономного развития регионов и глобальной динамики до 2040 года.

В работе рассматриваются базовая модель конкурентных взаимодействий и ее использование для анализа и описания социальных процессов. Особенностью модели является то, что она описывает взаимодействие нескольких конкурирующих акторов, при этом акторы могут варьировать стратегию своих действий, в частности, образовывать коалиции для совместного противодействия общему противнику.

В результате моделирования выявлены различные режимы конкурентного взаимодействия, проведена их классификация, описаны их особенности. В ходе исследования уделено внимание так называемым негрубым (по А.А. Андронову) случаям реализации конкурентного взаимодействия, которые до сих пор редко рассматривались в научной литературе, но зато достаточно часто встречаются в реальной жизни. Сиспо льзованием базовой математической модели рассмотрены условия реализации различных режимов конкурентных взаимодействий, определены условия перехода от одних режимов к другим, приведены примеры реализации этих режимов в экономике, социальной и политической жизни.

Показано, что при относительно невысоком уровне конкуренции, носящей неантагонистический характер, конкуренция может приводить к повышению активности взаимодействующих акторов и к общему экономическому росту. Причем при наличии расширяющихся ресурсных возможностей (до тех пор, пока такие возможности сохраняются) данный рост может иметь гиперболический характер. При снижении ресурсных возможностей и усилении конкуренции происходит переход к колебательному режиму, когда более слабые акторы объединяются для совместного противодействия более сильным. При дальнейшем снижении ресурсных возможностей и усилении конкуренции происходит переход к формированию устойчивых иерархических структур. При этом модель показывает, что в определенный момент происходит потеря устойчивости, система становится негрубой (по А.А. Андронову) и чувствительной к флуктуациям изменений параметров. В результате сложившиеся иерархии могут разрушиться и замениться на новые. При дальнейшем повышении интенсивности конкуренции происходит полное подавление актором-лидером своих оппонентов и установление монополизма.

Приведены примеры из экономической, социальной, политической жизни, иллюстрирующие закономерности, выявленные на основе моделирования с использованием базовой модели конкуренции. Полученные результаты могут быть использованы при анализе, моделировании и прогнозировании социально-экономических и политических процессов.