Все выпуски

В работе проведено сравнение различных методов машинной классификации научных текстов по тематическим разделам на примере публикаций в профильных медицинских журналах, выпускаемых издательством Springer. Исследовался корпус текстов по пяти разделам: фармакология/токсикология, кардиология, иммунология, неврология и онкология. Рассматривались как методы поверхностной классификации, основанные на анализе аннотаций и ключевых слов, так и методы классификации на основе обработки собственно текстов. Были применены методы байесовской классификации, опорных векторов и эталонных буквосочетаний. Показано, что наилучшую точность имеет метод классификации на основе создания библиотеки эталонов буквенных триграмм, отвечающих текстам определенной тематики, а семантические методы уступают ему по точности. Выяснилось, что применительно к рассматриваемому корпусу текстов байесовский метод дает ошибку порядка 20 %, метод опорных векторов имеет ошибку порядка 10 %, а метод близости распределения текста к трехбуквенному эталону тематики дает ошибку порядка 5 %, что позволяет ранжировать эти методы для использования искусственного интеллекта в задачах классификации текстов по отраслевым специальностям. Существенно, что при анализе аннотаций метод опорных векторов дает такую же точность, что и при анализе полных текстов, что важно для сокращения числа операций для больших корпусов текстов.

Предложен метод отображения промежуточных представлений C-, C++-программ в пространство векторов (эмбеддингов) для оценки производительности программ на этапе компиляции, без необходимости исполнения. Использование эмбеддингов для данной цели позволяет не проводить сравнение графов исследуемых программ непосредственно, что вычислительно упрощает задачу сравнения программ. Метод основан на серии трансформаций исходного промежуточного представления (IR), таких как: инструментирование — добавление фиктивных инструкций в оптимизационном проходе компилятора в зависимости от разности смещений в текущей инструкции обращения к памяти относительно предыдущей, преобразование IR в многомерный вектор с помощью технологии IR2Vec с понижением размерности по алгоритму t-SNE (стохастическое вложение соседей с t-распределением). В качестве метрики производительности предлагается доля кэш-промахов 1-го уровня (D1 cache misses). Приводится эвристический критерий отличия программ с большей долей кэш-промахов от программ с меньшей долей по их образам. Также описан разработанный в ходе работы проход компилятора, генерирующий и добавляющий фиктивные инструкции IR согласно используемой модели памяти. Приведено описание разработанного программного комплекса, реализующего предложенный способ оценивания на базе компиляторной инфраструктуры LLVM. Проведен ряд вычислительных экспериментов на синтетических тестах из наборов программ с идентичными потоками управления, но различным порядком обращений к одномерному массиву, показано, что коэффициент корреляции между метрикой производительности и расстоянием до эмбеддинга худшей программы в наборе отрицателен вне зависимости от инициализации t-SNE, что позволяет сделать заключение о достоверности эвристического критерия. Также в статье рассмотрен способ генерации тестов. По результатам экспериментов, вариативность значений метрики производительности на исследуемых множествах предложена как метрика для улучшения генератора тестов.

Представлена математическая модель задачи оптимального размещения предприятий по производству топлива из возобновляемых древесных отходов для обеспечения распределенной системы теплоснабжения региона. Оптимизация осуществляется исходя из минимизации совокупных затрат на производство конечного продукта – тепловой энергии на основе древесного топлива. Предложен метод решения задачи с использованием генетического алгоритма. Приведены практические результаты применения модели на примере Удмуртской Республики.

Рассмотрена задача прогнозирования количества занятых и безработных многоотраслевого рынка труда на основе балансовой математической модели межотраслевых перемещений трудовых ресурсов.

Балансовая математическая модель позволяет вычислять значения показателей межотраслевых перемещений с помощью только статистических данных по отраслевой занятости и безработице, предоставляемых Федеральной службой государственной статистики. Вычисленные за несколько лет подряд показатели межотраслевых перемещений трудовых ресурсов используются для построения трендов каждого из этих показателей. С помощью найденных трендов осуществляется прогнозирование показателей межотраслевых перемещений трудовых ресурсов, на основе результатов которого проводится прогнозирование отраслевой занятости и безработицы исследуемого многоотраслевого рынка труда.

Предложенный подход применен для прогнозирования занятых специалистов в отраслях народного хозяйства Российской Федерации в 2011–2016 гг. Для описания тенденций показателей, определяющих межотраслевые перемещения трудовых ресурсов, использовались следующие виды трендов: линейный, нелинейный, константный. Порядок выбора трендов наглядно продемонстрирован на примере показателей, определяющих перемещения трудовых ресурсов из отрасли «Транспорт и связь» в отрасль «Здравоохранение и предоставление социальных услуг», а также из отрасли «Государственное управление и обеспечение военной безопасности, социальное обеспечение» в отрасль «Образование».

Произведено сравнение нескольких подходов к прогнозированию: наивный прогноз, в рамках которого прогнозирование показателей рынка труда осуществлялось только на основе константного тренда; прогнозирование на основе балансовой модели с использованием только константного тренда для всех показателей, определяющих межотраслевые перемещения трудовых ресурсов; прогноз непосредственно по количеству занятых в отраслях экономики с помощью рассматриваемых в работе видов трендов; прогнозирование на основе балансовой модели с выбором тренда для каждого показателя, определяющего межотраслевые перемещения трудовых ресурсов. Показано, что использование балансовой модели обеспечивает лучшее качество прогноза по сравнению с прогнозированиемне посредственно по количеству занятых. Учет трендов показателей межотраслевых перемещений улучшает качество прогноза.

Также в статье приведены примеры анализа состояния многоотраслевого рынка труда Российской Федерации. С помощью балансовой модели были получены такие сведения, как распределение исходящих из конкретных отраслей потоков трудовых ресурсов по отраслямэк ономики, отраслевая структура входящих в конкретные отрасли потоков трудовых ресурсов. Эти сведения не содержаться непосредственно в данных, предоставляемых Федеральной службой государственной статистики.

Предложена методика решения задачи логистики топливоснабжения региона, включающая в себя взаимосвязанные задачи маршрутизации, кластеризации, оптимального распределения ресурсов и управления запасами. Расчеты проведены на примере системы топливоснабжения Удмуртской Республики.

Обработка больших массивов данных обычно происходит в несколько последовательно выполняемых этапов, таких как пред- и постобработка, после каждого из которых промежуточные данные записываются на диск; однако, для каждой задачи этап предварительной обработки может отличаться, и в таком случае непосредственная передача данных по вычислительному конвейеру от одного этапа (звена) к другому бу- дет более эффективным с точки зрения производительности решением. В более общем случае некоторые этапы можно разделить на параллельные части, сформировав таким образом распределенный вычислительный конвейер, каждое звено которого может иметь несколько входов и выходов. Такой принцип обработки данных применяется в задаче о классификации энергетических спектров морского волнения, которая основана на аппроксимациях, позволяющих извлекать параметры отдельных систем волн (тип волн, генеральное направление волн и т. п.). Система, построенная на этом принципе показывает более высокую производительность по сравнению с часто применяемой поэтапной обработкой данных.

При принятии решения в различных областях человеческой деятельности часто требуется создавать текстовые документы. Традиционно изучением текстов занимается лингвистика, которая в широком смысле может пониматься как часть семиотики — науки о знаках и знаковых системах, при этом семиотические объекты бывают разных типов. Для количественного исследования знаковых систем широко используется метод ранговых распределений. Ранговое распределение — упорядоченная в порядке убывания по частоте появления совокупность наименований элементов. Для частотно-ранговых распределений исследователи часто используют название рower-law distributions.

В данной работе метод ранговых распределений применяется для анализа Уголовного кодекса различных стран. Общая идея подхода при решении этой задачи состоит в рассмотрении кодекса как текстового документа, в котором знаком является мера наказания за отдельные преступления. Документ представляется как список вхождений некоторого слова (знака), а также всех его производных (словоформ). Совокупность всех этих знаков образует словарь наказаний, для которого выполняется подсчет частоты встречаемости каждой меры наказания в тексте кодекса. Это позволяет преобразовать построенный словарь в частотный словарь наказаний, для дальнейшего исследования которого используются подход В. П. Маслова, предложенный им к анализу задач лингвистики. Этот подход состоит в введении понятия виртуальной частоты встречаемости преступления, которая является мерой оценки не только реального вреда для общества, но и последствий совершенного преступления в различных сферах жизни человека. На этом пути в работе предлагается параметризация рангового распределения для анализа словаря наказаний Особенной части Уголовного кодекса Российской Федерации, касающейся наказаний за экономические преступления. Рассмотрены различные редакции кодекса и показано, что построенная модель объективно отражает его изменения в лучшую сторону, вносимые законодателями с течением времени. Были исследованы тексты, включающие сходные по составу преступления, аналогичные российскому специальному разделу Особенной части, для Уголовных кодексов, действующих в Федеративной Республике Германия и Китайской Народной Республике. Полученные в статье ранговые распределения для соответствующих частотных словарей кодексов совпадают с полученным В. П. Масловым законом, существенно уточняющим закон Ципфа. Это позволяет сделать вывод как о хорошей организации текста, так и об адекватности выбранного наказания для преступлений.

В то время как каждая задача воссоздания артефактов уникальна, моделирование фасадов, фундаментов и конструктивных элементов строений может быть параметризовано. В работе рассмотрен комплекс существующих программных библиотек и решений, которые необходимо объединить в единую вычислительную систему для решения такой задачи. Представлен алгоритм генерации трехмерного заполнения реконструируемых объектов. Рассмотрена архитектура решения, необходимая для переноса системы в облачную среду.

Представленная работа описывает опыт создания и развёртывания веб-приложения и гридинфраструктуры для решения задач геофизики, требующих большого количества вычислительных ресурсов. В работе представлен обзор технологии и механизма платформы интеграции геофизических приложений с распределёнными вычислительными системами. Разработанная платформа предоставляет собой промежуточное программное обеспечение, предоставляющая удобный доступ к развёрнутым на ее основе геофизическим приложениям. Доступ к приложению осуществляется через веб-браузер. Интеграция новых приложений облегчается за счёт предоставляемого стандартного универсального интерфейса взаимодействия платформы и новым приложением.

Для организации распределённой вычислительной системы применено ПО Gridway, экземпляр которого взаимодействует с виртуализированными вычислительными кластерами. Виртуализация вычислительных кластеров предоставляет новые возможности при утилизации вычислительных ресурсов по сравнению с традиционными схемами организации кластерного ПО.

В качестве пилотной задачи использована обратная задача определение параметров анизотропии коры и верхней мантии по данным телесейсмических наблюдений. Для решения использован вероятностный подход к решению обратных задач, основанный на формализме апостериорной функции распределения (АПФР). При этом вычислительная задача сводится к табулированию многомерной функции. Результат вычислений представлен в удобном для анализа высокоуровневом виде, доступ и управление осуществляется при помощи СУБД. Приложение предоставляет инструменты анализу АПФР: расчет первых моментов, двумерные маргинальные распределения, двумерные сечения АПФР в точках ее максимума. При тестировании веб-приложения были выполнены вычислены как синтетических, так и для реальных данных.

Многовариантные расчеты являются чрезвычайно важным классом приложений, обычно определяемых как набор вычислительных задач, определенных на множестве входных параметров и запускаемых с различными значениями данных параметров. Необходимость такого рода вычислений возникает во многих научных областях. Данная статья рассматривает веб-сервис, реализующий запуск данных приложений в распределенной вычислительной среде, а также облачную платформу Everest, на базе которой реализован данный сервис.