Все выпуски

В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.

В работе представлен метод подбора состава смесевого хладагента (СХА) с заданной изобарной кривой кипения с помощью искусственной нейронной сети (ИНС). Данный метод основан на использовании 1D-слоев сверточной нейронной сети. Для обучения нейронной сети была применена термодинамическая модель простого теплообменника в программе UniSim design с использованием уравнения состояния Пенга–Робинсона. С помощью термодинамической модели была создана синтетическая база данных по изобарным кривым кипения СХА разного состава. Для записи базы данных был разработан алгоритм на языке программирования Python, и с помощью COM интерфейса была выгружена информация по изобарным кривым кипения для 1 049 500 вариантов состава СХА. Генерация составов СХА была проведена с помощью метода Монте-Карло с равномерным распределением псевдослучайного числа. Авторами разработана архитектура искусственной нейронной сети, которая позволяет подбирать состав СХА. Для обучения ИНС была применена методика циклически изменяемого коэффициента обучения. В результате применения обученной ИНС был подобран состав СХА с минимальным температурным напором 3 К, а максимальным — не более 10 К между горячим и холодным потоками в теплообменнике. Было проведено сравнение предложенного метода с методом поиска наилучшего совпадения в исходной выборке по методу $k$-ближних соседей, а также со стандартным методом оптимизации SQP в программе UniSim design. Показано, что искусственная нейронная сеть может быть использована для подбора оптимального состава хладагента при анализе кривой охлаждения природного газа. Разработанный метод может помочь инженерам подбирать состав СХА в режиме реального времени, что позволит сократить энергетические затраты на сжижение природного газа.

В данной работе рассматривается управляемое движение в идеальной жидкости винтового тела с тремя лопастями за счет вращения трех внутренних роторов. Ставится задача выбора управляющих воздействий, обеспечивающих движение тела вблизи заданной траектории. Для определения управлений, гарантирующих движение вблизи заданной кривой, предложены методы, основанные на применении гибридных генетических алгоритмов (генетические алгоритмы с вещественным кодированием с дополнительным обучением лидера популяции каким-либо градиентным методом) и искусственных нейронных сетей. Корректность работы предложенных численных методов оценивается с помощью полученных ранее дифференциальных уравнений, определяющих закон изменения управляющих воздействий для заданной траектории.

В подходе на основе гибридных генетических алгоритмов исходная задача минимизации интегрального функционала сводится к минимизации функции многих переменных. Заданный временной интервал разбивается на малые элементы, на каждом из которых управляющие воздействия аппроксимируются полиномами Лагранжа 2 и 3 порядков. Гибридные генетические алгоритмы при соответствующих настройках воспроизводят решение, близкое точному. Однако стоимость расчета 1 секунды физического процесса составляет порядка 300 секунд процессорного времени.

Для повышения быстродействия расчета управляющих воздействий предложен алгоритм на основе искусственных нейронных сетей. В качестве входного сигнала нейронная сеть принимает компоненты требуемого вектора перемещения. В качестве выходного сигнала возвращаются узловые значения полиномов Лагранжа, приближенно описывающих управляющие воздействия. Нейронная сеть обучается хорошо известным методом обратного распространения ошибки. Обучающая выборка генерируется с помощью подхода на основе гибридных генетических алгоритмов. Расчет 1 секунды физического процесса с помощью нейронной сети требует примерно 0.004 секунды процессорного времени. То есть на 6 порядков быстрее по сравнению в гибридным генетическим алгоритмом. Управление, рассчитанное с помощью искусственной нейронной сети, отличается от точного. Однако, несмотря на данное отличие, обеспечивает достаточно точное следование по заданной траектории.

Представлена модель гибридной искусственной нейронной сети, основанная на архитектуре, включающей сверточный энкодер изображений (Convolutional Neural Network, CNN) и модуль внимания (Attention-based Multiple Instance Learning, Attention MIL), обеспечивающий агрегирование информативных признаков из последовательности кадров процесса газопламенного напыления. Дополнительные технологические параметры — давление воздуха, давление пропана и расстояние от сопла до поверхности — интегрируются в модель через табличный канал, что позволяет учитывать взаимосвязь между визуальными и числовыми характеристиками технологического режима. Программная реализация выполнена на платформе Streamlit с использованием библиотеки PyTorch и включает интерактивный интерфейс для обучения и визуализации результатов, анализ весов внимания по кадрам, а также режим прогнозирования выходных характеристик — шероховатости поверхности ($R_a$) и массы нанесенного слоя ($m$). Проведены экспериментальные исследования на данных реальных технологических процессов, выполнен сравнительный анализ точности различных конфигураций модели. Показано, что гибридная нейронная сеть, объединяющая визуальные и табличные признаки, обеспечивает более высокую точность прогноза по сравнению с моделями, использующими только одну из модальностей. При сравнении вариантов реализации гибридной нейронной сети установлено, что использование механизма внимания при формировании признаков серии изображений процесса газопламенного напыления обеспечивает существенное увеличение точности результатов по сравнению с режимом усреднения признаков без использования механизма внимания. В приложении реализован модуль визуализации внимания, который создает монтаж наиболее значимых кадров и отображает их веса внимания, что позволяет определить, какие кадры оказали наибольшее влияние на прогноз. Реализована возможность экспорта модели в формат ONNX для интеграции в системы технологического контроля. Предложенный подход демонстрирует эффективность слияния визуальной и табличной информации для задач мониторинга технологических процессов. Модель может служить основой для создания системы поддержки принятия решений или системы автоматизированного контроля качества покрытия при газопламенном напылении. Рассмотрены ограничения реализованной модели и перспективы ее дальнейшего развития.

Для систем когнитивного радио актуальным является использование эффективных алгоритмов поиска свободных каналов, которые могут быть предоставлены вторичным пользователям. Поэтому данная статья посвящена повышению точности прогнозирования занятости частотного ресурса системы сотовой связи с использованием пространственно-временных карт радиосреды. Формирование карты радиосреды осуществляется для системы сотовой связи четвертого поколения Long-Term Evolution. С учетом этого разработана структура модели, включающая генерацию данных и позволяющая выполнять обучение и тестирование искусственной нейронной сети для прогнозирования занятости частотных ресурсов, представленных в виде содержимого ячеек карты радиосреды. Описана методика оценки точности прогнозирования. Имитационная модель системы сотовой связи реализована в программной среде MatLab. Разработанная модель прогнозирования занятости частотного ресурса реализована на языке программирования Python. Представлена полная файловая структура модели. Эксперименты выполнены с использованием искусственных нейронных сетей на основе архитектур нейронных сетей Long Short-Term Memory и Колмогорова – Арнольда с учетом ее модификации. Установлено, что при равном количестве параметров нейронная сеть Колмогорова – Арнольда обучается быстрее для данной задачи. Полученные результаты исследований свидетельствуют о повышении точности прогнозирования занятости частотного ресурса системы сотовой связи при использовании нейронной сети Колмогорова – Арнольда.

Число работ, посвященных прогнозированию инфекционной заболеваемости, стремительно растет по мере появления статистики, позволяющей провести анализ. В настоящей статье представлен обзор основных решений, доступных сегодня для формирования как краткосрочных, так и долгосрочных проекций заболеваемости; указаны их ограничения и возможности практического применения. Рассмотрены традиционные методы анализа временных рядов — регрессионные и авторегрессионные модели; подходы, опирающиеся на машинное обучение — байесовские сети и искусственные нейронные сети; рассуждения на основе прецедентов; техники, базирующиеся на решении задачи фильтрации. Перечислены важнейшие направления разработки математических моделей распространения заболевания: классические аналитические модели, детерминированные и стохастические, а также современные имитационные модели, сетевые и агентные.

Краткосрочное прогнозирование потока трафика является однойиз основных задач моделирования транспортных систем, основное назначение которой — контроль дорожного движения, сообщение об авариях, избежание дорожных пробок за счет знания потока трафика и последующего планирования транспортировки. Существует два типа подходов для решения этой задачи: математическое моделирование трафика и модель с использованием количественных данных трафика. Тем не менее большинство пространственно-временных моделейст радают от высокой математической сложности и низкой эффективности. Искусственные нейронные сети, один из видных подходов второго типа, показывают обещающие результаты в моделировании динамики транспортнойс ети. В данной работе представлена архитектура нейронной сети, используемойдля прогнозирования скоростейт ранспортного потока на графе дорожной сети. Модель основана на объединении рекуррентнойней ронной сети и сверточнойней ронной сети на графе, где рекуррентная нейронная сеть используется для моделирования временных зависимостей, а сверточная нейронная сеть — для извлечения пространственных свойств из трафика. Для получения предсказанийна несколько шагов вперед используется архитектура encoder-decoder, позволяющая уменьшить накопление шума из-за неточных предсказаний. Для моделирования сложных зависимостей мы используем модель, состоящую из нескольких слоев. Нейронные сети с глубокойархитек туройсло жны для тренировки; для ускорения процесса тренировки мы используем skip-соединения между каждым слоем, так что каждыйслой учит только остаточную функцию по отношению к предыдущему слою. Полученная объединенная нейронная сеть тренировалась на необработанных данных с сенсоров транспортного потока из сети шоссе в США с разрешением в 5 минут. 3 метрики — средняя абсолютная ошибка, средняя относительная ошибка, среднеквадратическая ошибка — использовались для оценки качества предсказания. Было установлено, что по всем метрикам предложенная модель имеет более низкую погрешность предсказания по сравнению с ранее опубликованными моделями, такими как Vector Auto Regression, Long Short-Term Memory и Graph Convolution GRU.

Белки главного комплекса гистосовместимости (ГКГС) играют ключевую роль в работе адаптивной иммунной системы, и определение связывающихся с ними пептидов — важный шаг в разработке вакцин и понимании механизмов аутоиммунных заболеваний. На сегодняшний день существует ряд методов для предсказания связывания определенной аллели ГКГС с пептидом. Одним из лучших таких методов является NetMHCpan-4.0, основанный на ансамбле искусственных нейронных сетей. В данной работе представлена методология качественного улучшения архитектуры нейронной сети, лежащей в основе NetMHCpan-4.0. Предлагаемый метод использует технику построения ансамбля и добавляет в качестве входных данных оценку модели Поттса, взятой из статистической механики и являющейся обобщением модели Изинга. В общем случае модельо тражает взаимодействие спинов в кристаллической решетке. Применительно к задаче белок-пептидного взаимодействия вместо спинов используются типы аминокислот, находящихся в кармане связывания. В предлагаемом методе модель Поттса используется для более всестороннего представления физической природы взаимодействия полипептидных цепей, входящих в состав комплекса. Для оценки взаимодействия комплекса «ГКГС + пептид» нами используется двумерная модель Поттса с 20 состояниями (соответствующими основным аминокислотам). Решая обратную задачу с использованием данных об экспериментально подтвержденных взаимодействующих парах, мы получаем значения параметров модели Поттса, которые затем применяем для оценки новой пары «ГКГС + пептид», и дополняем этим значением входные данные нейронной сети. Такой подход, в сочетании с техникой построения ансамбля, позволяет улучшитьт очность предсказания, по метрике положительной прогностической значимости (PPV), по сравнению с базовой моделью.

Классические численные методы, применяемые для предсказания эволюции гидродинамических систем, предъявляют высокие требования к вычислительным ресурсам и накладывают ограничения на число вариантов геолого-гидродинамических моделей, расчет эволюции состояний которых возможно осуществлять в практических условиях. Одним из перспективных подходов к разработке эвристических оценок, которые могли бы ускорить рассмотрение вариантов гидродинамических моделей, является имитационное моделирование на основе обучающих данных. В рамках этого подхода методы машинного обучения используются для настройки весов искусственной нейронной сети (ИНС), предсказывающей состояние физической системы в заданный момент времени на основе начальных условий. В данной статье описаны оригинальная архитектура ИНС и специфическая процедура обучения, формирующие эвристическую модель двухфазного течения в гетерогенной пористой среде. Основанная на ИНС модель с приемлемой точностью предсказывает состояния расчетных блоков моделируемой системы в произвольный момент времени (с известными ограничениями) на основе только начальных условий: свойств гетерогенной проницаемости среды и размещения источников и стоков. Предложенная модель требует на порядки меньшего процессорного времени в сравнении с классическим численным методом, который послужил критерием оценки эффективности обученной модели. Архитектура ИНС включает ряд подсетей, обучаемых в различных комбинациях на нескольких наборах обучающих данных. Для обучения ИНС в рамках многоэтапной процедуры применены техники состязательного обучения и переноса весов из обученной модели.

В данной статье проводится анализ проблемы распознавания знаков дорожного движения в интеллектуальных транспортных системах. Рассмотрены основные понятия компьютерного зрения и задачи распознавания образов. Самым эффективным и популярным подходом к решению задач анализа и распознавания изображений на данный момент является нейросетевой, а среди возможных нейронных сетей лучше всего показала себя искусственная нейронная сеть сверточной архитектуры. Для решения задачи классификации при распознавании дорожных знаков использованы такие функции активации, как Relu и SoftMax. В работе предложена технология распознавания дорожных знаков. Выбор подхода для решения поставленной задачи на основе сверточной нейронной сети обусловлен возможностью эффективно решать задачу выделения существенных признаков и классификации изображений. Проведена подготовка исходных данных для нейросетевой модели, сформирована обучающая выборка. В качестве платформы для разработки интеллектуальной нейросетевой модели распознавания использован облачный сервис Google Colaboratory с подключенными библиотеками для глубокого обучения TensorFlow и Keras. Разработана и протестирована интеллектуальная модель распознавания знаков дорожного движения. Использованная сверточная нейронная сеть включала четыре каскада свертки и подвыборки. После сверточной части идет полносвязная часть сети, которая отвечает за классификацию. Для этого используются два полносвязных слоя. Первый слой включает 512 нейронов с функцией активации Relu. Затем идет слой Dropout, который используется для уменьшения эффекта переобучения сети. Выходной полносвязный слой включает четыре нейрона, что соответствует решаемой задаче распознавания четырех видов знаков дорожного движения. Оценка эффективности нейросетевой модели распознавания дорожных знаков методом трехблочной кроссалидации показала, что ее ошибка минимальна, следовательно, в большинстве случаев новые образы будут распознаваться корректно. Кроме того, у модели отсутствуют ошибки первого рода, а ошибка второго рода имеет низкое значение и лишь при сильно зашумленном изображении на входе.