Все выпуски

В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.

Приведены результаты исследований по идентификации каналов управляемого объекта, основанные на постобработке измерений с созданием модели многовходового управляемого объекта и последующем активном вычислительном эксперименте. Построение модели управляемого объекта осуществляется путем аппроксимации его поведения нейросетевой моделью по трендам, полученным в ходе пассивного эксперимента в режиме нормальной эксплуатации. Рекуррентная нейронная сеть, имеющая в своем составе элементы в виде обратных связей, позволяет моделировать поведение динамических объектов. Временны́е задержки входных сигналов и сигналов обратных связей позволяют моделировать поведение инерционных объектов с чистым запаздыванием. Обученная на примерах функционирования объекта с системой управления модель представлена динамической нейронной сетью и моделью регулятора с известной функцией регулирования. Нейросетевая модель эмулирует поведение системы и используется для проведения на ней опытов активного вычислительного эксперимента. Нейросетевая модель позволяет получить отклик управляемого объекта на испытательное воздействие, в том числе и на периодическое. По полученной комплексной частотной характеристике с применением метода наименьших квадратов находят значения параметров передаточной функции каналов объекта. Представлен пример идентификации канала имитационной системы управления. Имитационный объект имеет два входа и один выход и обладает различным транспортным запаздыванием по каналам передачи. Один из входов является управляющим воздействием, второй является контролируемым возмущением. Выходная управляемая величина изменяется в результате управляющего воздействия, вырабатываемого регулятором, работающим по пропорционально-интегральному закону регулирования, на основании отклонения управляемой величины от задания. Найденные параметры передаточных функций каналов имитационного объекта близки к значениям параметров исходного имитационного объекта. Приведенная ошибка реакции на единичное ступенчатое воздействие модели системы управления, построенной по результатам идентификации имитационной системы управления, не превышает 0.08. Рассматриваемые объекты относятся к классу технологических процессов с непрерывным характером производства. Подобные объекты характерны для химической, металлургической, горно-обогатительной, целлюлозно-бумажной и ряда других отраслей промышленности.

Решение задачи лазерной спектрометрии позволяет определять размеры частиц в растворе по спектру интенсивности рассеянного света. В результате эксперимента методом динамического рассеяния света получается кривая интенсивности рассеяния, по которой необходимо определить, частицы каких размеров представлены в растворе. Экспериментально полученный спектр интенсивности сравнивается с теоретически ожидаемым спектром, который является кривой Лоренца. Основная задача сводится к тому, чтобы на основании этих данных найти относительные концентрации частиц каждого сорта, представленных в растворе. В статье представлен способ построения и использования нейронной сети, обученной на синтетических данных, для определения размера частиц в растворе в диапазоне 1–500 нм. Нейронная сеть имеет полносвязный слой из 60 нейронов с функцией активации RELU на выходе, слой из 45 нейронов и с аналогичной функцией активации, слой dropout и 2 слоя с количеством нейронов 15 и 1 (выход сети). В статье описано, как сеть обучалась и тестировалась на синтетических и экспериментальных данных. На синтетических данных метрика «среднеквадратичное отклонение» (rmse) дала значение 1.3157 нм. Экспериментальные данные были получены для размеров частиц 200 нм, 400 нм и раствора с представителями обоих размеров. Сравниваются результаты работы нейронной сети и классических линейных методов, основанных на применении различных регуляризаций за счет введения дополнительных параметров и применяемых для определения размера частиц. К недостаткам классических методов можно отнести трудность автоматического определения степени регуляризации: слишком сильная регуляризация приводит к тому, что кривые распределения частиц по размерам сильно сглаживаются, а слабая регуляризация дает осциллирующие кривые и низкую надежность результатов. В работе показано, что нейронная сеть дает хорошее предсказание для частиц с большим размером. Для малых размеров предсказание хуже, но ошибка быстро уменьшается с увеличением размера.

В работе представлен метод подбора состава смесевого хладагента (СХА) с заданной изобарной кривой кипения с помощью искусственной нейронной сети (ИНС). Данный метод основан на использовании 1D-слоев сверточной нейронной сети. Для обучения нейронной сети была применена термодинамическая модель простого теплообменника в программе UniSim design с использованием уравнения состояния Пенга–Робинсона. С помощью термодинамической модели была создана синтетическая база данных по изобарным кривым кипения СХА разного состава. Для записи базы данных был разработан алгоритм на языке программирования Python, и с помощью COM интерфейса была выгружена информация по изобарным кривым кипения для 1 049 500 вариантов состава СХА. Генерация составов СХА была проведена с помощью метода Монте-Карло с равномерным распределением псевдослучайного числа. Авторами разработана архитектура искусственной нейронной сети, которая позволяет подбирать состав СХА. Для обучения ИНС была применена методика циклически изменяемого коэффициента обучения. В результате применения обученной ИНС был подобран состав СХА с минимальным температурным напором 3 К, а максимальным — не более 10 К между горячим и холодным потоками в теплообменнике. Было проведено сравнение предложенного метода с методом поиска наилучшего совпадения в исходной выборке по методу $k$-ближних соседей, а также со стандартным методом оптимизации SQP в программе UniSim design. Показано, что искусственная нейронная сеть может быть использована для подбора оптимального состава хладагента при анализе кривой охлаждения природного газа. Разработанный метод может помочь инженерам подбирать состав СХА в режиме реального времени, что позволит сократить энергетические затраты на сжижение природного газа.

В данной работе рассматривается управляемое движение в идеальной жидкости винтового тела с тремя лопастями за счет вращения трех внутренних роторов. Ставится задача выбора управляющих воздействий, обеспечивающих движение тела вблизи заданной траектории. Для определения управлений, гарантирующих движение вблизи заданной кривой, предложены методы, основанные на применении гибридных генетических алгоритмов (генетические алгоритмы с вещественным кодированием с дополнительным обучением лидера популяции каким-либо градиентным методом) и искусственных нейронных сетей. Корректность работы предложенных численных методов оценивается с помощью полученных ранее дифференциальных уравнений, определяющих закон изменения управляющих воздействий для заданной траектории.

В подходе на основе гибридных генетических алгоритмов исходная задача минимизации интегрального функционала сводится к минимизации функции многих переменных. Заданный временной интервал разбивается на малые элементы, на каждом из которых управляющие воздействия аппроксимируются полиномами Лагранжа 2 и 3 порядков. Гибридные генетические алгоритмы при соответствующих настройках воспроизводят решение, близкое точному. Однако стоимость расчета 1 секунды физического процесса составляет порядка 300 секунд процессорного времени.

Для повышения быстродействия расчета управляющих воздействий предложен алгоритм на основе искусственных нейронных сетей. В качестве входного сигнала нейронная сеть принимает компоненты требуемого вектора перемещения. В качестве выходного сигнала возвращаются узловые значения полиномов Лагранжа, приближенно описывающих управляющие воздействия. Нейронная сеть обучается хорошо известным методом обратного распространения ошибки. Обучающая выборка генерируется с помощью подхода на основе гибридных генетических алгоритмов. Расчет 1 секунды физического процесса с помощью нейронной сети требует примерно 0.004 секунды процессорного времени. То есть на 6 порядков быстрее по сравнению в гибридным генетическим алгоритмом. Управление, рассчитанное с помощью искусственной нейронной сети, отличается от точного. Однако, несмотря на данное отличие, обеспечивает достаточно точное следование по заданной траектории.

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.

В работе предложен адаптивный алгоритм, моделирующий процесс формирования начальных поведенческих навыков на примере системы «глаза–манипулятор» анимата. Ситуация формирования начальных поведенческих навыков возникает, например, когда ребенок осваивает управление своими руками на основе понимания связи между исходно неидентифицированными пятнами на сетчатке своих глаз и положением реального предмета. Поскольку навыки управления телом не «вшиты» исходно в головной и спинной мозг на уровне инстинктов, то человеческому ребенку, как и большинству детенышей других млекопитающих, приходится осваивать эти навыки в режиме поискового поведения. Поисковое поведение начинается с метода проб и ошибок в чистом виде, затем его вклад постепенно уменьшается по мере освоения своего тела и окружающей среды. Поскольку образцов правильного поведения на этом этапе развития организм не имеет, то единственным способом выделения правильных навыков является положительное подкрепление при достижении цели. Ключевой особенностью предлагаемого алгоритма является фиксация в режиме импринтинга только завершающих действий, которые привели к успеху, или, что очень важно, привели к уже знакомой запечатленной ситуации, однозначно приводящей к успеху. Со временем непрерывная цепочка правильных действий удлиняется — максимально используется предыдущий позитивный опыт, а негативный «забывается» и не используется. Тем самым наблюдается постепенная замена случайного поиска целенаправленными действиями, что наблюдается и у реальных детенышей.

Тем самым алгоритм способен устанавливать соответствие между закономерностями окружающего мира и «внутренними ощущениями», внутренним состоянием самого анимата. В предлагаемой модели анимата использовалось 2 типа нейросетей: 1) нейросеть NET1, на вход которой подавались текущие положения кисти руки и целевой точки, а на выходе — двигательные команды, направляющие «кисть» манипулятора анимата к целевой точке; 2) нейросеть NET2, которая на входе получала координаты цели и текущей координаты «кисти», а на выходе формировала значение вероятности того, что анимату уже «знакома» эта ситуация и он «знает», как на нее реагировать. Благодаря такой архитектуре у анимата есть возможность опираться на «опыт» нейросети в распознанных ситуациях, когда отклик от сети NET2 близок к 1, и, с другой стороны, запускать случайный поиск, когда опыта функционирования в этой области зрительного поля у анимата нет (отклик NET2 близок к 0).

Автоматизированные системы мониторинга городского трафика широко используются для решения различных задач в интеллектуальных транспортных системах различных регионов. Такие системы включают комплексы фотовидеофиксации, видеонаблюдения, управления дорожным трафиком и т. д. Для эффективного управления транспортным потоком и своевременного реагирования на дорожные инциденты необходимы непрерывный сбор и анализ потока информации, поступающей с данных комплексов, формирование прогнозных значений для дальнейшего выявления аномалий. При этом для повышения качества прогноза требуется агрегирование данных, поступающих из различных источников. Это позволяет уменьшить ошибку прогноза, связанную с ошибками и пропусками в исходных данных. В данной статье реализован подход к краткосрочному и среднесрочному прогнозированию транспортных потоков (5, 10, 15 минут) на основе агрегирования данных, поступающих от комплексов фотовидеофиксации и систем видеонаблюдения. Реализован прогноз с использованием различных архитектур рекуррентных нейронных сетей: LSTM, GRU, двунаправленной LSTM с одним и двумя слоями. Работа двунаправленной LSTM исследовалась для 64 и 128 нейронов в каждом слое. Исследовалась ошибка прогноза для различных размеров входного окна (1, 4, 12, 24, 48). Для оценки прогнозной ошибки использована метрика RMSE. В ходе проведенных исследований получено, что наименьшая ошибка прогноза (0.032405) достигается при использовании однослойной рекуррентной нейронной сети LSTM с 64 нейронами и размером входного окна, равном 24.

Рассматривается применение физически информированных нейронных сетей с использованием многослойных персептронов для решения задач Коши, в которых правые части уравнения являются непрерывными монотонно возрастающими, убывающими или осциллирующими функциями. С помощью вычислительных экспериментов изучено влияние метода построения приближенного нейросетевого решения, структуры нейронной сети, алгоритмов оптимизации и средств программной реализации на процесс обучения и точность полученного решения. Выполнен анализ эффективности работы наиболее часто используемых библиотек машинного обучения при разработке программ на языках программирования Python и C#. Показано, что применение языка C# позволяет сократить время обучения нейросетей на 20–40%. Выбор различных функций активации влияет на процесс обучения и точность приближенного решения. Наиболее эффективными в рассматриваемых задачах являются сигмоида и гиперболический тангенс. Минимум функции потерь достигается при определенном количестве нейронов скрытого слоя однослойной нейронной сети за фиксированное время обучения нейросетевой модели, причем усложнение структуры сети за счет увеличения числа нейронов не приводит к улучшению результатов обучения. При этом величина шага сетки между точками обучающей выборки, обеспечивающей минимум функции потерь, в рассмотренных задачах Коши практически одинакова. Кроме того, при обучении однослойных нейронных сетей наиболее эффективными для решения задач оптимизации являются метод Adam и его модификации. Дополнительно рассмотрено применение двух- и трех-слойных нейронных сетей. Показано, что в этих случаях целесообразно использовать алгоритм LBFGS, который по сравнению с методом Adam в ряде случаев требует на порядок меньшего времени обучения при достижении одинакового порядка точности. Исследованы также особенности обучения нейронной сети в задачах Коши, в которых решение является осциллирующей функцией с монотонно убывающей амплитудой. Для них необходимо строить нейросетевое решение не с постоянными, а с переменными весовыми коэффициентами, что обеспечивает преимущество такого подхода при обучении в тех узлах, которые расположены вблизи конечной точки интервала решения задачи.

Для систем когнитивного радио актуальным является использование эффективных алгоритмов поиска свободных каналов, которые могут быть предоставлены вторичным пользователям. Поэтому данная статья посвящена повышению точности прогнозирования занятости частотного ресурса системы сотовой связи с использованием пространственно-временных карт радиосреды. Формирование карты радиосреды осуществляется для системы сотовой связи четвертого поколения Long-Term Evolution. С учетом этого разработана структура модели, включающая генерацию данных и позволяющая выполнять обучение и тестирование искусственной нейронной сети для прогнозирования занятости частотных ресурсов, представленных в виде содержимого ячеек карты радиосреды. Описана методика оценки точности прогнозирования. Имитационная модель системы сотовой связи реализована в программной среде MatLab. Разработанная модель прогнозирования занятости частотного ресурса реализована на языке программирования Python. Представлена полная файловая структура модели. Эксперименты выполнены с использованием искусственных нейронных сетей на основе архитектур нейронных сетей Long Short-Term Memory и Колмогорова – Арнольда с учетом ее модификации. Установлено, что при равном количестве параметров нейронная сеть Колмогорова – Арнольда обучается быстрее для данной задачи. Полученные результаты исследований свидетельствуют о повышении точности прогнозирования занятости частотного ресурса системы сотовой связи при использовании нейронной сети Колмогорова – Арнольда.