Все выпуски

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

В работе рассмотрена краевая задача о движении тепловой волны для вырождающегося уравнения второго порядка параболического типа со степенной нелинейностью. Краевое условие задает уравнение движения на плоскости нулевого фронта тепловой волны, имеющего форму окружности. Предложен новый численно-аналитический алгоритм, в соответствии с которым решение строится по шагам по времени при разностной схеме дискретизации времени. На каждом шаге рассматривается краевая задача для уравнения Пуассона, к которому сводится исходное уравнение. Фактически она является обратной задачей Коши, в которой исходная граница области решения свободна от граничных условий, а на текущей границе (фронте волны) заданы два условия (Неймана и Дирихле). Решение этой задачи ищется в виде суммы частного решения уравнения Пуассона и решения соответствующего уравнения Лапласа, удовлетворяющего граничным условиям. Поскольку неоднородность зависит от искомой функции и ее производных, решение строится итерационно. Частное решение ищется методом коллокаций с помощью разложения неоднородности по радиальным базисным функциям. Обратная задача Коши для уравнения Лапласа решается методом нулевого поля применительно к круговым областям с круговыми отверстиями. Для таких задач этот метод применяется впервые. Вычислительный алгоритм оптимизирован за счет распараллеливания вычислений. Распараллеливание вычислений позволило эффективно реализовать алгоритм на высокопроизводительных вычислительных системах. На базе алгоритма была создана компьютерная программа. В качестве средства распараллеливания был выбран стандарт параллельного программирования OpenMP для языка программирования C++ как наиболее подходящий для вычислительных программ с параллельными циклами. Эффективность алгоритма и работоспособность программы были проверены сравнением результатов расчетов с известным точным решением, а также с численным решением, полученным авторами ранее с помощью метода граничных элементов. Проведенный вычислительный эксперимент показал хорошую сходимость итерационных процессов и более высокую точность нового алгоритма по сравнению с разработанным ранее. Анализ решений позволил определить наиболее подходящую систему радиальных базисных функций.

Важную роль при построении математических моделей динамических систем играют обратные задачи, к которым, в частности, относится задача параметрической идентификации. В отличие от классических моделей, оперирующих точечными значениями, интервальные модели дают ограничения сверху и снизу на исследуемые величины. В работе рассматривается интерполяционный подход к решению интервальных задач параметрической идентификации динамических систем для случая, когда экспериментальные данные представлены внешними интервальными оценками. Цель предлагаемого подхода заключается в нахождении такой интервальной оценки параметров модели, при которой внешняя интервальная оценка решения прямой задачи моделирования содержала бы экспериментальные данные или минимизировала бы отклонение от них. В основе подхода лежит алгоритм адаптивной интерполяции для моделирования динамических систем с интервальными неопределенностями, позволяющий в явном виде получать зависимость фазовых переменных от параметров системы. Сформулирована задача минимизации расстояния между экспериментальными данными и модельным решением в пространстве границ интервальных оценок параметров модели. Получено выражение для градиента целевой функции. На репрезентативном наборе задач продемонстрированы эффективность и работоспособность предлагаемого подхода.

В работе предлагается подход, позволяющий организовать оперативный контроль за интенсивностью действия источника выбросов в атмосферу. Восстановление неизвестной интенсивности источника загрязнения атмосферы производится по измерениям концентрации примеси в отдельных стационарных точках. Для решения обратной задачи использовались методы шаговой регуляризации и последовательной функциональной аппроксимации. Решение представлено в форме цифрового фильтра в смысле Хэмминга. Описан алгоритм выбора регуляризирующего параметра r для метода функциональной аппроксимации. Работа продолжает исследования, представленные в [1,2].

В работе рассматривается вопрос об улучшении качества изображений, получаемых в задаче томографии. Задача заключается в нахождении границ неоднородностей (включений) в сплошной среде по результатам просвечивания этой среды потоком излучения. Предложено нелинейное интегральное преобразование специального вида, которое позволяет улучшить качество изображений по сравнению с тем, которое получали авторы ряда работ ранее. Метод реализован численно с помощью компьютерного моделирования. Проведено несколько расчетов с использованием данных для конкретных материалов. Полученные при этом результаты представлены рисунками и графическими изображениями.

В данной статье рассматривается метод построения прогнозной нейросетевой модели временного ряда, основанный на определении состава входных переменных, построения обучающей выборки и самого обучения с использованием метода обратного распространения ошибки. Традиционные методы построения прогнозных моделей временного ряда (авторегрессионной модели, модели скользящего среднего или модели авторегрессии – скользящего среднего) позволяют аппроксимировать временной ряд линейной зависимостью текущего значения выходной переменной от некоторого количества ее предыдущих значений. Такое ограничение, как линейность зависимости, приводит к значительным ошибкам при прогнозировании.

Технологии интеллектуального анализа с применением нейросетевого моделирования позволяют аппроксимировать временной ряд нелинейной зависимостью. Причем процесс построения нейросетевой модели (определение состава входных переменных, числа слоев и количества нейронов в слоях, выбор функций активации нейронов, определение оптимальных значений весов связей нейронов) позволяет получить прогнозную модель в виде аналитической нелинейной зависимости.

Одним из ключевых моментов при построении нейросетевых моделей в различных прикладных областях, влияющих на ее адекватность, является определение состава ее входных переменных. Состав входных переменных традиционно выбирается из некоторых физических соображений или методом подбора. Для задачи определения состава входных переменных прогнозной нейросетевой модели временного ряда предлагается использовать особенности поведения автокорреляционной и частной автокорреляционной функций.

В работе предлагается метод определения состава входных переменных нейросетевых моделей для стационарных и нестационарных временных рядов, базирующийся на построении и анализе автокорреляционных функций. На основе предложенного метода разработаны алгоритм и программа в среде программирования Python, определяющая состав входных переменных прогнозной нейросетевой модели — персептрона, а также строящая саму модель. Осуществлена экспериментальная апробация предложенного метода на примере построения прогнозной нейросетевой модели временного ряда, отражающего потребление электроэнергии в разных регионах США, открыто опубликованной компанией PJM Interconnection LLC (PJM) — региональной сетевой организацией в Соединенных Штатах. Данный временной ряд является нестационарным и характеризуется наличием как тренда, так и сезонности. Прогнозирование очередных значений временного ряда на ос- нове предыдущих значений и построенной нейросетевой модели показало высокую точность аппроксимации, что доказывает эффективность предлагаемого метода.

Деформирование сплошных сред из материалов с памятью формы под влиянием возрастающей нагрузки и при постоянной температуре протекает обычным для металлов идеальным упругопластическим образом. При этом величина максимальных упругих деформаций много меньше предельных пластических. Восстановление формы происходит при повышенной температуре и невысоком уровне напряжений. Феноменологически «обратное» деформирование аналогично с точностью до знака изменению формыпри активном загружении силами. Так как в неупругом процессе решающую роль играет пластическая деформация, то анализ механического поведения целесообразно провести в рамках идеальной жесткопластической модели с двумя поверхностями нагружения. В этой модели поверхностям нагружения отвечают два физических состояния материала: пластическое течение при высоких напряжениях и плавление при сравнительно невысокой температуре. Во втором параграфе формулируется задача деформирования жесткопластических сред при постоянной температуре в двух формах: в виде принципа виртуальных скоростей с условием текучести Мизеса и как требование минимальности диссипативного функционала. Доказываются равносильность принятых формулировок и существование обобщенных решений в обоих принципах. В третьем параграфе изучается жесткопластическая модель сплошной среды при изменяющейся температуре с двумя поверхностями нагружения. Для принятой модели формулируются два оптимальных принципа, связывающих внешние нагрузки и скорости перемещений точек среды как при активном нагружении, так и в процессе восстановления формыпр и нагревании. Доказано существование обобщенных скоростей для широкого класса трехмерных областей. Связь вариационных принципов и изменяющейся температуры обеспечивается включением в расчетную схему первого и второго начал термодинамики. Существенно, что в процессе доказательств используется только феноменологическое описание явления. Аустенитно-мартенситные превращения сплавов, которые часто являются основными при объяснении механического поведения материалов с памятью формы, не используются. В четвертом параграфе дано определение материалов с памятью формы как сплошных сред с двумя поверхностями нагружения, доказано существование решений в принятых ограничениях. Показана адекватность модели и опытов по деформированию материалов с памятью формы. В заключении формулируются математические задачи, которые представляются интересными в будущих исследованиях.

Основной особенностью двумерного турбулентного течения, постоянно возбуждаемого внешней силой, является возникновение обратного каскада энергии. За счет нелинейных эффектов пространственный масштаб вихрей, создаваемых внешней силой, увеличивается до тех пор, пока рост не будет остановлен размером ячейки. В последнем случае энергия накапливается на этом масштабе. При определенных условиях такое накопление энергии приводит к возникновению системы когерентных вихрей. Наблюдаемые вихри имеют размер ячейки и в среднем изотропны. Численное моделирование является эффективным способом изучения таких процессов. Особый интерес представляет задача исследования турбулентности вязкой жидкости в квадратной ячейке при возбуждении коротковолновой и длинноволновой статическими внешними силами. Численное моделирование проводилось со слабосжимаемой жидкостью в двумерной квадратной ячейке с нулевыми граничными условиями. В работе показано, как на характеристики течения влияет пространственная частота внешней силы, а также величина вязкости самой жидкости. Увеличение пространственной частоты внешней силы приводит к стабилизации и ламинаризации течения. В то же время при увеличении пространственной частоты внешней силы уменьшение вязкости приводит к возобновлению механизма переноса энергии по обратному каскаду за счет смещения области диссипации энергии в область меньших масштабов по сравнению с масштабом накачки.

Рассмотрена модель горения предварительно перемешанной смеси газов с одной глобальной химической реакцией, включающая в себя уравнения второго порядка относительно температуры смеси и концентраций топлива и окислителя, в правые части которых входит функция скорости реакции. Эта функция зависит от пяти неизвестных параметров глобальной реакции и служит приближением для многоступенчатого механизма реакций. Модель сводится к одному уравнению второго порядка относительно температуры смеси, которое после замены переменных преобразуется к уравнению первого порядка относительно производной температуры, зависящей от температуры, в которое входит параметр скорости распространения пламени. Таким образом, для вычисления параметра скорости распространения пламени необходимо решить задачу Дирихле для уравнения первого порядка, в результате чего получится модельная зависимость скорости распространения пламени от эквивалентного отношения смеси при заданных параметрах скорости реакции. При наличии экспериментальных данных зависимости скорости распространения пламени от эквивалентного отношения смеси ставится задача оптимального подбора параметров скорости реакции, исходя из минимизации среднеквадратичного отклонения модельных значений скорости распространения пламени от эксперимента. Целью работы является исследование однозначности решения этой задачи. Для этого применяется вычислительный эксперимент, в ходе которого решается задача глобального поиска оптимумов с помощью мультистарта градиентного спуска. В ходе вычислительного эксперимента выяснено, что обратная задача в такой постановке является недоопределенной, и всякий раз при запуске градиентного метода из новой точки получается новая предельная точка. Исследована структура множества предельных точек в пятимерном пространстве параметров и показано, что это множество может быть описано тремя линейными уравнениями. Таким образом, будет некорректным табулировать все пять параметров скорости реакции исходя из одного лишь критерия соответствия модели данным скорости распространения пламени. Вывод исследования заключается в том, что для корректного табулирования параметров необходимо указать значения двух из них исходя из дополнительных критериев оптимальности.

В данной работе решается задача поиска конструкции магнитной системы для создания магнитного поля с требуемыми характеристиками в заданной области. На основе анализа математической модели магнитной системы предлагается достаточно общий подход к решению нелинейной обратной задачи, которая описывается уравнением Фредгольма H(z) = ∫_SIJ(s)G(z, s)ds, z ∈ S _H, s ∈ S _I . Необходимо определить распределение плотности тока J(s), а также расстановку источников тока для создания поля H(z). В работе предлагается метод решения этих задачс помощью регуляризованных итерационных процессов. На примере конкретной магнитной системы проводится численное исследование влияния различных факторов на характер создаваемого магнитного поля.