Все выпуски

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

В данной статье рассматривается метод построения прогнозной нейросетевой модели временного ряда, основанный на определении состава входных переменных, построения обучающей выборки и самого обучения с использованием метода обратного распространения ошибки. Традиционные методы построения прогнозных моделей временного ряда (авторегрессионной модели, модели скользящего среднего или модели авторегрессии – скользящего среднего) позволяют аппроксимировать временной ряд линейной зависимостью текущего значения выходной переменной от некоторого количества ее предыдущих значений. Такое ограничение, как линейность зависимости, приводит к значительным ошибкам при прогнозировании.

Технологии интеллектуального анализа с применением нейросетевого моделирования позволяют аппроксимировать временной ряд нелинейной зависимостью. Причем процесс построения нейросетевой модели (определение состава входных переменных, числа слоев и количества нейронов в слоях, выбор функций активации нейронов, определение оптимальных значений весов связей нейронов) позволяет получить прогнозную модель в виде аналитической нелинейной зависимости.

Одним из ключевых моментов при построении нейросетевых моделей в различных прикладных областях, влияющих на ее адекватность, является определение состава ее входных переменных. Состав входных переменных традиционно выбирается из некоторых физических соображений или методом подбора. Для задачи определения состава входных переменных прогнозной нейросетевой модели временного ряда предлагается использовать особенности поведения автокорреляционной и частной автокорреляционной функций.

В работе предлагается метод определения состава входных переменных нейросетевых моделей для стационарных и нестационарных временных рядов, базирующийся на построении и анализе автокорреляционных функций. На основе предложенного метода разработаны алгоритм и программа в среде программирования Python, определяющая состав входных переменных прогнозной нейросетевой модели — персептрона, а также строящая саму модель. Осуществлена экспериментальная апробация предложенного метода на примере построения прогнозной нейросетевой модели временного ряда, отражающего потребление электроэнергии в разных регионах США, открыто опубликованной компанией PJM Interconnection LLC (PJM) — региональной сетевой организацией в Соединенных Штатах. Данный временной ряд является нестационарным и характеризуется наличием как тренда, так и сезонности. Прогнозирование очередных значений временного ряда на ос- нове предыдущих значений и построенной нейросетевой модели показало высокую точность аппроксимации, что доказывает эффективность предлагаемого метода.

Разработан вычислительный алгоритм для изучения химических процессов во внутренних течениях многокомпонентного газа при воздействии лазерного излучения. Математическая модель представляет собой уравнения газовой динамики с химическими реакциями при малых числах Маха с учетом диссипативных членов, которые описывают динамику вязкой теплопроводной среды с диффузией, химическими реакциями и подводом энергии посредством лазерного излучения. Для данной математической модели характерно наличие нескольких сильно различающихся между собой временных и пространственных масштабов. Вычислительный алгоритм построен на основе схемы расщепления по физическим процессам. Каждый шаг интегрирования по времени разбивается на следующие блоки: решение уравнений химической кинетики, решение уравнения для интенсивности излучения, решение уравнений конвекции – диффузии, расчет динамической составляющей давления и расчет коррекции вектора скорости. Решение жесткой системы уравнений химической кинетики проводится с помощью специализированной явной схемы второго порядка точности или подключаемым модулем RADAU5. Для нахождения конвективных членов в уравнениях применяются численные потоки Русанова и WENO-схема повышенного порядка аппроксимации. На основе полученного алгоритма разработан код с использованием технологии параллельных вычислений MPI. Созданный код использован для расчетов пиролиза этана с радикальными реакциями. Детально изучается формирование сверхравновесных концентраций радикалов по объему реактора. Проведено численное моделирование течения реакционного газа в плоской трубе с подводом лазерного излучения, востребованное для интерпретации экспериментальных результатов. Показано, что лазерное излучение увеличивает в разы конверсию этана и выходы целевых продуктов на коротких длинах ближе к входу в реакционную зону. Сокращение эффективной длины реакционной зоны позволяет предложить новые решения при проектировании реакторов конверсии этана в ценные углеводороды. Разработанные алгоритм и программа найдут свое применение в создании новых технологий лазерной термохимии.

Для модельного неоднородного уравнения переноса с источником выполнен анализ устойчивости линейной гибридной схемы (комбинации противопоточной и центральной аппроксимаций). Получены условия устойчивости, зависящие от параметра гибридности, фактора интенсивности источника (произведения интенсивности на шаг по времени) и весового коэффициента линейной комбинации мощности источника на нижнем и верхнем временном слое. В нелинейном случае для уравнений движения неравновесной по скоростям и температурам газовзвеси расчетным путем подтвержден линейный анализ устойчивости. Установлено, что предельно допустимое число Куранта гибридного метода крупных частиц второго порядка точности по пространству и времени при неявном учете трения и теплообмена между газом и частицами не зависит от фактора интенсивности межфазных взаимодействий, шага расчетной сетки и времен релаксации фаз (K-устойчивость). В традиционном случае явного способа расчета источниковых членов для значений безразмерного фактора интенсивности больше 10 наблюдается катастрофическое (на несколько порядков) снижение предельно допустимого числа Куранта, при котором расчетный шаг по времени становится неприемлемо малым.

На основе базовых соотношений распада разрыва в равновесной гетерогенной среде получено асимптотически точное автомодельное решение задачи взаимодействия ударной волны со слоем газовзвеси, к которому сходится численное решение двухскоростной двухтемпературной динамики газовзвеси при уменьшении размеровди сперсных частиц.

Изучены динамика движения скачка уплотнения в газе и его взаимодействия с ограниченным слоем газовзвеси для различных размеров дисперсных частиц: 0.1, 2 и 20 мкм. Задача характеризуется двумя распадами разрывов: отраженной и преломленной ударными волнами на левой границе слоя, отраженной волной разрежения и прошедшим скачком уплотнения на правой контактной границе. Обсуждено влияние релаксационных процессов (безразмерных времен релаксации фаз) на характер течения газовзвеси. Для мелких частиц времена выравнивания скоростей и температур фаз малы, а зоны релаксации являются подсеточными. Численное решение в характерных точках с относительной точностью $O\, (10^{−4})$  сходится к автомодельным решениям.

Работа посвящена изучению волновых и релаксационных эффектов при импульсном истечении смеси газа с большим содержанием твердых частиц из цилиндрического канала при его начальном частичном заполнении. Задача сформулирована в двухскоростной двухтемпературной постановке и решалась численно гибридным методом крупных частиц второго порядка аппроксимации. Численный алгоритм реализован в виде параллельных вычислений с использованием базовых языковых средств Free Pascal. Применимость и точность метода для волновых потоков концентрированных газовзвесей подтверждены сопоставлением с тестовыми асимптотически точными решениями. Погрешность расчета на сетке невысокой детализации вх арактерных зонах течения двухфазной среды составила 10⁻⁶ . . . 10⁻⁵.

На основе волновой диаграммы выполнен анализ физической картины истечении газовзвеси, частично заполняющей цилиндрический канал. Установлено, что в зависимости от степени начального заполнения канала формируются различные режимы истечения. Первый режим реализуется при небольшой степени загрузки камеры высокого давления, при которой левая граница смеси газа и частиц пересекает выходное сечение до прихода отраженной от дна канала волны разрежения. При этом достигается максимальное значение массового расхода смеси. Другие режимы формируются в случаях большего начального заполнения канала, когда отраженные от дна канала волны разрежения взаимодействуют со слоем газовзвеси и уменьшают интенсивность ее истечения.

Изучено влияние релаксационных свойств при изменении размеров частиц на динамику ограниченного слоя газодисперсной среды. Сопоставление истечения ограниченного слоя газовзвеси с различными размерами частиц показывает, что для мелких частиц (число Стокса меньше 0,001) наблюдается аномальное явление одновременного существования ударно-волновых структур в сверх- и дозвуковом потоке газа и взвеси. С увеличением размеров дисперсных включений скачки уплотнения в области двухфазной смеси сглаживаются, а для частиц (число Стокса больше 0,1) — практически исчезают. При этом ударно-волновая конфигурация сверхзвукового газового потока на выходе из канала сохраняется, а положения и границы энергонесущих объемов газовзвеси при изменении размеров частиц близки.

В данной работе приводятся результаты численного моделирования сверхпроводящей магнитной фокусирующей системы. При моделировании этой системы проводился дополнительный контроль точности аппроксимации условия u(∞)=0 с использованием метода Ричардсона. В работе представлены также некоторые результаты сравнения расчетного распределения магнитного поля с проведенными измерениями поля модифицированного магнита СП-40 физической установки «МАРУСЯ». Полученные результаты расчетов магнитных систем используются для проведения компьютерного моделирования физических установок и эксперимента на них, а в последующем, после проведения сеансов набора физических данных, будут использованы для обработки эксперимента.

Рассматривается упрощенный неявный метод Эйлера как альтернатива явному методу Эйлера, являющемуся наиболее распространенным в области численного решения уравнений, описывающих электрическую активность нервных клеток и кардиоцитов. Многие модели электрофизиологии имеют высокую степень жесткости, так как описывают динамику процессов с существенно разными характерными временами: миллисекундная деполяризации предшествует значительно более медленной гиперполяризации при формировании потенциала действия в электровозбудимых клетках. Оценка степени жесткости в работе проводится по формуле, не требующей вычисления собственных значений матрицы Якоби системы ОДУ. Эффективность численных методов сравнивается на примере типичных представителей из классов детальных и концептуальных моделей возбудимых клеток: модели Ходжкина–Хаксли для нейронов и Алиева–Панфилова для кардиоцитов. Сравнение эффективности численных методов проведено с использованием распространенных в биомедицинских задачах видов норм. Исследовано влияние степени жесткости моделей на величину ускорения при использовании упрощенного неявного метода: выигрыш во времени при высокой степени жесткости зафиксирован только для модели Ходжкина–Хаксли. Обсуждаются целесообразность применения простых методов и методов высоких порядков точности для решения задач электрофизиологии, а также устойчивость методов. Обсуждение позволяет прояснить вопрос о причинах отказа от использования высокоточных методов в пользу простых при проведении практических расчетов. На примере модели Ходжкина–Хаксли c различными степенями жесткости вычислены производные решения высших порядков и обнаружены их значительные максимальные абсолютные значения. Последние входят в формулы констант аппроксимации и, следовательно, нивелируют малость множителя, зависящего от порядка точности. Этот факт не позволяет считать погрешности численного метода малыми. Проведенный на качественном уровне анализ устойчивости явного метода Эйлера позволяет оценить вид функции параметров модели для описания границы области устойчивости. Описание границы области устойчивости, как правило, используется при априорном принятии решения о выборе величины шага численного интегрирования.

В статье дается детальное описание численной методики моделирования турбулентного обтекания вращающихся винтов вертолета и расчета аэродинамических характеристик винта. В качестве базовой математической модели используется система осредненных по Рейнольдсу уравнений Навье – Стокса для вязкого сжимаемого газа, замкнутая моделью турбулентности Спаларта – Аллмараса. Итоговая модель формулируется в неинерциальной вращающейся системе координат, связанной с винтом. Для задания граничных условий на поверхности винта используются пристеночные функции.

Численное решение полученной системы дифференциальных уравнений проводится на гибридных неструктурированных сетках, включающих призматические слои вблизи поверхности обтекаемого тела. Численный метод строится на основе оригинальных вершинно-центрированных конечно-объемных EBR-схем. Особенностью этих схем является их повышенная точность, которая достигается за счет использования реберно-ориентированной реконструкции переменных на расширенных квазиодномерных шаблонах, и умеренная вычислительная стоимость, позволяющая проводить серийные расчеты. Для приближенного решения задачи о распаде разрыва используются методы Роу и Лакса – Фридрихса. Метод Роу корректируется в случае низкоскоростных течений. При моделировании разрывов или решений с большими градиентами используется квазиодномерная WENO-схема или локальное переключение на квазиодномерную TVD-реконструкцию. Интегрирование по времени проводится по неявной трехслойной схеме второго порядка аппроксимации с линеаризацией по Ньютону системы разностных уравнений. Для решения системы линейных уравнений используется стабилизированный метод сопряженных градиентов.

Численная методика реализована в составе исследовательского программного комплекса NOISEtte согласно двухуровневой MPI–OpenMP-модели, позволяющей с высокой эффективностью проводить расчеты на сетках, состоящих из сотен миллионов узлов, при одновременном задействовании сотен тысячп роцессорных ядер современных суперкомпьютеров.

На основе результатов численного моделирования вычисляются аэродинамические характеристики винта вертолета, а именно сила тяги, крутящий момент и их безразмерные коэффициенты.

Валидация разработанной методики проводится путем моделирования турбулентного обтекания двухлопастного винта Caradonna – Tung и четырехлопастного модельного винта КНИТУ-КАИ на режиме висения, рулевого винта в кольце, а также жесткого несущего винта в косом потоке. численные результаты сравниваются с имеющими экспериментальными данными.

В работе приводятся результаты применения схемы очень высокой точности и разрешающей способности для получения численных решений уравнений Навье – Стокса сжимаемого газа, описывающих возникновение и развитие неустойчивости двумерного ламинарного пограничного слоя на плоской пластине. Особенностью проведенных исследований является отсутствие обычно используемых искусственных возбудителей неустойчивости при реализации прямого численного моделирования. Используемая мультиоператорная схема позволила наблюдать тонкие эффекты рождения неустойчивых мод и сложный характер их развития, вызванные предположительно ее малыми погрешностями аппроксимации. Приводится краткое описание конструкции схемы и ее основных свойств. Описываются постановка задачи и способ получения начальных данных, позволяющий достаточно быстро наблюдать установившийся нестационарный режим. Приводится методика, позволяющая обнаруживать колебания скорости с амплитудами, на много порядков меньшими ее средних значений. Представлена зависящая от времени картина возникновения пакетов волн Толмина – Шлихтинга с меняющейся интенсивностью в окрестности передней кромки пластины и их распространения вниз по потоку. Представленные амплитудные спектры с расширяющимися пиковыми значениями в нижних по течению областях указывают на возбуждение новых неустойчивых мод, отличных от возникающих в окрестности передней кромки. Анализ эволюции волн неустойчивости во времени и пространстве показал согласие с основными выводами линейной теории. Полученные численные решения, по-видимому, впервые описывают полный сценарий возможного развития неустойчивости Толмина – Шлихтинга, которая часто играет существенную роль на начальной стадии ламинарно-турбулентного перехода. Они открывают возможности полномасштабного численного моделирования этого крайне важного для практики процесса при аналогичном изучении пространственного пограничного слоя.