Все выпуски

В данной статье исследуется метод машинного обучения на основе теории случайных функций. Одной из основных проблем данного метода является то, что вид решающего правила модели метода, построенной на данных обучающей выборки, становится более громоздким при увеличении количества примеров выборки. Решающее правило модели является наиболее вероятной реализацией случайной функции и представляется в виде многочлена с количеством слагаемых, равным количеству обучающих элементов выборки. В статье будет показано, что для рассматриваемого метода существует быстрый способ сокращения обучающей выборки и, соответственно, вида решающего правила. Уменьшение примеров обучающей выборки происходит за счет поиска и удаления малоинформативных (слабых) элементов, которые незначительно влияют на итоговый вид решающей функции, и шумовых элементов выборки. Для каждого $(x_i,y_i)$-го элемента выборки было введено понятие значимости, выражающееся величиной отклонения оцененного значения решающей функции модели в точке $x_i$, построенной без $i$-го элемента, от реального значения $y_i$. Будет показана возможность косвенного использования найденных слабых элементов выборки при обучении модели метода, что позволяет не увеличивать количество слагаемых в полученной решающей функции. Также в статье будут описаны проведенные эксперименты, в которых показано, как изменение количества обучающих данных влияет на обобщающую способность решающего правила модели в задаче классификации.

В работе представлена численная методика определения спектральных электромагнитных характеристик (эффективных электрической проводимости и относительной диэлектрической проницаемости) насыщенных пористых сред. Их определение находит применение при интерпретации данных петрофизических исследований скважин, а также при изучении кернового материала. Особенностью настоящей работы является использование трехмерных цифровых моделей насыщенных пористых сред, построенных на основе комбинированной информации о микроструктуре среды и капиллярном равновесии двухфазной смеси типа «нефть–вода» в поровом пространстве. Данные о микроструктуре модели получаются путем использования методов рентгеновской микротомографии. Многофазное многокомпонентное распределение флюидов в поровом пространстве модели находится с помощью метода функционала плотности. Для определения непосредственно электромагнитных характеристик модели выполняется фурье-преобразование по времени уравнения Максвелла, выражающего обобщенную теорему Ампера о циркуляции. В низкочастотном приближении задача сводится к решению уравнения эллиптического типа на комплексный потенциал. Для конечно- разностной аппроксимации используется дискретизация модели на изотропной равномерной ортогональной сетке. При этом считается, что в каждой расчетной ячейке сетки содержится либо вода, либо нефть, либо по- рода со своими электрическими параметрами. Для этого выполняется процедура сегментации, в результате которой в модели отсутствуют ячейки, содержащие несколько фаз (нефть–вода). Подобная модификация модели позволяет избежать использования сложноструктурированных расчетных сеток, а также дает возможность исключить влияние способа задания свойств ячеек, заполненных смесью различных фаз, на результаты расчета. Полученная система разностных уравнений решается с использованием стабилизированного метода бисопряженных градиентов с многосеточным предобуславливателем. На основе вычисленных распределений комплексного потенциала находятся средние значения электрической проводимости и относительной диэлектрической проницаемости. Для простоты в настоящей работе рассматривался случай отсутствия спектральной зависимости проводимости и проницаемости компонентов от частоты. Результаты расчетов частотных зависимостей эффективных характеристик неоднородно насыщенных пористых сред (электрической проводимости и относительной диэлектрической проницаемости) в широком диапазоне частот и водонасыщенностей представлены на графиках и в таблице. В заключение делается вывод об эффективности предложенного подхода для задачи определения дисперсионных электромагнитных характеристик насыщенных горных пород.

Оптические системы с двумерной обратной связью демонстрируют широкие возможности по исследованию процессов зарождения и развития диссипативных структур. Обратная связь позволяет воздействовать на динамику оптической системы посредством управляемого преобразования пространственных переменных, выполняемых призмами, линзами, динамическими голограммами и другими устройствами. Нелинейный интерферометр с зеркальным отражением поля в двумерной обратной связи является одной из наиболее простых оптических систем, в которых реализуется нелокальный характер взаимодействия световых полей.

Математической моделью оптических систем с двумерной обратной связью является нелинейное параболическое уравнение с преобразованием поворота пространственной переменной и условиями периодичности на окружности.

Исследуются вопросы бифуркации рождения стационарных структур типа бегущей волны, эволюции их форм при уменьшении бифуркационного параметра (коэффициента диффузии) и динамики их устойчивости при отходе от критического значения параметра бифуркации и дальнейшем его уменьшении. Впервые в качестве бифуркационного параметра был взят коэффициент диффузии.

В работе используются метод центральных многообразий и метод Галёркина. На основе метода центральных многообразий доказана теорема о существовании, форме и устойчивости решения типа бегущей волны в окрестности бифуркационного значения коэффициента диффузии. Получено представление первой бегущей волны, рождающейся в результате бифуркации Андронова–Хопфа при переходе бифуркационного параметра через критическое значение. Согласно теореме о центральном многообразии первая бегущая волна рождается орбитально устойчивой.

Поскольку доказанная теорема дает возможность исследовать рожденные решения только в окрестности критического значения бифуркационного параметра, то для изучения динамики изменений решения типа бегущей волны при отходе бифуркационного параметра в область надкритичности был использован формализм метода Галёркина. В соответствии с методом центральных многообразий составлена галёркинская аппроксимация приближенных решений поставленной задачи. При уменьшении параметра бифуркации и его переходе через критическое значение нулевое решение задачи теряет устойчивость колебательным образом. В результате от нулевого решения ответвляется периодическое решение типа бегущей волны. Эта волна рождается орбитально устойчивой. При дальнейшем уменьшении параметра и его прохождении через следующее критическое значение от нулевого решения в результате бифуркации Андронова–Хопфа рождается второе решение типа бегущей волны. Данная волна рождается неустойчивой, с индексом неустойчивости два.

Численные расчеты с помощью пакета Mathematica показали, что применение метода Галёркина приводит к качественно и количественно правильным результатам. Полученные результаты хорошо согласуются с результатами, полученными другими авторами, и могут быть использованы для постановки экспериментов по изучению явлений в оптических системах с обратной связью.

Проведено математическое моделирование нестационарных режимов естественной конвекции и поверхностного излучения в замкнутой вращающейся квадратной полости. Рассматриваемая область решения имела две противоположные изотермические стенки, поддерживаемые при постоянных низкой и высокой температурах, остальные стенки являлись адиабатическими. Стенки считались диффузно-серыми. Анализируемая полость вращалась с постоянной угловой скоростью относительно оси, проходящей через центр полости и ориентированной ортогонально области решения. Математическая модель, сформулированная в безразмерных преобразованных переменных «функция тока – завихренность скорости» на основе приближений Буссинеска и диатермичности рабочей среды, была реализована численно методом конечных разностей. Уравнения дисперсии завихренности и энергии решались на основе локально-одномерной схемы А. А. Самарского. Диффузионные слагаемые аппроксимировались центральными разностями, конвективные — с использованием монотонной аппроксимации А. А. Самарского. Разностные уравнения решались методом прогонки. Разностное уравнение Пуассона для функции тока решалось отдельно с применением метода последовательной верхней релаксации. Оптимальное значение параметра релаксации подбиралось на основе вычислительных экспериментов. Анализ радиационного теплообмена проведен с использованием метода сальдо в варианте Поляка. Разработанный вычислительный код был протестирован на множестве сеток, а также верифицирован путем сопоставления полученных результатов при решении модельной задачи с экспериментальными и численными данными других авторов.

Численные исследования нестационарных режимов естественной конвекции и поверхностного теплового излучения в замкнутой вращающейся полости проведены при следующих значениях безразмерных параметров: Ra = 10³–10⁶, Ta = 0–10⁵, Pr = 0.7, ε = 0–0.9. Все распределения были получены для двадцатого полного оборота полости, когда наблюдается установление периодической картины течения и теплопереноса. В результате анализа установлено, что при малой угловой скорости вращения полости возможна интенсификация течения, а дальнейший рост скорости вращения приводит к ослаблению конвективного течения. Радиационное число Нуссельта незначительно изменяется при варьировании числа Тейлора.

В работе рассматриваются развитие и применение метода учета заполненности прямоугольных ячеек материальной средой, в частности жидкостью для повышения гладкости и точности конечно-разностного решения задач гидродинамики со сложной формой граничной поверхности. Для исследования возможностей предлагаемых разностных схем рассмотрены две задачи вычислительной гидродинамики — пространственно-двумерного течения вязкой жидкости между двумя соосными полуцилиндрами и переноса веществ между соосными полуцилиндрами. Аппроксимация задач по времени выполнена на основе схем расщепления по физическим процессам. Дискретизация операторов диффузии и конвекции выполнена на основе интегроинтерполяционного метода с учетом заполненности ячеек и без ее учета. Для решения задачи диффузии – конвекции при больших сеточных числах Пекле предложено использовать разностную схему, учитывающую функцию заполненности ячеек, и схему, построенную на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами, полученными в результате минимизации погрешности аппроксимации при малых числах Куранта. Для оценки точности численного решения в качестве эталона используется аналитическое решение, описывающее течение Куэтта – Тейлора. В случае непосредственного использования прямоугольных сеток (ступенчатой аппроксимации границ) относительная погрешность расчетов достигает 70 %, при тех же условиях использование предлагаемого метода позволяет уменьшить погрешность до 6%. Показано, что дробление прямоугольной сетки в 2–8 раз по каждому из пространственных направлений не приводит к такому же повышению точности, которой обладают численные решения, полученные с учетом заполненности ячеек. Предложенные разностные схемы, построенные на основе линейной комбинации разностных схем «кабаре» и «крест» с весовыми коэффициентами 2/3 и 1/3 соответственно, полученные в результате минимизации порядка погрешности аппроксимации, для задачи диффузии – конвекции обладают меньшей сеточной вязкостью и, как следствие, точнее описывают поведение решения в случае больших сеточных чисел Пекле.

В работе под гравитационной системой понимается множество точечных тел, взаимодействующих согласно закону притяжения Ньютона и имеющих отрицательное значение полной энергии. Обсуждается вопрос об устойчивости (о неустойчивости) гравитационной системы общего положения путем прямого вычислительного эксперимента. Под гравитационной системой общего положения понимается система, у которой массы, начальные позиции и скорости тел выбираются случайными из заданных диапазонов. Для проведения вычислительного эксперимента разработан новый метод численного решения обыкновенных дифференциальных уравнений на больших интервалах времени. Предложенный метод позволил, с одной стороны, обеспечить выполнение всех законов сохранения путем подходящей коррекции решений, с другой — использовать стандартные методы численного решения систем дифференциальных уравнений невысокого порядка аппроксимации. В рамках указанного метода траектория движения гравитационной системы в фазовом пространстве собирается из частей, длительность каждой из которых может быть макроскопической. Построенная траектория, вообще говоря, является разрывной, а точки стыковки отдельных кусков траектории выступают как точки ветвления. В связи с последним обстоятельством предложенный метод отчасти можно отнести к классу методов Монте-Карло. Общий вывод проведенной серии вычислительных экспериментов показал, что гравитационные системы общего положения с числом тел 3 и более, вообще говоря, неустойчивы. В рамках предложенного метода специально рассмотрены частные случаи равенства нулю момента импульса гравитационной системы с числом тел 3 и более, а также задача движения двух тел. Отдельно рассмотрен случай численного моделирования динамики во времени Солнечной системы. С позиций вычислительного эксперимента на базе аналитических методов, а также прямых численных методов высокого порядка аппроксимации (10 и выше) устойчивость Солнечной системы ранее продемонстрирована на интервале в пять и более миллиардов лет. В силу ограничений на имеющиеся вычислительные ресурсы устойчивость динамики планет Солнечной системы в рамках использования предлагаемого метода удалось подтвердить на срок десять миллионов лет. С помощью вычислительного эксперимента рассмотрен также один из возможных сценариев распада Солнечной системы.

Нахождение глобального минимума невыпуклых функций — одна из ключевых и самых сложных проблем современной оптимизации. В этой работе мы рассматриваем отдельные классы невыпуклых задач, которые имеют четкий и выраженный глобальный минимум.

В первой части статьи мы рассматриваем два класса «хороших» невыпуклых функций, которые могут быть ограничены снизу и сверху параболической функцией. Такой класс задач не исследован широко в литературе, хотя является довольно интересным с прикладной точки зрения. Более того, для таких задач методы первого и более высоких порядков могут быть абсолютно неэффективны при поиске глобального минимума. Это связано с тем, что функция может сильно осциллировать или может быть сильно зашумлена. Поэтому наши новые методы используют информацию только нулевого порядка и основаны на поиске по сетке. Размер и мелкость этой сетки, а значит, и гарантии скорости сходимости и оракульной сложности зависят от «хорошести» задачи. В частности, мы показываем, если функция зажата довольно близкими параболическими функциями, то сложность не зависит от размерности задачи. Мы показываем, что наши новые методы сходятся с линейной скоростью сходимости $\log(1/\varepsilon)$ к глобальному минимуму на кубе.

Во второй части статьи мы рассматриваем задачу невыпуклой оптимизации с другого ракурса. Мы предполагаем, что целевая минимизируемая функция есть сумма выпуклой квадратичной задачи и невыпуклой «шумовой» функции, пропорциональной по модулю расстоянию до глобального решения. Рассмотрение функций с такими предположениями о шуме для методов нулевого порядка является новым в литературе. Для такой задачи мы используем классический безградиентный подход с аппроксимацией градиента через конечную разность. Мы показываем, как можно свести анализ сходимости для нашей задачи к стандартному анализу для задач выпуклой оптимизации. В частности, и для таких задач мы добиваемся линейной скорости сходимости.

Экспериментальные результаты подтверждают работоспособность и практическую применимость всех полученных методов.

В работе изучается многомерное уравнение конвекции-диффузии с переменными коэффициентами и неклассическим граничным условием. Рассмотрены два случая: в первом случае первое граничное условие содержит интеграл от неизвестной функции по переменной интегрирования $x_\alpha^{}$, а во втором случае — интеграл от неизвестной функции по переменной интегрирования $\tau$, обозначающий эффект памяти. Подобные задачи возникают при изучении переноса примеси вдоль русла рек. Для приближенного решения поставленной задачи предложена эффективная в плане экономичности, устойчивости и сходимости разностная схема — локально-одномерная разностная схема А.А. Самарского с порядком аппроксимации~$O(h^2+\tau)$. Ввиду того что уравнение содержит первую производную от неизвестной функции по пространственной переменной $x_\alpha^{}$, для повышения порядка точности локально-одномерной схемы используется известный метод, предложенный А.А. Самарским при построении монотонной схемы второго порядка точности по $h_\alpha^{}$ для уравнения параболического типа общего вида, содержащего односторонние производные, учитывающие знак $r_\alpha^{}(x,\,t)$. Для повышения до второго порядка точности по $h_\alpha^{}$ краевых условий третьего рода воспользовались уравнением в предположении, что оно справедливо и на границах. Исследование единственности и устойчивости решения проводилось с помощью метода энергетических неравенств. Получены априорные оценки решения разностной задачи в $L_2^{}$-норме, откуда следуют единственность решения, непрерывная и равномерная зависимость решения разностной задачи от входных данных, а также сходимость решения локально-одномерной разностной схемы к решению исходной дифференциальной задачи в $L_2^{}$-норме со скоростью, равной порядку аппроксимации разностной схемы. Для двумерной задачи построен алгоритм численного решения, проведены численные расчеты тестовых примеров, иллюстрирующие полученные в работе теоретические результаты.

Представлен вариант обратного метода характеристик (МОМХ), в алгоритм которого введен дополнительный дробный временной шаг, что позволяет повысить точность вычислений за счет более точной аппроксимации характеристик. Приведены расчетные формулы модифицированного метода для уравнений односкоростной модели газожидкостной смеси, с помощью которого рассчитаны одномерные, а также плоские тестовые задачи, имеющие автомодельные решения. При решении многомерных задач исходная система уравнений расщепляется на ряд одномерных подсистем, для расчета которых применяется обратный метод характеристик с дробным временным шагом. С использованием предложенного метода рассчитаны: одномерная задача распада произвольного разрыва в дисперсной среде; двумерная задача взаимодействия однородного газожидкостного потока с препятствием с присоединенным ударным скачком, а также течение с центрированной волной разрежения. Результаты численных расчетов этих задач сопоставлены с автомодельными решениями и отмечено их удовлетворительное совпадение. На примере задачи Римана с ударным скачком приведено сравнение с рядом консервативных, неконсервативных первого и повышенного порядков точности схем, из которого, в частности, следует, что представленный метод расчета вполне конкурентоспособен. Несмотря на то что применение МОМХ требует в разы больших временных затрат по сравнению с оригинальным обратным методом характеристик (ОМХ), вычисления можно проводить с увеличенным временным шагом и в ряде случаев получать более точные результаты. Отмечено, что метод с дробным временным шагом имеет преимущества в случаях, когда характеристики системы криволинейные. По этой причине для уравнений Эйлера целесообразно использовать ОМХ вместо МОМХ, поскольку в этом случае характеристики в пределах временного шага мало отличаются от прямых линий.

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.