Все выпуски

В данной статье исследуются методы машинного обучения с определенным видом решающего правила. К ним относятся интерполяция по методу обратно взвешенных расстояний, метод интерполяции радиальными базисными функциями, метод многомерной интерполяции и аппроксимации на основе теории случайных функций, кригинг. Показано, что для данных методов существует способ быстрого переобучения «модели» при добавлении новых данных к существующим. Под «моделью» понимается построенная по обучающим данным интерполирующая или аппроксимирующая функция. Данный подход позволяет уменьшить вычислительную сложность построения обновленной «модели» с $O(n^3)$ до $O(n^2)$. Также будет исследована возможность быстрого оценивания обобщающих возможностей «модели» на обучающей выборке при помощи метода скользящего контроля leave-one-out cross-validation, устранив главный недостаток такого подхода — необходимость построения новой «модели» при каждом удалении элемента из обучающей выборки.

В данной статье исследуется метод машинного обучения на основе теории случайных функций. Одной из основных проблем данного метода является то, что вид решающего правила модели метода, построенной на данных обучающей выборки, становится более громоздким при увеличении количества примеров выборки. Решающее правило модели является наиболее вероятной реализацией случайной функции и представляется в виде многочлена с количеством слагаемых, равным количеству обучающих элементов выборки. В статье будет показано, что для рассматриваемого метода существует быстрый способ сокращения обучающей выборки и, соответственно, вида решающего правила. Уменьшение примеров обучающей выборки происходит за счет поиска и удаления малоинформативных (слабых) элементов, которые незначительно влияют на итоговый вид решающей функции, и шумовых элементов выборки. Для каждого $(x_i,y_i)$-го элемента выборки было введено понятие значимости, выражающееся величиной отклонения оцененного значения решающей функции модели в точке $x_i$, построенной без $i$-го элемента, от реального значения $y_i$. Будет показана возможность косвенного использования найденных слабых элементов выборки при обучении модели метода, что позволяет не увеличивать количество слагаемых в полученной решающей функции. Также в статье будут описаны проведенные эксперименты, в которых показано, как изменение количества обучающих данных влияет на обобщающую способность решающего правила модели в задаче классификации.

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

Работа посвящена проблеме анализа близости популяционной системы к опасным границам, при пересечении которых в системе разрушается устойчивое сосуществование взаимодействующих популяций. В качестве причины такого разрушения рассматриваются случайные возмущения, неизбежно присутствующие в любой живой системе. Это исследование проводится на примере известной модели взаимодействия популяций хищника и жертвы, учитывающей как стабилизирующий фактор конкуренции хищника за отличные от жертвы ресурсы, так и дестабилизирующий фактор насыщения хищника. Для описания насыщения хищника используется трофическая функция Холлинга второго типа. Динамика системы исследуется в зависимости от коэффициента, характеризующего насыщение хищника, и коэффициента конкуренции хищника за отличные от жертвы ресурсы. В работе дается параметрическое описание возможных режимов динамики детерминированной модели, исследуются локальные и глобальные бифуркации и выделяются зоны устойчивого сосуществования популяций в равновесном и осцилляционном режимах. Интересной математической особенностью данной модели, впервые рассмотренной Базыкиным, является глобальная бифуркация рождения цикла из петли сепаратрисы. В работе исследуется воздействие шума на равновесный и осцилляционный режимы сосуществования популяций хищника и жертвы. Показано, что увеличение интенсивности случайных возмущений может привести к значительным деформациям этих режимов вплоть до их разрушения. Целью данной работы является разработка конструктивного вероятностного критерия близости этой стохастической системы к опасным границам. Основой предлагаемого математического подхода является техника функций стохастической чувствительности и метод доверительных областей — доверительных эллипсов, окружающих устойчивое равновесие, и доверительных полос вокруг устойчивого цикла. Размеры доверительных областей пропорциональны интенсивности шума и стохастической чувствительности исходных детерминированных аттракторов. Геометрическим критерием выхода популяционной системы из режима устойчивого сосуществования является пересечение доверительных областей и соответствующих сепаратрис детерминированной модели. Эффективность данного аналитического подхода подтверждается хорошим соответствием теоретических оценок и результатов прямого численного моделирования.

Схемы WENO (взвешенные, существенно не осциллирующие схемы) в настоящее время имеют достаточно обширную область применения для аппроксимации разрывных решений в уравнениях в частных производных. Данные схемы применялись для прямого численного моделирования и моделирования динамики больших вихрей в задачах газовой динамики, задачах МГД и даже для задач нейтронной кинетики. Данная работа посвящена уточнению некоторых характеристик схем WENO и численному моделированию характерных задач, которые позволяют сделать выводы обоб ласти применимости данных схем. Первая часть работы содержала результаты по доказательству свойств аппроксимации, устойчивости и сходимости схем WENO5, WENO7, WENO9, WENO11 и WENO13. Во второй части работы проводится модифицированный волновой анализ, позволяющий сделать вывод о дисперсионных и диссипативных свойствах схем. Далее, проводится численное моделирование ряда характерных задач для уравнений гиперболического типа: уравнений переноса (одномерное и двухмерное), уравнения Хопфа, уравнения Бюргерса (с малой диссипацией) и уравнения динамики невязкого газа (одномерное и двухмерное). Для каждой из задач, подразумевающих гладкое решение, приведено практическое вычисление порядка аппроксимации с помощью метода Рунге. Во всех задачах проверяются выводы, сделанные в первой части работы по влиянию шага по времени на нелинейные свойства схем. В частности, для уравнений переноса разрывной функции и уравнений Хопфа показано, что невыполнение указанных рекомендаций ведет вначале к росту вариации решения, а затем включается диссипативный нелинейный механизм схемы и аппроксимация падает. Практически подтверждены выводы первой части по условиям устойчивости. Для одномерного уравнения Бюргерса проведено моделирование затухания случайно распределенных начальных условий в периодической области и выполнено сопоставление со спектральным методом. Делается вывод о применимости схем WENO7–WENO13 для прямого численного моделирования турбулентности. В конце демонстрируются возможности схем на начально-краевых задачах для уравнений динамики невязкого газа: неустойчивость Рэлея–Тейлора и отражение ударной волны от клина с образованием сложной конфигурации ударных волн и разрывов.

В работе изложены основные моменты приближения среднего поля в применении к многокомпонентным стохастическим реакционно-диффузионным системам.

Представлена изучаемая модель химической реакции — брюсселятор. Записаны кинетические уравнения реакции, учитывающие диффузию промежуточных компонент и флуктуации концентраций исходных веществ. Флуктуации моделируются как случайные гауссовы однородные и изотропные в пространстве поля, с нулевым средним и пространственной корреляционной функцией, имеющей нетривиальную структуру. В работе рассматриваются значения параметров модели, соответствующие пространственно неоднородному упорядоченному состоянию в детерминированном случае.

В работе получено одноточечное двумерное нелинейное самосогласованное уравнение Фоккера–Планка в интерпретации Стратоновича в приближении среднего поля для пространственно распределенного стохастического брюсселятора, которое описывает динамику плотности распределения вероятностей значений концентраций компонент рассматриваемой системы. Найдены значения интенсивности внешнего шума, соответствующие двум типам решений уравнения Фоккера–Планка: решению с времен- ной бимодальностью и решению с многократным чередованием одно- и бимодального видов плотности вероятностей. Проведено численное исследование динамики плотности распределения вероятностей и изучено поведение во времени дисперсий, математических ожиданий и наиболее вероятных значений концентраций компонент при различных значениях интенсивности шума и бифуркационного параметра в указанных областях параметров задачи.

Показано, что, начиная с некоторого значения интенсивности внешнего шума, внутри упорядоченной фазы зарождается беспорядок, существующий конечное время, причем чем больше шум, тем больше его время жизни. Чем дальше от точки бифуркации, тем меньше шум, который его порождает, и тем уже область значений интенсивности шума, при которых система эволюционирует к упорядоченному, но уже новому статистически стационарному состоянию. При некотором втором значении интенсивности шума возникает перемежаемость упорядоченной и разупорядоченной фаз. Увеличение интенсивности шума приводит к тому, что частота перемежаемости увеличивается.

Таким образом, показано, что сценарием шумоиндуцированного перехода «порядок–беспорядок» в изучаемой системе является перемежаемость упорядоченной и разупорядоченной фаз.

В работе развивается новый математический метод решения задачи совместного расчета параметров сигнала и шума в условиях статистического распределения Райса посредством метода моментов, основанного на анализе данных для начальных моментов 1-го и 3-го порядков случайной райсовской величины. Получена в явном виде система уравнений для искомых параметров сигнала и шума. В предельном случае малой величины отношения сигнала к шуму получены аналитические формулы, позволяющие рассчитать искомые параметры задачи без необходимости численного решения уравнений. Развитый в работе метод обеспечивает эффективное разделение информативной и шумовой компонент анализируемых данных в отсутствие каких-либо априорных предположений, лишь на основе обработки результатов выборочных измерений сигнала. Задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации, в системах ультразвуковой визуализации, при анализе оптических сигналов в системах дальнометрии, в радиолокации и т. д. Как показали результаты исследований, решение двухпараметрической задачи разработанным методом не приводит к увеличению объема требуемых вычислительных ресурсов по сравнению с решением однопараметрической задачи, решаемой в предположении априорной известности второго параметра. В работе приведены результаты компьютерного моделирования разработанного метода. Результаты численного расчета параметров сигнала и шума разработанным методом подтверждают его эффективность. Проведено сопоставление точности определения искомых параметров развитым в работе методом и ранее разработанным вариантом метода моментов, основанным на обработке измеренных данных для низших четных моментов анализируемого сигнала.

В статье рассматривается одна из задач транспортного моделирования — поиск равновесного распределения транспортных потоков в сети. Для описания временных издержек и распределения потоков в сети, представляемой с помощью графа, используется классическая модель Бэкмана. При этом поведение агентов не является полностью рациональным, что описывается посредством введения марковской логит-динамики: в каждый момент времени водительвыбирает маршрут случайно согласно распределению Гиббса с учетом текущих временных затрат на ребрах графа. Таким образом, задача сводится к поиску стационарного распределения для данной динамики, которое является стохастическим равновесием Нэша – Вардропа в соответствующей популяционной игре загрузки транспортной сети. Так как данная игра является потенциальной, эта задача эквивалентна минимизации некоторого функционала от распределения потоков, причем стохастичностьпро является в появлении энтропийной регуляризации. Для полученной задачи оптимизации построена двойственная задача. Для ее решения применен универсальный прямо-двойственный градиентный метод. Его особенность заключается в адаптивной настройке на локальную гладкость задачи, что особенно важно при сложной структуре целевой функции и невозможности априорно оценитьг ладкость с приемлемой точностью. Такая ситуация имеет место в рассматриваемой задаче, так как свойства функции сильно зависят от транспортного графа, на который мы не накладываем сильных ограничений. В статье приводится описание алгоритма, в том числе подробно рассмотрено применение численного дифференцирования для вычисления значения и градиента целевой функции. В работе представлены теоретическая оценка времени работы алгоритма и результаты численных экспериментов на примере небольшого американского города.

Математические модели газовой динамики и ее вычислительная индустрия, на наш взгляд, далеки от совершенства. Мы посмотрим на эту проблематику с точки зрения ясной вероятностной микромодели газа из твердых сфер, опираясь как на теорию случайных процессов, так и на классическую кинетическую теорию в терминах плотностей функций распределения в фазовом пространстве; а именно, построим сначала систему нелинейных стохастических дифференциальных уравнений (СДУ), а затем обобщенное случайное и неслучайное интегро-дифференциальное уравнение Больцмана с учетом корреляций и флуктуаций. Ключевыми особенностями исходной модели являются случайный характер интенсивности скачкообразной меры и ее зависимость от самого процесса.

Кратко напомним переход ко все более грубым мезо-макроприближениям в соответствии с уменьшением параметра обезразмеривания, числа Кнудсена. Получим стохастические и неслучайные уравнения, сначала в фазовом пространстве (мезомодель в терминах СДУ по винеров- ским мерам и уравнения Колмогорова – Фоккера – Планка), а затем в координатном пространстве (макроуравнения, отличающиеся от системы уравнений Навье – Стокса и систем квазигазодинамики). Главным отличием этого вывода является более точное осреднение по скорости благодаря аналитическому решению стохастических дифференциальных уравнений по винеровской мере, в виде которых представлена промежуточная мезомодель в фазовом пространстве. Такой подход существенно отличается от традиционного, использующего не сам случайный процесс, а его функцию распределения. Акцент ставится на прозрачности допущений при переходе от одного уровня детализации к другому, а не на численных экспериментах, в которых содержатся дополнительные погрешности аппроксимации.

Теоретическая мощь микроскопического представления макроскопических явлений важна и как идейная опора методов частиц, альтернативных разностным и конечно-элементным.

В работе рассматривается модель экономической динамики Гудвина, находящаяся под воздействием случайных возмущений. Проведен полный параметрический анализ равновесий и циклов детерминированной системы. Исследованы вероятностные свойства аттракторов стохастической системы с использованием техники функций стохастической чувствительности и метода прямого численного моделирования. Обсуждается явление генерации стохастических бизнес-циклов в зоне, где исходная детерминированная модель имеет лишь устойчивые равновесия.