Все выпуски

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

Разработан и протестирован новый метод формирования тестовых сигналов для корреляционной идентификации нелинейных динамических систем методом Ли–Шетцена. Для коррекции моментных функций тестовых сигналов применен численный алгоритм оптимизации Гаусса–Ньютона. В экспериментах получены тестовые воздействия длиной до 40 000 точек, позволяющие определять ядра Винера 2-го порядка с линейным разрешением до 32 точек, ядра Винера 3-го порядка с линейным разрешением до 12 точек, ядра Винера 4-го порядка с линейным разрешением до 8 точек.

В работе рассматриваются дискретные динамические системы, находящиеся под действием случайных возмущений. Динамика отклонений стохастических решений от детерминированных равновесий исследуется с помощью систем первого приближения. Получены необходимые и достаточные условия, при которых уравнения для первых двух моментов этих отклонений имеют устойчивые стационарные решения. Стационарные вторые моменты используются для оценки разброса случайных состояний вокруг устойчивых равновесий нелинейных систем, а также для анализа индуцированных шумом переходов между бассейнами притяжения этих равновесий. Конструктивность предлагаемого подхода демонстрируется на примере анализа различных стохастических режимов для модели популяционной динамики Рикера с эффектом Олли.

Работа посвящена проблеме анализа близости популяционной системы к опасным границам, при пересечении которых в системе разрушается устойчивое сосуществование взаимодействующих популяций. В качестве причины такого разрушения рассматриваются случайные возмущения, неизбежно присутствующие в любой живой системе. Это исследование проводится на примере известной модели взаимодействия популяций хищника и жертвы, учитывающей как стабилизирующий фактор конкуренции хищника за отличные от жертвы ресурсы, так и дестабилизирующий фактор насыщения хищника. Для описания насыщения хищника используется трофическая функция Холлинга второго типа. Динамика системы исследуется в зависимости от коэффициента, характеризующего насыщение хищника, и коэффициента конкуренции хищника за отличные от жертвы ресурсы. В работе дается параметрическое описание возможных режимов динамики детерминированной модели, исследуются локальные и глобальные бифуркации и выделяются зоны устойчивого сосуществования популяций в равновесном и осцилляционном режимах. Интересной математической особенностью данной модели, впервые рассмотренной Базыкиным, является глобальная бифуркация рождения цикла из петли сепаратрисы. В работе исследуется воздействие шума на равновесный и осцилляционный режимы сосуществования популяций хищника и жертвы. Показано, что увеличение интенсивности случайных возмущений может привести к значительным деформациям этих режимов вплоть до их разрушения. Целью данной работы является разработка конструктивного вероятностного критерия близости этой стохастической системы к опасным границам. Основой предлагаемого математического подхода является техника функций стохастической чувствительности и метод доверительных областей — доверительных эллипсов, окружающих устойчивое равновесие, и доверительных полос вокруг устойчивого цикла. Размеры доверительных областей пропорциональны интенсивности шума и стохастической чувствительности исходных детерминированных аттракторов. Геометрическим критерием выхода популяционной системы из режима устойчивого сосуществования является пересечение доверительных областей и соответствующих сепаратрис детерминированной модели. Эффективность данного аналитического подхода подтверждается хорошим соответствием теоретических оценок и результатов прямого численного моделирования.

В работе изложены основные моменты приближения среднего поля в применении к многокомпонентным стохастическим реакционно-диффузионным системам.

Представлена изучаемая модель химической реакции — брюсселятор. Записаны кинетические уравнения реакции, учитывающие диффузию промежуточных компонент и флуктуации концентраций исходных веществ. Флуктуации моделируются как случайные гауссовы однородные и изотропные в пространстве поля, с нулевым средним и пространственной корреляционной функцией, имеющей нетривиальную структуру. В работе рассматриваются значения параметров модели, соответствующие пространственно неоднородному упорядоченному состоянию в детерминированном случае.

В работе получено одноточечное двумерное нелинейное самосогласованное уравнение Фоккера–Планка в интерпретации Стратоновича в приближении среднего поля для пространственно распределенного стохастического брюсселятора, которое описывает динамику плотности распределения вероятностей значений концентраций компонент рассматриваемой системы. Найдены значения интенсивности внешнего шума, соответствующие двум типам решений уравнения Фоккера–Планка: решению с времен- ной бимодальностью и решению с многократным чередованием одно- и бимодального видов плотности вероятностей. Проведено численное исследование динамики плотности распределения вероятностей и изучено поведение во времени дисперсий, математических ожиданий и наиболее вероятных значений концентраций компонент при различных значениях интенсивности шума и бифуркационного параметра в указанных областях параметров задачи.

Показано, что, начиная с некоторого значения интенсивности внешнего шума, внутри упорядоченной фазы зарождается беспорядок, существующий конечное время, причем чем больше шум, тем больше его время жизни. Чем дальше от точки бифуркации, тем меньше шум, который его порождает, и тем уже область значений интенсивности шума, при которых система эволюционирует к упорядоченному, но уже новому статистически стационарному состоянию. При некотором втором значении интенсивности шума возникает перемежаемость упорядоченной и разупорядоченной фаз. Увеличение интенсивности шума приводит к тому, что частота перемежаемости увеличивается.

Таким образом, показано, что сценарием шумоиндуцированного перехода «порядок–беспорядок» в изучаемой системе является перемежаемость упорядоченной и разупорядоченной фаз.

В работе развивается новый математический метод решения задачи совместного расчета параметров сигнала и шума в условиях статистического распределения Райса посредством метода моментов, основанного на анализе данных для начальных моментов 1-го и 3-го порядков случайной райсовской величины. Получена в явном виде система уравнений для искомых параметров сигнала и шума. В предельном случае малой величины отношения сигнала к шуму получены аналитические формулы, позволяющие рассчитать искомые параметры задачи без необходимости численного решения уравнений. Развитый в работе метод обеспечивает эффективное разделение информативной и шумовой компонент анализируемых данных в отсутствие каких-либо априорных предположений, лишь на основе обработки результатов выборочных измерений сигнала. Задача является значимой для целей обработки райсовских данных, в частности, в системах магнитно-резонансной визуализации, в системах ультразвуковой визуализации, при анализе оптических сигналов в системах дальнометрии, в радиолокации и т. д. Как показали результаты исследований, решение двухпараметрической задачи разработанным методом не приводит к увеличению объема требуемых вычислительных ресурсов по сравнению с решением однопараметрической задачи, решаемой в предположении априорной известности второго параметра. В работе приведены результаты компьютерного моделирования разработанного метода. Результаты численного расчета параметров сигнала и шума разработанным методом подтверждают его эффективность. Проведено сопоставление точности определения искомых параметров развитым в работе методом и ранее разработанным вариантом метода моментов, основанным на обработке измеренных данных для низших четных моментов анализируемого сигнала.

Распространение устойчивых когерентных образований электромагнитного поля в нелинейных средах с меняющимися в пространстве параметрами может быть описано в рамках итераций нелинейных интегральных преобразований. Показано что для ряда актуальных геометрий задач нелинейной оптики численное моделирование путем сведения к динамическим системам с дискретным временем и непрерывными пространственными переменными, основанное на итерациях локальных нелинейных отображений Фейгенбаума и Икеды, а также нелокальных диффузионно-дисперсионных линейных интегральных преобразований, эквивалентно в довольно широком диапазоне параметров дифференциальным уравнениям в частных производных типа Гинзбурга–Ландау. Такие нелокальные отображения, представляющие собой при численной реализации произведения матричных операторов, оказываются устойчивыми численно-разностными схемами, обеспечивают быструю сходимость и адекватную аппроксимацию решений. Реалистичность данного подхода позволяет учитывать влияние шумов на нелинейную динамику путем наложения на расчетный массив чисел при каждой итерации пространственного шума, задаваемого в виде многомодового случайного процесса, и производить отбор устойчивых волновых конфигураций. Нелинейные волновые образования, описываемые данным методом, включают оптические фазовые сингулярности, пространственные солитоны и турбулентные состояния с быстрым затуханием корреляций. Определенный интерес представляют полученные данным численным методом периодические конфигурации электромагнитного поля, возникающие в результате фазовой синхронизации, такие как оптические решетки и самоорганизованные вихревые кластеры.

Рассматриваются основные положения и выводы динамической теории информации (ДТИ). Показано, что ДТИ дает возможность выявить два существенно важных типа информации: объективную (безусловную) и субъективную (условную). Выделяется два способа получения информации: рецепция (восприятие уже существующей информации) и генерация информации (производство новой). Показано, что процессы генерации и рецепции информации должны происходить в двух разных подсистемах одной когнитивной системы. Обсуждаются основные положения естественно-конструктивистского подхода к моделированию мышления. Показано, что любой нейроморфный подход сталкивается с проблемой «провала в описании «Мозга» и «Разума»», т. е. провала между объективно измеримой информации об ансамбле нейронов («Мозг») и субъективной информацией о сознании человека («Разум»). Обсуждается естественно-конструктивистская когнитивная архитектура, разработанная в рамках данного подхода. Она представляет собой сложную блочно-иерархическую комбинацию, собранную из разных нейропро-цессоров. Основная конструктивная особенность этой архитектуры состоит в том, что вся система разделена на две подсистемы (по аналогии с полушариями головного мозга). Одна из подсистем отвечает за восприятие новой информации, обучение и творчество, т. е. за генерацию информации. Другая подсистема отвечает за обработку уже существующей информации, т. е. рецепцию информации. Показано, что низший (нулевой) уровень иерархии представлен процессорами, которые должны записывать образы реальных объектов (распределенная память) как отклик на сенсорные сигналы, что представляет собой объективную информацию (и относится к «Мозгу»). Остальные уровни иерархии представлены процессорами, содержащими символы записанных образов. Показано, что символы представляют собой субъективную (условную) информацию, создаваемую самой системой и обеспечивающую ее индивидуальность. Совокупность высоких уровней иерархии, содержащих символы абстрактных понятий, дает возможность интерпретировать понятия «сознание», «подсознание», «интуиция», относящиеся к области «Разума», в терминах ансамбля нейронов. Таким образом, ДТИ дает возможность построить модель, позволяющую проследить, как на основе «Мозга» возникает «Разум».

В работе рассматривается возбуждение колебаний в стохастических генных системах с запаздывающей обратной связью в процессах транскрипции. Колебания возникают из-за взаимодействия шума и запаздывания даже при значениях параметров, когда детерминистское описание предсказывает стационарное поведение. Эффект наиболее ярко проявляет себя, когда количество степеней свободы у системы невелико и роль флуктуаций становится принципиальной. Получено аналитическое решение мастер-уравнения. Приводятся результаты численного моделирования.

В работе рассматривается модель экономической динамики Гудвина, находящаяся под воздействием случайных возмущений. Проведен полный параметрический анализ равновесий и циклов детерминированной системы. Исследованы вероятностные свойства аттракторов стохастической системы с использованием техники функций стохастической чувствительности и метода прямого численного моделирования. Обсуждается явление генерации стохастических бизнес-циклов в зоне, где исходная детерминированная модель имеет лишь устойчивые равновесия.