Все выпуски

В данной работе рассматриваются методы условного градиента для оптимизации сильно выпуклых функций. Это методы, использующие линейный минимизационный оракул, то есть умеющие вычислять решение задачи

$$ \text{Argmin}_{x\in X}{\langle p,\,x \rangle} $$

для заданного вектора $p \in \mathbb{R}^n$. Существует целый ряд методов условного градиента, имеющих линейную скорость сходимости в сильно выпуклом случае. Однако во всех этих методах в оценку скорости сходимости входит размерность задачи, которая в современных приложениях может быть очень большой. В данной работе доказывается, что в сильно выпуклом случае скорость сходимости методов условного градиента в лучшем случае зависит от размерности задачи $n$ как $\widetilde{\Omega}\left(\!\sqrt{n}\right)$. Таким образом, методы условного градиента могут оказаться неэффективными для решения сильно выпуклых оптимизационных задач больших размерностей.

Отдельно рассматривается приложение методов условного градиента к задачам минимизации квадратичной формы. Уже была доказана эффективность метода Франк – Вульфа для решения задачи квадратичной оптимизации в выпуклом случае на симплексе (PageRank). Данная работа показывает, что использование методов условного градиента для минимизации квадратичной формы в сильно выпуклом случае малоэффективно из-за наличия размерности в оценке скорости сходимости этих методов. Поэтому рассматривается метод рестартов условного градиента (Shrinking Conditional Gradient). Его отличие от методов условного градиента заключается в том, что в нем используется модифицированный линейный минимизационный оракул, который для заданного вектора $p \in \mathbb{R}^n$ вычисляет решение задачи $$ \text{Argmin}\{\langle p, \,x \rangle\colon x\in X, \;\|x-x_0^{}\| \leqslant R \}. $$ В оценку скорости сходимости такого алгоритма размерность уже не входит. С помощью рестартов метода условного градиента получена сложность (число арифметических операций) минимизации квадратичной формы на $\infty$-шаре. Полученная оценка работы метода сравнима со сложностью градиентного метода.

Модели многозначной классификации возникают в различных сферах современной жизни, что объясняется всё большим количеством информации, требующей оперативного анализа. Одним из математических методов решения этой задачи является модульный метод, на первом этапе которого для каждого класса строится некоторая ранжирующая функция, упорядочивающая некоторым образом все объекты, а на втором этапе для каждого класса выбирается оптимальное значение порога, объекты с одной стороны которого относят к текущему классу, а с другой — нет. Пороги подбираются так, чтобы максимизировать целевую метрику качества. Алгоритмы, свойства которых изучаются в настоящей статье, посвящены второму этапу модульного подхода — выбору оптимального вектора порогов. Этот этап становится нетривиальным в случае использования в качестве целевой метрики качества $F$-меры от средней точности и полноты, так как она не допускает независимую оптимизацию порога в каждом классе. В задачах экстремальной многозначной классификации число классов может достигать сотен тысяч, поэтому исходная оптимизационная задача сводится к задаче поиска неподвижной точки специальным образом введенного отображения $\boldsymbol V$, определенного на единичном квадрате на плоскости средней точности $P$ и полноты $R$. Используя это отображение, для оптимизации предлагаются два алгоритма: метод линеаризации $F$-меры и метод анализа области определения отображения $\boldsymbol V$. На наборах данных многозначной классификации разного размера и природы исследуются свойства алгоритмов, в частности зависимость погрешности от числа классов, от параметра $F$-меры и от внутренних параметров методов. Обнаружена особенность работы обоих алгоритмов для задач с областью определения отображения $\boldsymbol V$, содержащей протяженные линейные участки границ. В случае когда оптимальная точка расположена в окрестности этих участков, погрешности обоих методов не уменьшаются с увеличением количества классов. При этом метод линеаризации достаточно точно определяет аргумент оптимальной точки, а метод анализа области определения отображения $\boldsymbol V$ — полярный радиус.

В статье рассматриваются подходы к эволюционному моделированию синтеза организованных систем и анализируются методологические проблемы эволюционных вычислений этого направления. На основе анализа работ по эволюционной кибернетике, теории эволюции, теории систем и синергетике сделан вывод о наличии открытых проблем в задачах формализации синтеза организованных систем и моделирования их эволюции. Показано, что теоретической основой для практики эволюционного моделирования являются положения синтетической теории эволюции. Рассмотрено использование виртуальной вычислительной среды для машинного синтеза алгоритмов решения задач. На основе полученных в процессе моделирования результатов сделан вывод о наличии ряда условий, принципиально ограничивающих применимость методов генетического программирования в задачах синтеза функциональных структур. К основным ограничениям относятся необходимость для фитнес-функции отслеживать поэтапное приближение к решению задачи и неприменимость данного подхода к задачам синтеза иерархически организованных систем. Отмечено, что результаты, полученные в практике эволюционного моделирования в целом за все время его существования, подтверждают вывод о принципиальной ограниченности возможностей генетического программирования при решении задач синтеза структуры организованных систем. В качестве источников принципиальных трудностей для машинного синтеза системных структур указаны отсутствие направлений для градиентного спуска при структурном синтезе и отсутствие закономерности случайного появления новых организованных структур. Сделан вывод об актуальности рассматриваемых проблем для теории биологической эволюции. Обосновано положение о биологической специфике практически возможных путей синтеза структуры организованных систем. В качестве теоретической интерпретации обсуждаемой проблемы предложено рассматривать системно-эволюционную концепцию П.К. Анохина. Процесс синтеза функциональных структур рассматривается в этом контексте как адаптивная реакция организмов на внешние условия, основанная на их способности к интегративному синтезу памяти, потребностей и информации о текущих условиях. Приведены результаты актуальных исследований, свидетельствующие в пользу данной интерпретации. Отмечено, что физические основы биологической интегративности могут быть связаны с явлениями нелокальности и несепарабельности, характерными для квантовых систем. Отмечена связь рассматриваемой в данной работе проблематики с проблемой создания сильного искусственного интеллекта.

Рассматривается прямой алгоритм решения задачи линейного программирования (ЛП), заданной в каноническом виде. Алгоритм состоит из двух последовательных этапов, на которых прямым методом решаются приведенные ниже задачи ЛП: невырожденная вспомогательная задача (на первом этапе) и некоторая задача, равносильная исходной (на втором). В основе построения вспомогательной задачи лежит мультипликативный вариант метода исключения Гаусса, в самой структуре которого заложены возможности: идентификации несовместности и линейной зависимости ограничений; идентификации переменных, оптимальные значения которых заведомо равны нулю; фактического исключения прямых переменных и сокращения размерности пространства, в котором определено решение исходной задачи. В процессе фактического исключения переменных алгоритм генерирует последовательность мультипликаторов, главные строки которых формируют матрицу ограничений вспомогательной задачи, причем возможность минимизация заполнения главных строк мультипликаторов заложена в самой структуре прямых методов. При этом отсутствует необходимость передачи информации (базис, план и оптимальное значение целевой функции) на второй этап алгоритма и применения одного из способов устранения зацикливания для гарантии конечной сходимости.

Представлены два варианта алгоритма решения вспомогательной задачи в сопряженной канонической форме. Первый основан на ее решении прямым алгоритмом в терминах симплекс-метода, а второй — на решении задачи, двойственной к ней, симплекс-методом. Показано, что оба варианта алгоритма для одинаковых исходных данных (входов) генерируют одинаковую последовательность точек: базисное решение и текущее двойственное решение вектора оценок строк. Отсюда сделан вывод, что прямой алгоритм — это алгоритм типа симплекс-метода. Также показано, что сравнение вычислительных схем приводит к выводу, что прямой алгоритм позволяет уменьшить по кубическому закону число арифметических операций, необходимых для решения вспомогательной задачи, по сравнению с симплекс-методом. Приводится оценка числа итераций.

Автоматизация проектирования процессов сборки сложных изделий — это важная и сложная научно-техническая проблема. Последовательность сборки и содержание сборочных операций в значительной степени зависят от механической структуры и геометрических свойств изделия. Приведен обзор методов геометрического моделирования, которые применяются в современных системах автоматизированного проектирования. Моделирование геометрических препятствий при сборке методами анализа столкновений, планирования перемещений и виртуальной реальности требует очень больших вычислительных ресурсов. Комбинаторные методы дают только слабые необходимые условия геометрической разрешимости. Рассматривается важная задача минимизации числа геометрических проверок при синтезе сборочных операций и процессов. Формализация этой задачи основана на гиперграфовой модели механической структуры изделия. Эта модель дает корректное математическое описание когерентных и секвенциальных сборочных операций, которые доминируют в современном дискретном производстве. Введено ключевое понятие геометрической ситуации. Это такая конфигурация деталей при сборке, которая требует проверки на свободу от препятствий, и эта проверка дает интерпретируемые результаты. Предложено математическое описание геометрической наследственности при сборке сложных изделий. Аксиомы наследственности позволяют распространить результаты проверки одной геометрической ситуации на множество других ситуаций. Задача минимизации числа геометрических тестов поставлена как неантагонистическая игра ЛПР и природы, в которой требуется окрасить вершины упорядоченного множества в два цвета. Вершины представляют собой геометрические ситуации, а цвет — это метафора результата проверки на свободу от коллизий. Ход ЛПР заключается в выборе неокрашенной вершины, ответ природы — это цвет вершины, который определяется по результатам моделирования данной геометрической ситуации. В игре требуется окрасить упорядоченное множество за минимальное число ходов. Обсуждается проектная ситуация, в которой ЛПР принимает решение в условиях риска. Предложен способ подсчета вероятностей окраски вершин упорядоченного множества. Описаны основные чистые стратегии рационального поведения в данной игре. Разработан оригинальный синтетический критерий принятия рациональных решений в условиях риска. Предложены две эвристики, которые можно использовать для окрашивания упорядоченных множеств большой мощности и сложной структуры.

В последнее время для описания различных математических моделей физических процессов широко используется дробно-дифференциальное исчисление. В связи с этим большое внимание уделяется уравнениям в частных производных дробного порядка, которые являются обобщением уравнений в частных производных целого порядка.

Нагруженными дифференциальными уравнениями в литературе называют уравнения, содержащие значения решения или его производных на многообразиях меньшей размерности, чем размерность области определения искомой функции. В настоящее время широко используются численные методы для решения нагруженных уравнений в частных производных целого и дробного порядка, поскольку аналитические методы решения сложны в реализации. Достаточно эффективным методом численного решения такого рода задач является метод конечных разностей, или метод сеток.

Исследована начально-краевая задача в прямоугольнике $\overline{D}=\{(x,\,t)\colon 0\leqslant x\leqslant l,\;0\leqslant t\leqslant T\}$ для нагруженного дифференциального уравнения теплопроводности с композицией дробной производной Римана – Лиувилля и Капуто – Герасимова и с граничными условиями первого и третьего рода. С помощью метода энергетических неравенств получена априорная оценка в дифференциальной и в разностной форме. Полученные неравенства означают единственность решения и непрерывную зависимость решения от входных данных задачи. Получен разностный аналог для композиции дробной производной Римана – Лиувилля и Капуто – Герасимова порядка $(2-\beta )$ и построена разностная схема, аппроксимирующая исходную задачу с порядком $O\left(\tau +h^{2-\beta } \right)$. Доказана сходимость решения разностной схемы к решению исходной дифференциальной задачи со скоростью, равной порядку аппроксимации разностной схемы.

Дается обзор критериев, используемых при идентификации концевых вихрей, сходящих с несущих поверхностей летательного аппарата. В качестве основного метода идентификации вихря используется $Q$-критерий, в соответствии с которым ядро вихря ограничено поверхностью, на которой норма тензора завихренности равна норме тензора сдвиговых деформаций. При этом внутри ядра вихря должны выполняться следующие условия: (i) ненулевое значение нормы тензора завихренности, (ii) геометрия ядра вихря должна удовлетворять условию галилеевой инвариантности. На основе аналитических моделей вихря дается определение понятия центра двумерного вихря как точки, в которой $Q$-распределение принимает максимальное значение и много больше нормы тензора сдвиговых деформаций (для осесимметричного 2D-вихря норма тензора сдвиговых деформаций в центре вихря стремится к нулю). Поскольку необходимость существования оси вихря обсуждается в работах различных авторов и выглядит достаточно естественным требованием при анализе концевых вихрей, упомянутые выше условия (i), (ii) дополнены условием (iii): ядро вихря в трехмерном потоке должно содержать ось вихря. Анализируются течения, имеющие в 2D-сечениях осевую симметрию, а также форму ядра вихря, отличающуюся от окружности (в частности, эллиптического вида). Показывается, что в этом случае с использованием $Q$-распределения можно не только определить область ядра вихря, но и выделить ось ядра вихря. Для иллюстрации введенных понятий используются результаты численного моделирования обтекания крыла конечного размаха на базе решения осредненных по Рейнольдсу стационарных уравнений Навье – Стокса (RANS). Замыкание уравнений Навье – Стокса осуществлялось с использованием модели турбулентности $k-\omega$.

Последние годы получило широкое распространение применение нейросетевых моделей для решения задач аэродинамики. В основном такие модели, обученные по некоторому набору ранее полученных решений, позволяют предсказывать решения новых задач и являются в некотором смысле алгоритмами интерполяции. Альтернативным подходом может служить построение нейросетевого оператора, представляющего собой нейросетевую модель, которая воспроизводит поведение численного метода решения задачи. Такая модель позволяет находить решение задачи итерациями. В работе рассматривается вариант построения такого оператора с применением нейронной сети типа UNet с пространственным механизмом внимания для решения задач обтекания на прямоугольной равномерной сетке, общей для обтекаемого тела и поля течения. Для уточнения полученного решения предлагается и исследуется механизм коррекции решения. Анализируется вопрос устойчивости такого алгоритма решения стационарной задачи, проводится сравнение с некоторыми другими вариантами его построения: прием с продвижением вперед (pushforward trick), позиционное встраивание. Рассматривается вопрос выбора набора итераций для формирования обучающей выборки. Оценивается поведение решения при многократном применении нейросетевого оператора.

Демонстрация метода приводится для случая обтекания скругленной пластины турбулентным потоком воздуха с различными вариантами скругления при фиксированных параметрах набегающего потока с числом Рейнольдса $\text{Re} = 10^5$ и числом Маха $M = 0,15$. Поскольку течения с такими параметрами набегающего потока можно считать несжимаемыми, исследуются непосредственно только компоненты скорости. При этом нейросетевая модель, используемая для построения оператора, имеет общий декодер для обеих компонент скорости. Проводится сравнение полей течения и профилей скорости по нормали и по обводу тела, полученных нейросетевым оператором и численно. Анализ проводится как на пластине, так и на скруглении. Результаты моделирования подтверждают, что нейросетевой оператор позволяет находить решение с высокой точностью устойчивым образом.

Одна из серьезных проблем, ограничивающих применение импульсных нейронных сетей в прикладных информационных системах, — это кодирование числовых данных в виде последовательностей спайков — бескачественных атомарных объектов, которыми обмениваются нейроны в импульсных нейросетях. Особенно остро эта проблема стоит в задачах обучения с подкреплением агентов, функционирующих в динамичном реальном мире, так как кроме точности кодирования надо учитывать еще его динамические характеристики. Одним из распространенных является метод кодирования гауссовыми рецептивными полями (ГРП). В этом методе одна числовая переменная, подаваемая на вход импульсной нейронной сети, представляется потоками спайков, испускаемых некоторым количеством входных узлов сети. При этом частота генерации спайков каждым входным узлом отражает близость текущего значения этой переменой к значению — центру рецептивного поля, соответствующего данному входному узлу. В стандартном методе ГРП центры рецептивных полей расположены эквидистантно. Это оказывается неэффективным в случае очень неравномерного распределения кодируемой величины. В настоящей работе предлагается усовершенствование этого метода, основанное на адаптивном выборе центров рецептивных полей и вычислении частот потоков спайков. Производится сравнение предлагаемого усовершенствованного метода ГРП с его стандартным вариантом с точки зрения объема сохраняемой при кодировании информации и с точки зрения точности классификационной модели, построенной на закодированных в виде спайков данных. Доля сохраняемой при спайковом кодировании информации для стандартного и адаптивного ГРП оценивается с помощью процедуры прямого и обратного кодирования большой выборки числовых значений из треугольного распределения вероятности и сравнения числа совпадающих бит в исходной и восстановленной выборке. Сравнение на основе точности классификации проводилось на задаче оценки текущего состояния, возникающей при реализации обучения с подкреплением. При этом классификационные модели строились тремя принципиально различными алгоритмами машинного обучения — алгоритмом ближайших соседей, случайным лесом решений и многослойным персептроном. В статье демонстрируется преимущество предложенного нами метода во всех проведенных тестах.

В работе рассматривается задача параметрической идентификации дискретных линейных стохастических систем, представленных уравнениями в пространстве состояний, с аддитивными и мультипликативными шумами. Предполагается, что уравнения состояния и измерения дискретной линейной стохастической системы зависят от неизвестного параметра, подлежащего идентификации.

Представлен новый подход к построению градиентных методов параметрической идентификации в классе дискретных линейных стохастических систем с аддитивными и мультиплика- тивными шумами, основанный на применении модифицированной взвешенной ортогонализации Грама – Шмидта (MWGS) и алгоритмов дискретной фильтрации информационного типа.

Основными теоретическими результатами данной работы являются: 1) новый критерий идентификации в терминах расширенного информационного LD-фильтра; 2) новый алгоритм вычисления значений производных по параметру неопределенности дискретной линейной стохастической системы в расширенном информационном LD-фильтре на основе прямой процедуры модифицированной взвешенной ортогонализации Грама – Шмидта; 3) новый метод вычисления градиента критерия идентификации на основе предложенного дифференцированного расширенного информационного LD-фильтра.

Преимуществом предложенного подхода является применение численно устойчивой к ошибкам машинного округления MWGS-ортогонализации, лежащей в основе разработанных методов и алгоритмов. Информационный LD-фильтр сохраняет симметричность и положительную определенность информационных матриц. Разработанные алгоритмы имеют блочно-матричную структуру, удобную для компьютерной реализации.

Все разработанные алгоритмы реализованы на языке MATLAB. Проведены серии численных экспериментов, результаты которых демонстрируют работоспособность предложенного подхода на примере решения задачи идентификации параметров математической модели сложной механической системы.

Полученные результаты могут быть использованы для построения методов параметрической идентификации математических моделей, представленных в пространстве состояний дискретными линейными стохастическими системами с аддитивными и мультипликативными шумами.