Все выпуски

Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.

В работе проведено исследование структуры ударной волны в бинарной газовой смеси на основе прямого решения кинетического уравнения Больцмана. Для вычисления интеграла столкновений в кинетическом уравнении используется консервативный проекционный метод. Детально описаны применяемые расчетные формулы и методика вычислений. В качестве потенциала взаимодействия молекул используется модель твердых сфер. Численное моделирование проводится с использованием разработанной программно-моделирующей среды, которая позволяет исследовать стационарные и нестационарные течения газовых смесей в различных режимах и для произвольной геометрии задачи. Моделирование выполняется на системе кластерной архитектуры. За счет использования технологий распараллеливания кода достигается значительное ускорение вычислений. С фиксированной точностью, контролируемой параметрами моделирования, получены распределения макроскопических величин компонентов смеси по фронту ударной волны. Расчеты выполнены для различных соотношений молекулярных масс и чисел Маха. Достигнута общая точность моделирования не менее 1% по локальным значениям концентрации и температуры и 3% по ширине фронта ударной волны. Проведено сравнение полученных результатов с существующими расчетными данными. Представленные в данной работе результаты имеют теоретическое значение, а также могут служить в качестве тестового расчета, поскольку они получены с использованием точного уравнения Больцмана.

В статье проведен анализ исторического процесса с использованием методов синергетики (науки о нелинейных развивающихся системах в природе и обществе), развитых в работах Д. С. Чернавского применительно к экономическим и социальным системам. Показано, что социальная самоорганизация в зависимости от условий приводит к формированию как обществ с сильной внутренней конкуренцией (Y-структуры), так и обществ кооперативного типа (Х-структуры). Y-структуры характерны для стран Запада, Х-структуры характерны для стран Востока. Показано, что в XIX и XX веках имело место ускоренное формирование и усиление Y-структур. Однако в настоящее время мировая система вошла в период серьезных структурных перемен в экономической, политической, идеологической сферах: доминирование Y-структур заканчивается. Рассмотрены возможные пути дальнейшего развития мировой системы, связанные с изменением режимов самоорганизации и ограничением внутренней конкуренции. Этот переход будет длительным и сложным. В этих условиях объективно будет возрастать ценность цивилизационного опыта России, на основе которого в ней была сформирована социальная система комбинированного типа. Показано, что в конечном итоге неизбежен переход от нынешнего доминирования Y-структур к абсолютно новой глобальной системе, устойчивость которой будет основана на новой идеологии, новой духовности (то есть новой «условной информации», по Д. С. Чернавскому), делающей разворот от принципов конкуренции к принципам сотрудничества.

Представлена физико-математическая постановка сопряженной геометрической и газодинамической задачи моделирования внутрикамерных процессов и расчета основных внутрибаллистических характеристик ракетных двигателей на твердом топливе в осесимметричном приближении. Изложены основополагающие методики и численный алгоритм решения задачи. Отслеживание горящей поверхности топлива осуществлено неявным образом с помощью метода уровней на декартовой структурированной вычислительной сетке. Для расчета параметров течения использованы двумерные уравнения газовой динамики. Ввиду несогласованности границ области с узлами вычислительной сетки, в численных расчетах учтено наличие фиктивных точек, лежащих вне рассматриваемой области, но рядом с границей. Для задания значений параметров течения в фиктивных точках применена обратная процедура Лакса – Вендроффа, заключающаяся в построении экстраполяционного полинома, который учитывает как текущее распределение параметров, так и условия на границе. Численное решение полученной системы уравнений основано на использовании WENO-схем пятого и третьего порядка для дискретной аппроксимации по пространственной координате уравнений метода уровней и газовой динамики соответственно и применении методов Рунге – Кутты, обладающих свойством уменьшения полной вариации, для решения полученных полудискретных уравнений. Изложенный численный алгоритм распараллелен с использованием технологии CUDA и в дальнейшем оптимизирован с учетом особенностей архитектуры графических процессоров.

Программный комплекс использован при расчетах внутрибаллистических характеристик бессоплового двигателя на твердом топливе в течение основного времени работы. На основе полученных численных результатов обсуждается эффективность распараллеливания с использованием технологии CUDA и применения рассмотренных оптимизаций. Показано, что применяемая методика распараллеливания приводит к значительному ускорению по сравнению с использованием центральных процессоров. Представлены распределения основных параметров течения продуктов сгорания в различные промежутки времени. Произведено сравнение полученных результатов квазиодномерного подхода и разработанной численной методики.

Работа посвящена построению эффективных и применимых к реальным задачам методов выпуклой оптимизации первого порядка, то есть использующих только значения целевой функции и ее производных. При построении используется быстрый градиентный метод OGM-G, который является оптимальным по оракульной сложности (числу вычислений градиента целевой функции), но при запуске требует знания констант сильной выпуклости и Липшица градиента для вычисления количества шагов и длины шага, требуемых для достижения заданной точности. Данное требование усложняет практическое использование метода. Предлагаются адаптивный по константе сильной выпуклости алгоритм ACGM, основанный на рестартах OGM-G с обновлениемо ценки константы сильной выпуклости, и адаптивный по константе Липшица градиента метод ALGM, в котором применение рестартов OGM-G дополнено подбором константы Липшица с проверкой условий гладкости, используемых в методе универсального градиентного спуска. При этом устраняются недостатки исходного метода, связанные с необходимостью знания данных констант, что делает возможным практическое использование. Доказывается, что оценки сложности построенных алгоритмов являются оптимальными с точностью до числового множителя. Для проверки полученных результатов проводятся эксперименты на модельных функциях и реальных задачах машинного обучения.

Методы оптимизации первого порядка являются важным рабочим инструментов для широкого спектра современных приложений в разных областях, среди которых можно выделить экономику, физику, биологию, машинное обучение и управление. Среди методов первого порядка особого внимания заслуживают ускоренные (моментные) методы в силу их практической эффективности. Метод тяжелого шарика (heavy-ball method — HB) — один из первых ускоренных методов. Данный метод был разработан в 1964 г., и для него был проведен анализ сходимости для квадратичных сильно выпуклых функций. С тех пор были предложены и проанализированы разные варианты HB. В частности, HB известен своей простотой реализации и эффективностью при решении невыпуклых задач. Однако, как и другие моментные методы, он имеет немонотонное поведение; более того, при сходимости HB с оптимальными параметрами наблюдается нежелательное явление, называемое пик-эффектом. Чтобы решить эту проблему, в этой статье мы рассматриваем усредненную версию метода тяжелого шарика (averaged heavy-ball method — AHB). Мы показываем, что для квадратичных задач AHB имеет меньшее максимальное отклонение от решения, чем HB. Кроме того, для общих выпуклых и сильно выпуклых функций доказаны неускоренные скорости глобальной сходимости AHB, его версии WAHB cо взвешенным усреднением, а также для AHB с рестартами R-AHB. Насколько нам известно, такие гарантии для HB с усреднением не были явно доказаны для сильно выпуклых задач в существующих работах. Наконец, мы проводим несколько численных экспериментов для минимизации квадратичных и неквадратичных функций, чтобы продемонстрировать преимущества использования усреднения для HB. Кроме того, мы также протестировали еще одну модификацию AHB, называемую методом tail-averaged heavy-ball (TAHB). В экспериментах мы наблюдали, что HB с правильно настроенной схемой усреднения сходится быстрее, чем HB без усреднения, и имеет меньшие осцилляции.

Статья посвящена моделированию гидродинамических процессов мелководных водоемов на примере Азовского моря. В статье приведена математическая модель гидродинамики мелководного водоема, позволяющая вычислить трехмерные поля вектора скорости движения водной среды. Применение регуляризаторов по Б.Н. Четверушкину в уравнении неразрывности привело к изменению способа расчета поля давления, базирующегося на решении волнового уравнения. Построена дискретная конечно-разностная схема для расчета давления в области, линейные размеры которой по вертикали существенно меньше размеров по горизонтальным координатным направлениям, что является характерным для геометрии мелководных водоемов. Описаны метод и алгоритм решения сеточных уравнений с предобуславливателем трехдиагонального вида. Предложенный метод применен для решения сеточных уравнений, возникающих при расчете давления для трехмерной задачи гидродинамики Азовского моря. Показано, что предложенный метод сходится быстрее модифицированного попеременно-треугольного метода. Представлена параллельная реализация предложенного метода решения сеточных уравнений и проведены теоретические и практические оценки ускорения алгоритма с учетом времени латентности вычислительной системы. Приведены результаты вычислительных экспериментов для решения задач гидродинамики Азовского моря с использованием гибридной технологии MPI + OpenMP. Разработанные модели и алгоритмы применялись для реконструкции произошедшей в 2001 году в Азовском море экологической катастрофы и решения задачи движения водной среды в устьевых районах. Численные эксперименты проводились на гибридном вычислительном кластере К-60 ИПМ им. М.В. Келдыша РАН.

В работе проводятся моделирование смеси газов в многокаскадном микронасосе и оценка его эффективности при разделении компонентов смеси. Рассматривается устройство в виде протяженного канала с последовательностью поперечно расположенных пластин, различие температур сторон которых приводит к радиометрическому течению газа внутри. Скорость течения газов зависит от их масс, что приводит к разделению смеси. Моделирование основывается на численном решении кинетического уравнения Больцмана, для чего используется схема расщепления, при которой поочередно осуществляются решения уравнений переноса и задач релаксации. Вычисление интеграла столкновений осуществляется с помощью консервативного проекционного метода, при использовании которого строго выполняются законы сохранения массы, импульса и энергии, и важное асимптотическое свойство — равенство интеграла от максвелловской функции нулю. Для решения уравнения переноса используются явная разностная схема первого порядка точности и TVD-схема второго порядка. Расчеты проводятся для смеси неона и аргона в модели твердых сфер с реальным отношением молекулярных диаметров и масс. Разработана программно-моделирующая среда, которая позволяет проводить расчеты как на персональных компьютерах, так и на многопроцессорных кластерах. Использование распараллеливания приводит к ускорению вычислений относительно последовательной версии и постоянству времени одной итерации для устройств разных размеров, что позволило моделировать системы с большим числом пластин. Подобраны геометрические размеры устройства, при которых разделения смеси оказывается наибольшим. Обнаружено, что величина разделения смеси, то есть отношение концентраций на концах устройства линейно зависит от числа каскадов в устройстве, что дает возможность оценить разделение для многокаскадных систем, компьютерное моделирование которых невозможно. Построены изображения и проведен анализ течений и распределений концентраций газов внутри устройства во время его работы. Показано, что устройства такого вида при достаточно большом числе пластин подходят для разделения газовых смесей, притом что они не имеют движущихся частей и, соответственно, достаточно просты в изготовлении и мало подвержены износу.

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.