Все выпуски

Статья посвящена выпукло-вогнутым седловым задачам, в которых целевая функция является суммой большого числа слагаемых. Такие задачи привлекают значительное внимание математического сообщества в связи с множеством приложений в машинном обучении, включая adversarial learning, adversarial attacks и robust reinforcement learning, и это лишь некоторые из них. Отдельные функции в сумме обычно представляют собой ошибку, связанную с объектом из выборки. Кроме того, формулировка допускает (возможно, негладкий) композитный член. Такие слагаемые часто отражают регуляризацию в задачах машинного обучения. Предполагается, что размерность одной из групп переменных относительно мала (около сотни или меньше), а другой — велика. Такой случай возникает, например, при рассмотрении двойственной формулировки задачи минимизации с умеренным числом ограничений. Предлагаемый подход основан на использовании метода секущей плоскости Вайды для минимизации относительно внешнего блока переменных. Этот алгоритм оптимизации особенно эффективен, когда размерность задачи не очень велика. Неточный оракул для метода Вайды вычисляется через приближенное решение внутренней задачи максимизации, которая решается ускоренным алгоритмом с редукцией дисперсии Katyusha. Таким образом, мы используем структуру задачи для достижения быстрой сходимости. В исследовании получены отдельные оценки сложности для градиентов различных компонент относительно различных переменных. Предложенный подход накладывает слабые предположения о целевой функции. В частности, не требуется ни сильной выпуклости, ни гладкости относительно низкоразмерной группы переменных. Количество шагов предложенного алгоритма, а также арифметическая сложность каждого шага явно зависят от размерности внешней переменной, отсюда предположение, что она относительно мала.

В данной работе представлены результаты экспериментальной проверки некоторых вопросов, касающихся практического использования методов преодоления катастрофической забывчивости нейронных сетей. Проведено сравнение двух таких современных методов: метода эластичного закрепления весов (EWC, Elastic Weight Consolidation) и метода ослабления скоростей весов (WVA, Weight Velocity Attenuation). Разобраныих преимущества и недостатки в сравнении друг с другом. Показано, что метод эластичного закрепления весов (EWC) лучше применять в задачах, где требуется полностью сохранять выученные навыки на всех задачах в очереди обучения, а метод ослабления скоростей весов (WVA) больше подходит для задач последовательного обучения с сильно ограниченными вычислительными ресурсами или же когда требуется не точное сохранение всех навыков, а переиспользование репрезентаций и ускорение обучения от задачи к задаче. Проверено и подтверждено интуитивное предположение, что ослабление метода WVA необходимо применять к оптимизационному шагу, то есть к приращениям весов нейронной сети, а не к самому градиенту функции потерь, и это справедливо для любого градиентного оптимизационного метода, кроме простейшего стохастического градиентного спуска (SGD), для которого оптимизационный шаг и градиент функции потерь пропорциональны. Рассмотрен выбор оптимальной функции ослабления скоростей весов между гиперболической функцией и экспонентой. Показано, что гиперболическое убывание более предпочтительно, так как, несмотря на сравнимое качество при оптимальных значениях гиперпараметра метода WVA, оно более устойчиво к отклонениям гиперпараметра от оптимального значения (данный гиперпараметр в методе WVA обеспечивает баланс между сохранением старых навыков и обучением новой задаче). Приведены эмпирические наблюдения, которые подтверждают гипотезу о том, что оптимальное значение гиперпараметра не зависит от числа задач в очереди последовательного обучения. Следовательно, данный гиперпараметр может подбираться на небольшом числе задач, а использоваться — на более длинных последовательностях.

Работа посвящена построению эффективных и применимых к реальным задачам методов выпуклой оптимизации первого порядка, то есть использующих только значения целевой функции и ее производных. При построении используется быстрый градиентный метод OGM-G, который является оптимальным по оракульной сложности (числу вычислений градиента целевой функции), но при запуске требует знания констант сильной выпуклости и Липшица градиента для вычисления количества шагов и длины шага, требуемых для достижения заданной точности. Данное требование усложняет практическое использование метода. Предлагаются адаптивный по константе сильной выпуклости алгоритм ACGM, основанный на рестартах OGM-G с обновлениемо ценки константы сильной выпуклости, и адаптивный по константе Липшица градиента метод ALGM, в котором применение рестартов OGM-G дополнено подбором константы Липшица с проверкой условий гладкости, используемых в методе универсального градиентного спуска. При этом устраняются недостатки исходного метода, связанные с необходимостью знания данных констант, что делает возможным практическое использование. Доказывается, что оценки сложности построенных алгоритмов являются оптимальными с точностью до числового множителя. Для проверки полученных результатов проводятся эксперименты на модельных функциях и реальных задачах машинного обучения.

Методы оптимизации первого порядка являются важным рабочим инструментов для широкого спектра современных приложений в разных областях, среди которых можно выделить экономику, физику, биологию, машинное обучение и управление. Среди методов первого порядка особого внимания заслуживают ускоренные (моментные) методы в силу их практической эффективности. Метод тяжелого шарика (heavy-ball method — HB) — один из первых ускоренных методов. Данный метод был разработан в 1964 г., и для него был проведен анализ сходимости для квадратичных сильно выпуклых функций. С тех пор были предложены и проанализированы разные варианты HB. В частности, HB известен своей простотой реализации и эффективностью при решении невыпуклых задач. Однако, как и другие моментные методы, он имеет немонотонное поведение; более того, при сходимости HB с оптимальными параметрами наблюдается нежелательное явление, называемое пик-эффектом. Чтобы решить эту проблему, в этой статье мы рассматриваем усредненную версию метода тяжелого шарика (averaged heavy-ball method — AHB). Мы показываем, что для квадратичных задач AHB имеет меньшее максимальное отклонение от решения, чем HB. Кроме того, для общих выпуклых и сильно выпуклых функций доказаны неускоренные скорости глобальной сходимости AHB, его версии WAHB cо взвешенным усреднением, а также для AHB с рестартами R-AHB. Насколько нам известно, такие гарантии для HB с усреднением не были явно доказаны для сильно выпуклых задач в существующих работах. Наконец, мы проводим несколько численных экспериментов для минимизации квадратичных и неквадратичных функций, чтобы продемонстрировать преимущества использования усреднения для HB. Кроме того, мы также протестировали еще одну модификацию AHB, называемую методом tail-averaged heavy-ball (TAHB). В экспериментах мы наблюдали, что HB с правильно настроенной схемой усреднения сходится быстрее, чем HB без усреднения, и имеет меньшие осцилляции.

В настоящий момент значительно возросла глубина работ по разведке кимберлитовых тел и рудных месторождений. Традиционные геологические методы поиска оказались неэффективными. Практически единственным прямым методом поиска является бурение системы скважин до глубин, которые обеспечивают доступ к вмещающим породам. Из-за высокой стоимости бурения возросла роль межскважинных методов. Они позволяют увеличить среднее расстояние между скважинами без существенного снижения вероятности пропуска кимберлитового или рудного тела. Метод радиоволнового просвечивания особенно эффективен при поиске объектов, отличающихся высокой контрастностью электропроводящих свойств. Физическую основу метода составляет зависимость распространения электромагнитной волны от проводящих свойств среды распространения. Источником и приемником электромагнитного излучения является электрический диполь. При измерениях они размещаются в соседних скважинах. Расстояние между источником и приемником известно. Поэтому, измерив величину уменьшения амплитуды электромагнитной волны при ее распространении между скважинами, можно оценить коэффициент поглощения среды. Породе с низким электрическим сопротивлением соответствует высокое поглощение радиоволн. Поэтому данные межскважинных измерений позволяют оценить эффективное электрическое сопротивление породы. Обычно источник и приемник синхронно погружаются в соседние скважины. Измерение величины амплитуды электрического поля в приемнике позволяет оценить среднее значение коэффициента затухания на линии, соединяющей источник и приемник. Измерения проводятся во время остановок, приблизительно каждые 5 м. Расстояние между остановками значительно меньше расстояния между соседними скважинами. Это приводит к значительной пространственной анизотропии в распределении данных. При проведении разведочного бурения скважины покрывают большую площадь. Наша цель состоит в построении трехмерной модели распределения электрических свойств межскважинного пространства на всем участке по результатом совокупности измерений. Анизотропия пространственного распределения измерений препятствует использованию стандартных методов геостатистики. Для построения трехмерной модели коэффициента затухания мы использовали один из методов теории машинного обучения — метод ближайших соседей. В этом методе коэффициент поглощения в заданной точке определяется его значениями для $k$ ближайших измерений. Число $k$ определяется из дополнительных соображений. Влияния анизотропии пространственного распределения измерений удается избежать, изменив пространственный масштаб в горизонтальном направлении. Масштабный множитель $\lambda$ является еще одним внешним параметром задачи. Для выбора значений параметров $k$ и $\lambda$ мы использовали коэффициент детерминации. Для демонстрации процедуры построения трехмерного образа коэффициента поглощения мы воспользовались данными межскважинного радиоволнового просвечивания, полученные на одном из участков в Якутии.

В данной работе рассматриваются задачи выпуклой стохастической оптимизации, возникающие в анализе данных (минимизация функции риска), а также в математической статистике (минимизация функции правдоподобия). Такие задачи могут быть решены как онлайн-, так и офлайн-методами (метод Монте-Карло). При офлайн-подходе исходная задача заменяется эмпирической задачей — задачей минимизации эмпирического риска. В современном машинном обучении ключевым является следующий вопрос: какой размер выборки (количество слагаемых в функционале эмпирического риска) нужно взять, чтобы достаточно точное решение эмпирической задачи было решением исходной задачи с заданной точностью. Базируясь на недавних существенных продвижениях в машинном обучении и оптимизации для решения выпуклых стохастических задач на евклидовых шарах (или всем пространстве), мы рассматриваем случай произвольных шаров в $p$-нормах и исследуем, как влияет выбор параметра $p$ на оценки необходимого числа слагаемых в функции эмпирического риска.

В данной работе рассмотрены как выпуклые задачи оптимизации, так и седловые. Для сильно выпуклых задач были обобщены уже имеющиеся результаты об одинаковых размерах выборки в обоих подходах (онлайн и офлайн) на произвольные нормы. Более того, было показано, что условие сильной выпуклости может быть ослаблено: полученные результаты справедливы для функций, удовлетворяющих условию квадратичного роста. В случае когда данное условие не выполняется, предлагается использовать регуляризацию исходной задачи в произвольной норме. В отличие от выпуклых задач седловые задачи являются намного менее изученными. Для седловых задач размер выборки был получен при условии $\gamma$-роста седловой функции по разным группам переменных. Это условие при $\gamma = 1$ есть не что иное, как аналог условия острого минимума в выпуклых задач. В данной статье было показано, что размер выборки в случае острого минимума (седла) почти не зависит от желаемой точности решения исходной задачи.

Число работ, посвященных прогнозированию инфекционной заболеваемости, стремительно растет по мере появления статистики, позволяющей провести анализ. В настоящей статье представлен обзор основных решений, доступных сегодня для формирования как краткосрочных, так и долгосрочных проекций заболеваемости; указаны их ограничения и возможности практического применения. Рассмотрены традиционные методы анализа временных рядов — регрессионные и авторегрессионные модели; подходы, опирающиеся на машинное обучение — байесовские сети и искусственные нейронные сети; рассуждения на основе прецедентов; техники, базирующиеся на решении задачи фильтрации. Перечислены важнейшие направления разработки математических моделей распространения заболевания: классические аналитические модели, детерминированные и стохастические, а также современные имитационные модели, сетевые и агентные.

В данной статье решается задача построения нейронечеткой модели формирования нечетких правил и их использования для оценки состояния объектов в условиях неопределенности. Традиционные методы математической статистики или имитационного моделирования не позволяют строить адекватные модели объектов в указанных условиях. Поэтому в настоящее время решение многих задач основано на использовании технологий интеллектуального моделирования с применением методов нечеткой логики. Традиционный подход к построению нечетких систем связан с необходимостью привлечения эксперта для формулирования нечетких правил и задания используемых в них функций принадлежности. Для устранения этого недостатка актуальна автоматизация формирования нечетких правил на основе методов и алгоритмов машинного обучения. Одним из подходов к решению данной задачи является построение нечеткой нейронной сети и обучение ее на данных, характеризующих исследуемый объект. Реализация этого подхода потребовала выбора вида нечетких правил с учетом особенностей обрабатываемых данных. Кроме того, потребовалась разработка алгоритма логического вывода на правилах выбранного вида. Этапы алгоритма определяют число слоев в структуре нечеткой нейронной сети и их функциональность. Разработан алгоритм обучения нечеткой нейронной сети. После ее обучения производится формирование системы нечетко-продукционных правил. На базе разработанного математического обеспечения реализован программный комплекс. На его основе проведены исследования по оценке классифицирующей способности формируемых нечетких правил на примере анализа данных из UCI Machine Learning Repository. Результаты исследований показали, что классифицирующая способность сформированных нечетких правил не уступает по точности другим методам классификации. Кроме того, алгоритм логического вывода на нечетких правилах позволяет успешно производить классификацию при отсутствии части исходных данных. С целью апробации произведено формирование нечетких правил для решения задачи по оценке состояния водоводов в нефтяной отрасли. На основе исходных данных по 303 водоводам сформирована база из 342 нечетких правил. Их практическая апробация показала высокую эффективность в решении поставленной задачи.

В статье предлагается ряд подходов к обработке изображений в системе поддержки принятия решений (СППР) центра автоматизированной фиксации административных правонарушений дорожного движения (ЦАФАП). Основной задачей данной СППР является помощь человеку-оператору в получении точной информации о государственном регистрационном знаке (ГРЗ) и модели транспортного средства (ТС) на основании изображений, полученных с комплексов фотовидеофиксации (ФВФ). В статье предложены подходы к распознаванию ГРЗ и марки/модели ТС на изображении, основанные на современных нейросетевых моделях. Для распознавания ГРЗ использована нейросетевая модель LPRNet с дополнительно введенным Spatial Transformer Layer для предобработки изображения. Для автоматического определения марки/модели ТС на изображении использована нейросетевая архитектура ResNeXt-101-32x8d. Предложен подход к формированию обучающей выборки для нейросетевой модели распознавания ГРЗ, основанный на методах компьютерного зрения и алгоритмах машинного обучения. В данном подходе использован алгоритм SIFT для нахождения ключевых точек изображения с ГРЗ и вычисления их дескрипторов, а для удаления точек-выбросов использован алгоритм DBSCAN. Точность распознавания ГРЗ на тестовой выборке составила 96 %. Предложен подход к повышению производительности процедур дообучения и распознавания марки/модели ТС, основанный на использовании новой архитектуры сверточной нейронной сети с «заморозкой» весовых коэффициентов сверточных слоев, дополнительным сверточным слоем распараллеливания процесса классификации и множеством бинарных классификаторов на выходе. Применение новой архитектуры позволило на несколько порядков уменьшить время дообучения нейросетевой модели распознавания марки/модели ТС с итоговой точностью классификации, близкой к 99 %. Предложенные подходы были апробированы и внедрены в СППР ЦАФАП Республики Татарстан.

При моделировании турбулентных течений неизбежно приходится сталкиваться с выбором между точностью и скоростью проведения расчетов. Так, DNS- и LES-модели позволяют проводить более точные расчеты, но являются более вычислительно затратными, чем RANS-модели. Поэтому сейчас RANS- модели являются наиболее часто используемыми при проведении практических расчетов. Но и расчеты с применением RANS-моделей могут быть значительно вычислительно затратными для задач со сложной геометрией или при проведении серийных расчетов по причине необходимости разрешения пристенного слоя. Существуют подходы, позволяющие значительно ускорить вычисления для RANS-моделей. Например, пристеночные функции или методы, основанные на декомпозиции расчетной области. Тем не менее они неизбежно теряют в точности за счет упрощения модели в пристенной области. Для того чтобы одновременно получить и вычислительно эффективную и более точную модель, может быть построена суррогатная модель на основании упрощенной модели и с использованием знаний о предыдущих расчетах, полученных более точной моделью, например из некоторых результатов серийных расчетов.

В статье строится оператор перехода, позволяющий по результатам расчетов менее точной модели получить поле течения как при применении более точной модели. В данной работе результаты расчетов, полученные с помощью менее точной модели Спаларта–Аллмараса с применением пристенной декомпозиции, уточняются на основании расчетов схожих течений, полученных с помощью базовой модели Спаларта–Аллмараса с подробным разрешением пристенной области, с помощью методов машинного обучения. Оператор перехода от уточняемой модели к базовой строится локальным образом. То есть для уточнения результатов расчета в каждой точке расчетной области используются значения переменных пространства признаков (сами переменные поля и их производные) в этой точке. Для построения оператора используется алгоритм Random Forest. Эффективность и точность построенной суррогатной модели демонстрируется на примере двумерной задачи сверхзвукового турбулентного обтекания угла сжатия при различных числах Рейнольдса. Полученный оператор применяется к решению задач интерполяции и экстраполяции по числу Рейнольдса, также рассматривается топологический случай — интерполяция и экстраполяция по величине угла сжатия $\alpha$.