Все выпуски

В современном мире, ориентированном на технологии, легкие устройства, такие как устройства Интернета вещей (IoT) и микроконтроллеры (MCU), становятся все более распространенными. Эти устройства более энергоэффективны и доступны по цене, но часто обладают урезанными возможностями, по сравнению со стандартными версиями, такими как ограниченная память и вычислительная мощность. Современные модели машинного обучения могут содержать миллионы параметров, что приводит к значительному росту требований по объему памяти. Эта сложность не только затрудняет развертывание больших моделей на устройствах с ограниченными ресурсами, но и увеличивает риск задержек и неэффективности при обработке данных, что критично в случаях, когда требуются ответы в реальном времени, таких как автономное вождение или медицинская диагностика.

В последние годы нейронные сети достигли значительного прогресса в методах оптимизации моделей, что помогает в развертывании и инференсе на этих небольших устройствах. Данный обзор представляет собой подробное исследование прогресса и последних достижений в оптимизации нейронных сетей, сосредотачиваясь на ключевых областях, таких как квантизация, прореживание, дистилляция знаний и поиск архитектур нейронных сетей. Обзор рассматривает, как эти алгоритмические решения развивались и как новые подходы улучшили существующие методы, делая нейронные сети более эффективными. Статья предназначена для исследователей, практиков и инженеров в области машинного обучения, которые могут быть незнакомы с этими методами, но хотят изучить доступные техники. В работе подчеркиваются текущие исследования в области оптимизации нейронных сетей для достижения лучшей производительности, снижения потребления энергии и ускорения времени обучения, что играет важную роль в дальнейшей масштабируемости нейронных сетей. Кроме того, в обзоре определяются пробелы в текущих исследованиях и закладывается основа для будущих исследований, направленных на повышение применимости и эффективности существующих стратегий оптимизации.

В основу обзора положены некоторые ранние работы авторов, представляющие определенный научный, методический и практический интерес; наибольшее внимание уделено работам последних лет, где выполнены достаточно подробные численные исследования не только одиночных, но также двойных и множественных взрывов в широком диапазоне высот и условий в окружающей среде. Так как в нижней атмосфере ударная волна мощного взрыва является одним из главных поражающих факторов, то в обзоре большое внимание уделено физическому анализу их распространения и взаимодействия. С помощью разработанных авторами трехмерных алгоритмов рассмотрены интересные с физической точки зрения эффекты интерференции и дифракции нескольких ударных волн в отсутствие и при наличии подстилающей поверхности различной структуры. Определены количественные характеристики в области их максимальных значений, что представляет известный практический интерес. Для взрывов в плотной атмосфере найдены некоторые новые аналитические решения на основе метода малых возмущений, удобные для приближенных расчетов. Для ряда условий показана возможность использования автомодельных свойств уравнений первого и второго рода для решения задач о развитии взрыва.

На основе численного анализа показано принципиальное изменение в структуре развития возмущенной области при изменении высоты взрыва в диапазоне 100–120 км. На высотах более 120 км геомагнитное поле начинает влиять на развитие взрыва, поэтому даже для одиночного взрыва картина плазменного течения через несколько секунд становится существенно трехмерной. Для расчета взрывов на высотах 120–1000 км под руководством академика Холодова А. С. был разработан специальный трехмерный численный алгоритм на основе МГД-приближения. Были выполнены многочисленные расчеты и впервые получена достаточно подробная картина трехмерного течения плазмы взрыва с образованием через 5–10 с восходящей струи, направленной в меридиональной плоскости примерно по геомагнитному полю. После некоторой модификации данный алгоритм использовался для расчета двойных взрывов в ионосфере, разнесенных на некоторое расстояние. Взаимодействие между ними осуществлялось как плазменными потоками, так и через геомагнитное поле. Некоторые результаты приведены в данном обзоре и подробно изложены в оригинальных статьях.

С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.

Моделирование русловых процессов при исследовании береговых деформаций русла требует вычисления параметров гидродинамического потока, учитывающих существование вторичных поперечных течений, формирующихся на закруглении русла. Трехмерное моделирование таких процессов на текущий момент возможно только для небольших модельных каналов, для реальных речных потоков необходимы модели пониженной размерности. При этом редукция задачи от трехмерной модели движения речного потока к двумерной модели потока в плоскости створа канала предполагает, что рассматриваемый гидродинамический поток является квазистационарным, и для него выполнены гипотезы об асимптотическом поведении потока по потоковой координате створа. С учетом данных ограничений в работе сформулирована математическая модель задачи о движении стационарного турбулентного спокойного речного потока в створе канала. Задача сформулирована в смешанной постановке скорости — «вихрь – функция тока». В качестве дополнительных условий для редукции задачи требуется задание граничных условий на свободной поверхности потока для поля скорости, определяемого в нормальном и касательном направлении к оси створа. Предполагается, что значения данных скоростей должны быть определены из решения вспомогательных задач или получены из данных натурных или экспериментальных измерений.

Для решения сформулированной задачи используется метод конечных элементов в формулировке Петрова – Галёркина. Получен дискретный аналог задачи и предложен алгоритм ее решения. Выполненные численные исследования показали в целом хорошую согласованность полученных решений при их сравнении с известными экспериментальными данными.

Полученные погрешности авторы связывают с необходимостью более точного определения циркуляционного поля скоростей в створе потока путем подбора и калибровки более подходящей модели вычисления турбулентной вязкости и граничных условий на свободной границе створа.

Число работ, посвященных прогнозированию инфекционной заболеваемости, стремительно растет по мере появления статистики, позволяющей провести анализ. В настоящей статье представлен обзор основных решений, доступных сегодня для формирования как краткосрочных, так и долгосрочных проекций заболеваемости; указаны их ограничения и возможности практического применения. Рассмотрены традиционные методы анализа временных рядов — регрессионные и авторегрессионные модели; подходы, опирающиеся на машинное обучение — байесовские сети и искусственные нейронные сети; рассуждения на основе прецедентов; техники, базирующиеся на решении задачи фильтрации. Перечислены важнейшие направления разработки математических моделей распространения заболевания: классические аналитические модели, детерминированные и стохастические, а также современные имитационные модели, сетевые и агентные.

Предлагается простая модель на основе уравнения кинетического типа для описания распространения вируса в пространстве посредством миграции носителей вируса из выделенного центра. Рассматриваются страны, для которых применима одномерная модель: Россия, Италия, Чили. Одномерный подход возможен из-за географического расположения этих стран и их протяженности в направлениях от центров заражения (Москвы, Ломбардии и Сантьяго соответственно). Определяется изменение плотности зараженных во времени и пространстве. Применяется двухпараметрическая модель. Первый параметр — величина средней скорости распространения, соответствующий переносу инфицированных транспортными средствами. Второй параметр — частота уменьшения количества инфицированных элементов по мере продвижения по территории страны, что связано с прибытием пассажиров в места назначения, а также с карантинными мерами, препятствующими их перемещению по стране. Параметры модели определяются по фактически известным данным. Строится аналитическое решение, для получения серии расчетов применяются также простые численные методы. В модели рассматривается пространственное распространение заболевания, при этом заражения на местах не учитываются. Поэтому вычисленные значения на начальном этапе хорошо соответствуют экспериментальным данным, а затем плотность заболевших начинает быстрее возрастать из-за заражений на местах. Тем не менее модельные расчеты позволяют делать некоторые предсказания. Помимо скорости заражения, возможна аналогичная «скорость выздоровления». По моменту времени достижения охвата большей части населения страны при движении фронта выздоровления делается вывод о начале глобального выздоровления, что соответствует реальным данным.

Стохастическая оптимизация является актуальным направлением исследования в связи со значительными успехами в области машинного обучения и их применениями для решения повседневных задач. В данной работе рассматриваются два принципиально различных метода решения задачи стохастической оптимизации — онлайн- и офлайн-алгоритмы. Соответствующие алгоритмы имеют свои качественные преимущества перед друг другом. Так, для офлайн-алгоритмов требуется решать вспомогательную задачу с высокой точностью. Однако это можно делать распределенно, и это открывает принципиальные возможности, как, например, построение двойственной задачи. Несмотря на это, и онлайн-, и офлайн-алгоритмы преследуют общую цель — решение задачи стохастической оптимизации с заданной точностью. Это находит отражение в сравнении вычислительной сложности описанных алгоритмов, что демонстрируется в данной работе.

Сравнение описанных методов проводится для двух типов стохастических задач — выпуклой оптимизации и седел. Для задач стохастической выпуклой оптимизации существующие решения позволяют довольно подробно сравнить онлайн- и офлайн-алгоритмы. В частности, для сильно выпуклых задач вычислительная сложность алгоритмов одинаковая, причем условие сильной выпуклости может быть ослаблено до условия $\gamma$-роста целевой функции. С этой точки зрения седловые задачи являются гораздо менее изученными. Тем не менее существующие решения позволяют наметить основные направления исследования. Так, значительные продвижения сделаны для билинейных седловых задач с помощью онлайн-алгоритмов. Оффлайн-алгоритмы представлены всего одним исследованием. В данной работе на этом примере демонстрируется аналогичная с выпуклой оптимизацией схожесть обоих алгоритмов. Также был проработан вопрос точности решения вспомогательной задачи для седел. С другой стороны, седловая задача стохастической оптимизации обобщает выпуклую, то есть является ее логичным продолжением. Это проявляется в том, что существующие результаты из выпуклой оптимизации можно перенести на седла. В данной работе такой перенос осуществляется для результатов онлайн-алгоритма в выпуклом случае, когда целевая функция удовлетворяет условию $\gamma$-роста.

Контроль за загрязнением воздуха имеет большое значение для стран Европы и Азии. В рамках Конвенции ООН по дальнему трансграничному переносу воздушных загрязнений (СLRTAP) реализуется программа UNECE ICP Vegetation, направленная на определение наиболее неблагополучных областей, создание региональных карт и улучшение понимания природы долгосрочных трансграничных загрязнений. В Объединенном институте ядерных исследований была разработана облачная платформа, предоставляющая участникам программы ICP Vegetation удобные инструменты для сбора, анализа и обработки данных мониторинга. В настоящее время в системе содержится информация о более чем 6000 точках пробоотбора в 40 регионах различных стран Европы и Азии.

Важным этапом контроля является моделирование загрязнений в местах, где частота исследований или плотность покрытия сети сбора образцов недостаточны. Одним из подходов к прогнозированию загрязнений является использование специализированных статистических моделей и методов машинного обучения совместно с различными количественными показателями точек сбора образцов и информацией о концентрациях элементов. Наиболее перспективным источником количественных показателей для обучения моделей являются космические снимки в различных спектрах. Обученная должным образом модель позволит получать прогноз по концентрациям элементов, используя исключительно космоснимки. Специализированная платформа Google Earth Engine предоставляет широкие возможности для анализа и обработки данных от более чем 100 различных проектов дистанционного зондирования земли, удобный интерфейс разработчика на JavaScript и программный интерфейс на Python для использования в сторонних приложениях.

В работе рассматривается возможность использования статистических показателей космоснимков, полученных от платформы Google Earth Engine, совместно с данными мониторинга состояния окружающей среды проекта ICP Vegetation для обучения моделей, способных прогнозировать концентрацию тяжелых металлов в определенных регионах.

В исследовании мы сосредоточились на задаче классификации невербальной речи для разработки интерфейса «мозг–компьютер» (ИМК) на основе электроэнцефалографии (ЭЭГ), который будет способен помочь людям с ограниченными возможностями и расширить возможности человека в повседневной жизни. Ранее наши исследования показали, что беззвучная речь для некоторых слов приводит к почти идентичным распределениям ЭЭГ-данных. Это явление негативно влияет на точность классификации нейросетевой модели. В этой статье предлагается метод обработки данных, который различает статисти- чески удаленные и неразделимые классы данных. Применение предложенного подхода позволяет достичь цели максимального увеличения смысловой нагрузки словаря, используемого в ИМК.

Кроме того, мы предлагаем статистический прогностический критерий точности бинарной классификации слов в словаре. Такой критерий направлен на оценку нижней и верхней границ поведения классификаторов только путем измерения количественных статистических свойств данных (в частности, с использованием метода Колмогорова – Смирнова). Показано, что более высокие уровни точности классификации могут быть достигнуты за счет применения предложенного прогностического критерия, позволяющего сформировать оптимизированный словарь с точки зрения семантической нагрузки для ИМК на основе ЭЭГ. Кроме того, использование такого обучающего набора данных для задач классификации по словарю обеспечивает статистическую удаленность классов за счет учета семантических и фонетических свойств соответствующих слов и улучшает поведение классификации моделей распознавания беззвучной речи.

Рассматривается модель, описывающая пространственно-временную динамику сообщества, состоящего из трех популяций, представляющих звенья трофической цепи. Локальные взаимодействия популяций строятся по типу «хищник – жертва», причем хищник потребляет не только жертву, но и ресурс, составляющий рацион жертвы. В предыдущей работе автором был проведен анализ модели без учета пространственной неоднородности. Данное исследование продолжает модельное изучение сообщества, учитывая диффузию особей, а также направленные перемещения хищника. Предполагается, что хищник реагирует на пространственное изменение ресурса и жертвы, занимая области с более высокой плотностью или избегая их. В модели такое поведение описывается адвективным членом со скоростью, пропорциональной градиенту плотности ресурса и жертвы. Система рассматривается в одномерной области в предположении нулевых потоков через границу. Динамика модели определяется устойчивостью системы в окрестности пространственно-однородного равновесия к малым пространственно-неоднородным возмущениям. В работе проведен анализ возможности возникновения в системе волновой неустойчивости, приводящей к возникновению автоволн и неустойчивости Тьюринга, в результате которой образуются стационарные структуры. Получены достаточные условия существования обоих видов неустойчивости, определяющие границы области значений коэффициентов таксиса, при которых система может потерять устойчивость. Анализ влияния параметров локальной кинетики модели на возможность образования пространственных структур показал, что при положительном таксисе на ресурс возможна лишь неустойчивость Тьюринга, а при отрицательном — оба вида неустойчивости. Для поиска численного решения системы использован метод линий с расщеплением разностного оператора по физическим процессам. Пространственно-временная динамика системы представлена в нескольких вариантах, реализующих один из типов неустойчивости. В случае положительного таксиса на жертву в областях меньшего размера возможно как реализация автоволнового режима, так и образование стационарных структур; с увеличением области тьюринговы структуры не образуются. Если же таксис на жертву отрицательный, то стационарные структуры возникают в областях любого размера, периодические структуры появляются только в более крупных областях.