Все выпуски

Рассматривается применение физически информированных нейронных сетей с использованием многослойных персептронов для решения задач Коши, в которых правые части уравнения являются непрерывными монотонно возрастающими, убывающими или осциллирующими функциями. С помощью вычислительных экспериментов изучено влияние метода построения приближенного нейросетевого решения, структуры нейронной сети, алгоритмов оптимизации и средств программной реализации на процесс обучения и точность полученного решения. Выполнен анализ эффективности работы наиболее часто используемых библиотек машинного обучения при разработке программ на языках программирования Python и C#. Показано, что применение языка C# позволяет сократить время обучения нейросетей на 20–40%. Выбор различных функций активации влияет на процесс обучения и точность приближенного решения. Наиболее эффективными в рассматриваемых задачах являются сигмоида и гиперболический тангенс. Минимум функции потерь достигается при определенном количестве нейронов скрытого слоя однослойной нейронной сети за фиксированное время обучения нейросетевой модели, причем усложнение структуры сети за счет увеличения числа нейронов не приводит к улучшению результатов обучения. При этом величина шага сетки между точками обучающей выборки, обеспечивающей минимум функции потерь, в рассмотренных задачах Коши практически одинакова. Кроме того, при обучении однослойных нейронных сетей наиболее эффективными для решения задач оптимизации являются метод Adam и его модификации. Дополнительно рассмотрено применение двух- и трех-слойных нейронных сетей. Показано, что в этих случаях целесообразно использовать алгоритм LBFGS, который по сравнению с методом Adam в ряде случаев требует на порядок меньшего времени обучения при достижении одинакового порядка точности. Исследованы также особенности обучения нейронной сети в задачах Коши, в которых решение является осциллирующей функцией с монотонно убывающей амплитудой. Для них необходимо строить нейросетевое решение не с постоянными, а с переменными весовыми коэффициентами, что обеспечивает преимущество такого подхода при обучении в тех узлах, которые расположены вблизи конечной точки интервала решения задачи.

В работе предложен оптимизационный подход к имитационному моделированию микроструктур. Решены задачи оптимизации функции пористости, поиска оптимальной модели гранулометрического состава и введен критерий качества моделирования. Проведена проверка адекватности предложенных методов на примерах и предложена регрессионная модель качества имитационного моделирования микроструктур. Актуальным приложением предложенного подхода является задача 3D-реконструкции микроструктуры керна. Полученные результаты дают основания для продолжения исследований в выбранном направлении.

Миграция оказывает существенное влияние на формирование демографической структуры населения территорий, состояние региональных и локальных рынков труда. Быстрое изменение численности трудоспособного населения той или иной территории из-за миграционных процессов приводит к дисбалансу спроса и предложения на рынках труда, изменению демографической структуры населения. Миграция во многом является отражением социально-экономических процессов, происходящих в обществе. Поэтому становятся актуальными вопросы, связанные с изучением факторов миграции, направления, интенсивности и структуры миграционных потоков, прогнозированием их величины.

Для анализа, прогнозирования миграционных процессов и оценки их последствий часто используется математический инструментарий, позволяющий с нужной точностью моделировать миграционные процессы для различных территорий на основе имеющихся статистических данных. В последние годы как в России, так и в зарубежных странах появилось много научных работ, посвященных моделированию внутренних и внешних миграционных потоков с использованием математических методов. Следовательно, для формирования целостной картины основных тенденций и направлений исследований в этой области возникла необходимость в систематизации наиболее часто используемых методов и инструментов моделирования.

В представленном обзоре на основе анализа современных отечественных и зарубежных публикаций представлены основные подходы к моделированию миграции, основные составляющие методологии моделирования миграционных процессов — этапы, методы, модели и классификация моделей. Обзор содержит два раздела: методы моделирования миграционных процессов и модели миграции. В первом разделе приведено описание основных методов, используемых в процессе разработки моделей — эконометрических, клеточных автоматов, системно-динамических, вероятностных, балансовых, оптимизации и кластерного анализа. Во втором — выделены и описаны наиболее часто встречающиеся классы моделей — регрессионные, агент-ориентированные, имитационные, оптимизационные, веро- ятностные, балансовые, динамические и комбинированные. Рассмотрены особенности, преимущества и недостатки различных типов моделей миграционных процессов, проведен их сравнительный анализ и разработаны общие рекомендации по выбору математического инструментария для моделирования.

Появление технологий лазерного сканирования произвело настоящую революцию в лесном хозяйстве. Их использование позволило перейти от изучения лесных массивов с помощью ручных измерений к компьютерному анализу точечных стереоизображений, называемых облаками точек.

Автоматическое вычисление некоторых параметров деревьев (таких как диаметр ствола) по облаку точек требует удаления точек листвы. Для выполнения этой операции необходима предварительная сегментация стереоизображения на классы «листва» и «ствол». Решение этой задачи зачастую включает использование методов машинного обучения.

Одним из самых популярных классификаторов, используемых для сегментации стереоизображений деревьев, является случайный лес. Этот классификатор достаточно требователен к объему памяти. В то же время размер модели машинного обучения может быть критичным при необходимости ее пересылки, что требуется, например, при выполнении распределенного обучения. В данной работе ставится цель найти классификатор, который был бы менее требовательным по памяти, но при этом имел бы сравнимую точность сегментации. Поиск выполняется среди таких классификаторов, как логистическая регрессия, наивный байесовский классификатор и решающее дерево. Кроме того, исследуется способ уточнения сегментации, выполненной решающим деревом, с помощью логистической регрессии.

Эксперименты проводились на данных из коллекции университета Гейдельберга. Было показано, что классификация с помощью решающего дерева, корректируемая с помощью логистической регрессии, способна давать результат, лишь немного проигрывающий результату случайного леса по точности, затрачивая при этом меньше времени и оперативной памяти. Разница в сбалансированной точности составляет не более процента на всех рассмотренных облаках, при этом суммарный размер и время предсказания классификаторов решающего дерева и логистической регрессии на порядок меньше, чем у случайного леса.

В статье рассматриваются вопросы применения метода оптимизации для поддержки процессов планирования складских системах с помощью технологии имитационного моделирования. Исследованы механизмы взаимосвязи оптимизационной и имитационной моделей, а также подробно описан алгоритм разработки оптимизационной имитационной модели складской системы для поддержки процессов планирования.

В статье рассматривается процесс поиска опорных траекторий движения плоского пятизвенного двуногого шагающего робота с точечным контактом. Для этого используются метод приведения динамики к низкоразмерному нулевому многообразию с помощью наложения виртуальных связей и алгоритмы нелинейной оптимизации для поиска параметров наложенных связей. Проведен анализ влияния степени полиномов Безье, аппроксимирующих виртуальные связи, а также условия непрерывности управляющих воздействий на энергоэффективность движения. Численные расчеты показали, что на практике достаточно рассматривать полиномы со степенями 5 или 6, так как дальнейшее увеличение степени приводит к увеличению вычислительных затрат, но не гарантирует уменьшение энергозатрат походки. Помимо этого, было установлено, что введение ограничений на непрерывность управляющих воздействий не приводит к существенному уменьшению энергоэффективности и способствует реализуемости походки на реальном роботе благодаря плавному изменению крутящих моментов в приводах. В работе показано, что для решения задачи поиска минимума целевой функции в виде энергозатрат при наличии большого количества ограничений целесообразно на первом этапе найти допустимые точки в пространстве параметров, а на втором этапе — осуществлять поиск локальных минимумов, стартуя с этих точек. Для первого этапа предложен алгоритм расчета начальных приближений искомых параметров, позволяющий сократить время поиска траекторий (в среднем до 3-4 секунд) по сравнению со случайным начальным приближением. Сравнение значений целевых функций на первом и на втором этапах показывает, что найденные на втором этапе локальные минимумы дают в среднем двукратный выигрыш по энергоэффективности в сравнении со случайно найденной на первом этапе допустимой точкой. При этом времязатраты на выполнение локальной оптимизации на втором этапе являются существенными.

В данной работе показаны преимущества использования алгоритмов искусственного интеллекта для планирования эксперимента, позволяющих повысить точность идентификации параметров для эластостатической модели робота. Планирование эксперимента для робота заключается в подборе оптимальных пар «конфигурация – внешняя сила» для использования в алгоритмах идентификации, включающих в себя несколько основных этапов. На первом этапе создается эластостатическая модель робота, учитывающая все возможные механические податливости. Вторым этапом выбирается целевая функция, которая может быть представлена как классическими критериями оптимальности, так и критериями, напрямую следующими из желаемого применения робота. Третьим этапом производится поиск оптимальных конфигураций методами численной оптимизации. Четвертым этапом производится замер положения рабочего органа робота в полученных конфигурациях под воздействием внешней силы. На последнем, пятом, этапе выполняется идентификация эластостатичесих параметров манипулятора на основе замеренных данных.

Целевая функция для поиска оптимальных конфигураций для калибровки индустриального робота является ограниченной в силу механических ограничений как со стороны возможных углов вращения шарниров робота, так и со стороны возможных прикладываемых сил. Решение данной многомерной и ограниченной задачи является непростым, поэтому предлагается использовать подходы на базе искусственного интеллекта. Для нахождения минимума целевой функции были использованы следующие методы, также иногда называемые эвристическими: генетические алгоритмы, оптимизация на основе роя частиц, алгоритм имитации отжига т. д. Полученные результаты были проанализированы с точки зрения времени, необходимого для получения конфигураций, оптимального значения, а также итоговой точности после применения калибровки. Сравнение показало преимущество рассматриваемых техник оптимизации на основе искусственного интеллекта над классическими методами поиска оптимального значения. Результаты данной работы позволяют уменьшить время, затрачиваемое на калибровку, и увеличить точность позиционирования рабочего органа робота после калибровки для контактных операций с высокими нагрузками, например таких, как механическая обработка и инкрементальная формовка.

Данная работа посвящена сравнительному анализу оптимизационных методов и алгоритмов для проведения интервальной оценки технических потерь электроэнергии в распределительных сетях напряжением 6–20 кВ. Задача интервальной оценки потерь сформулирована в виде задачи многомерной условной минимизации/максимизации с неявной целевой функцией. Рассмотрен ряд методов численной оптимизации первого и нулевого порядков, с целью определения наиболее подходящего для решения рассмотренной проблемы. Таким является алгоритм BOBYQA, в котором целевая функция заменяется ее квадратичной аппроксимацией в пределах доверительной области.

В данной статье предлагаются методы оптимизации высокого порядка (тензорные методы) для решения двух типов седловых задач. Первый тип — это классическая мин-макс-постановка для поиска седловой точки функционала. Второй тип — это поиск стационарной точки функционала седловой задачи путем минимизации нормы градиента этого функционала. Очевидно, что стационарная точка не всегда совпадает с точкой оптимума функции. Однако необходимость в решении подобного типа задач может возникать в случае, если присутствуют линейные ограничения. В данном случае из решения задачи поиска стационарной точки двойственного функционала можно восстановить решение задачи поиска оптимума прямого функционала. В обоих типах задач какие-либо ограничения на область определения целевого функционала отсутствуют. Также мы предполагаем, что целевой функционал является $\mu$-сильно выпуклыми $\mu$-сильно вогнутым, а также что выполняется условие Липшица для его $p$-й производной.

Для задач типа «мин-макс» мы предлагаем два алгоритма. Так как мы рассматриваем сильно выпуклую и сильно вогнутую задачу, первый алгоритмиспо льзует существующий тензорный метод для решения выпуклых вогнутых седловых задач и ускоряет его с помощью техники рестартов. Таким образом удается добиться линейной скорости сходимости. Используя дополнительные предположения о выполнении условий Липшица для первой и второй производных целевого функционала, можно дополнительно ускорить полученный метод. Для этого можно «переключиться» на другой существующий метод для решения подобных задач в зоне его квадратичной локальной сходимости. Так мы получаем второй алгоритм, обладающий глобальной линейной сходимостью и локальной квадратичной сходимостью. Наконец, для решения задач второго типа существует определенная методология для тензорных методов в выпуклой оптимизации. Суть ее заключается в применении специальной «обертки» вокруг оптимального метода высокого порядка. Причем для этого условие сильной выпуклости не является необходимым. Достаточно лишь правильным образом регуляризовать целевой функционал, сделав его таким образом сильно выпуклым и сильно вогнутым. В нашей работе мы переносим эту методологию на выпукло-вогнутые функционалы и используем данную «обертку» на предлагаемом выше алгоритме с глобальной линейной сходимостью и локальной квадратичной сходимостью. Так как седловая задача является частным случаем монотонного вариационного неравенства, предлагаемые методы также подойдут для поиска решения сильно монотонных вариационных неравенств.

Стохастическая оптимизация является актуальным направлением исследования в связи со значительными успехами в области машинного обучения и их применениями для решения повседневных задач. В данной работе рассматриваются два принципиально различных метода решения задачи стохастической оптимизации — онлайн- и офлайн-алгоритмы. Соответствующие алгоритмы имеют свои качественные преимущества перед друг другом. Так, для офлайн-алгоритмов требуется решать вспомогательную задачу с высокой точностью. Однако это можно делать распределенно, и это открывает принципиальные возможности, как, например, построение двойственной задачи. Несмотря на это, и онлайн-, и офлайн-алгоритмы преследуют общую цель — решение задачи стохастической оптимизации с заданной точностью. Это находит отражение в сравнении вычислительной сложности описанных алгоритмов, что демонстрируется в данной работе.

Сравнение описанных методов проводится для двух типов стохастических задач — выпуклой оптимизации и седел. Для задач стохастической выпуклой оптимизации существующие решения позволяют довольно подробно сравнить онлайн- и офлайн-алгоритмы. В частности, для сильно выпуклых задач вычислительная сложность алгоритмов одинаковая, причем условие сильной выпуклости может быть ослаблено до условия $\gamma$-роста целевой функции. С этой точки зрения седловые задачи являются гораздо менее изученными. Тем не менее существующие решения позволяют наметить основные направления исследования. Так, значительные продвижения сделаны для билинейных седловых задач с помощью онлайн-алгоритмов. Оффлайн-алгоритмы представлены всего одним исследованием. В данной работе на этом примере демонстрируется аналогичная с выпуклой оптимизацией схожесть обоих алгоритмов. Также был проработан вопрос точности решения вспомогательной задачи для седел. С другой стороны, седловая задача стохастической оптимизации обобщает выпуклую, то есть является ее логичным продолжением. Это проявляется в том, что существующие результаты из выпуклой оптимизации можно перенести на седла. В данной работе такой перенос осуществляется для результатов онлайн-алгоритма в выпуклом случае, когда целевая функция удовлетворяет условию $\gamma$-роста.