Все выпуски

В данной работе изучаются механизмы рабочей памяти в импульсных нейронных сетях, состоящих из нейронов – интеграторов с утечкой и адаптивным порогом при включенной синаптической пластичности. Исследовались относительно небольшие сети, включающие тысячи нейронов. Рабочая память трактовалась как способность нейронной сети удерживать в своем состоянии информацию о предъявленных ей в недавнем прошлом стимулах, так что по этой информации можно было бы определить, какой стимул был предъявлен. Под состоянием сети в данном исследовании понимаются только характеристики активности сети, не включая внутреннего состояния ее нейронов. Для выявления нейронных структур, которые могли бы выполнять функцию носителей рабочей памяти, была проведена оптимизация параметров и структуры импульсной нейронной сети с помощью генетического алгоритма. Были обнаружены два типа таких нейронных структур: пары нейронов, соединенных связями с большими весами, и длинные древовидные нейронные цепи. Было показано, что качественная рабочая память может быть реализована только с помощью сильно связанных нейронных пар. В работе исследованы свойства таких ячеек памяти и образуемых ими структур. Показано, что характеристики изучаемых двухнейронных ячеек памяти легко задаются параметрами входящих в них нейронов и межнейронных связей. Выявлен интересный эффект повышения селективности пары нейронов за счет несовпадения наборов их афферентных связей и взаимной активации. Продемонстрировано также, что ансамбли таких структур могут быть использованы для реализации обучения без учителя распознаванию паттернов во входном сигнале.

В данной статье предлагаются методы оптимизации высокого порядка (тензорные методы) для решения двух типов седловых задач. Первый тип — это классическая мин-макс-постановка для поиска седловой точки функционала. Второй тип — это поиск стационарной точки функционала седловой задачи путем минимизации нормы градиента этого функционала. Очевидно, что стационарная точка не всегда совпадает с точкой оптимума функции. Однако необходимость в решении подобного типа задач может возникать в случае, если присутствуют линейные ограничения. В данном случае из решения задачи поиска стационарной точки двойственного функционала можно восстановить решение задачи поиска оптимума прямого функционала. В обоих типах задач какие-либо ограничения на область определения целевого функционала отсутствуют. Также мы предполагаем, что целевой функционал является $\mu$-сильно выпуклыми $\mu$-сильно вогнутым, а также что выполняется условие Липшица для его $p$-й производной.

Для задач типа «мин-макс» мы предлагаем два алгоритма. Так как мы рассматриваем сильно выпуклую и сильно вогнутую задачу, первый алгоритмиспо льзует существующий тензорный метод для решения выпуклых вогнутых седловых задач и ускоряет его с помощью техники рестартов. Таким образом удается добиться линейной скорости сходимости. Используя дополнительные предположения о выполнении условий Липшица для первой и второй производных целевого функционала, можно дополнительно ускорить полученный метод. Для этого можно «переключиться» на другой существующий метод для решения подобных задач в зоне его квадратичной локальной сходимости. Так мы получаем второй алгоритм, обладающий глобальной линейной сходимостью и локальной квадратичной сходимостью. Наконец, для решения задач второго типа существует определенная методология для тензорных методов в выпуклой оптимизации. Суть ее заключается в применении специальной «обертки» вокруг оптимального метода высокого порядка. Причем для этого условие сильной выпуклости не является необходимым. Достаточно лишь правильным образом регуляризовать целевой функционал, сделав его таким образом сильно выпуклым и сильно вогнутым. В нашей работе мы переносим эту методологию на выпукло-вогнутые функционалы и используем данную «обертку» на предлагаемом выше алгоритме с глобальной линейной сходимостью и локальной квадратичной сходимостью. Так как седловая задача является частным случаем монотонного вариационного неравенства, предлагаемые методы также подойдут для поиска решения сильно монотонных вариационных неравенств.

Стохастическая оптимизация является актуальным направлением исследования в связи со значительными успехами в области машинного обучения и их применениями для решения повседневных задач. В данной работе рассматриваются два принципиально различных метода решения задачи стохастической оптимизации — онлайн- и офлайн-алгоритмы. Соответствующие алгоритмы имеют свои качественные преимущества перед друг другом. Так, для офлайн-алгоритмов требуется решать вспомогательную задачу с высокой точностью. Однако это можно делать распределенно, и это открывает принципиальные возможности, как, например, построение двойственной задачи. Несмотря на это, и онлайн-, и офлайн-алгоритмы преследуют общую цель — решение задачи стохастической оптимизации с заданной точностью. Это находит отражение в сравнении вычислительной сложности описанных алгоритмов, что демонстрируется в данной работе.

Сравнение описанных методов проводится для двух типов стохастических задач — выпуклой оптимизации и седел. Для задач стохастической выпуклой оптимизации существующие решения позволяют довольно подробно сравнить онлайн- и офлайн-алгоритмы. В частности, для сильно выпуклых задач вычислительная сложность алгоритмов одинаковая, причем условие сильной выпуклости может быть ослаблено до условия $\gamma$-роста целевой функции. С этой точки зрения седловые задачи являются гораздо менее изученными. Тем не менее существующие решения позволяют наметить основные направления исследования. Так, значительные продвижения сделаны для билинейных седловых задач с помощью онлайн-алгоритмов. Оффлайн-алгоритмы представлены всего одним исследованием. В данной работе на этом примере демонстрируется аналогичная с выпуклой оптимизацией схожесть обоих алгоритмов. Также был проработан вопрос точности решения вспомогательной задачи для седел. С другой стороны, седловая задача стохастической оптимизации обобщает выпуклую, то есть является ее логичным продолжением. Это проявляется в том, что существующие результаты из выпуклой оптимизации можно перенести на седла. В данной работе такой перенос осуществляется для результатов онлайн-алгоритма в выпуклом случае, когда целевая функция удовлетворяет условию $\gamma$-роста.

Создание компьютерного лабораторного стенда, позволяющего получать достоверные характеристики, которые могут быть приняты за действительные, с учетом погрешностей и шумов (в чем заключается главная отличительная черта вычислительного эксперимента от модельных исследований), является одной из основных проблем настоящей работы. В ней рассматривается следующая задача: имеется прямоугольный волновод в одномодовом режиме, на широкой стенке которого прорезано сквозное технологическое отверстие, через которое в полость линии передачи помещается образец для исследования. Алгоритм восстановления следующий: в лаборатории производится измерение параметров цепи (S₁₁ и/или S₂₁) в линии передачи с образцом. В компьютерной модели лабораторного стенда воссоздается геометрия образца и запускается итерационный процесс оптимизации (или свипирования) электрофи- зических параметров образца, маской которого являются экспериментальные данные, а критерием остановки — интерпретационная оценка близости к ним. Важно отметить, что разрабатываемая компьютерная модель, одновременно с кажущейся простотой, изначально является плохо обусловленной. Для постановки вычислительного эксперимента используется среда моделирования Comsol. Результаты проведенного вычислительного эксперимента с хорошей степенью точности совпали с результатами лабораторных исследований. Таким образом, экспериментальная верификация проведена для целого ряда значимых компонент, как компьютерной модели в частности, так и алгоритма восстановления параметров объекта в общем. Важно отметить, что разработанная и описанная в настоящей работе компьютерная модель может быть эффективно использована для вычислительного эксперимента по восстановлению полных диэлектрических параметров образца сложной геометрии. Обнаруженными могут также являться эффекты слабой бианизотропии, включая киральность, гиротропность и невзаимность материала. Полученная модель по определению является неполной, однако ее полнота является наивысшей из рассматриваемых вариантов, одновременно с этим результирующая модель оказывается хорошо обусловлена. Особое внимание в данной работе уделено моделированию коаксиально-волноводного перехода, показано, что применение дискретно-элементного подхода предпочтительнее, чем непосредственное моделирование геометрии СВЧ-узла.

В статье рассмотрена задача построения равновесий Нэша и Штакельберга при исследовании динамической системы контроля качества речных вод. Учитывается влияние субъектов управления двух уровней: одного ведущего и нескольких ведомых. В качестве ведущего (супервайзера) выступает природоохранный орган, а в роли ведомых (агентов) — промышленные предприятия. Основной целью супервайзера является поддержание допустимой концентрации загрязняющих веществ в речной воде. Добиться этого он может не единственным образом, поэтому, кроме того, супервайзер стремится к оптимизации своего целевого функционала. Супервайзер воздействует на агентов, назначая величину платы за сброс загрязнений в водоток. Плата за загрязнение от агента поступает в федеральный и местные бюджеты, затем распределяется на общих основаниях. Таким образом, плата увеличивает бюджет супервайзера, что и отражено в его целевом функционале. Причем плата за сброс загрязнений начисляется за количество и/или качество сброшенных загрязнений. К сожалению, для большинства систем контроля качества речных вод такая практика неэффективна из-за малого размера платы за сброс загрязнений. В статье и решается задача определения оптимального размера платы за сброс загрязнений, который позволяет поддерживать качество речной воды в заданном диапазоне.

Агенты преследуют только свои эгоистические цели, выражаемые их целевыми функционалами, и не обращают внимания на состояние речной системы. Управление агента можно рассматривать как часть стока, которую агент очищает, а управление супервайзера — как назначаемый размер платы за сброс оставшихся загрязнений в водоток.

Для описания изменения концентраций загрязняющих веществ в речной системе используется обыкновенное дифференциальное уравнение. Проблема поддержания заданного качества речной воды в рамках предложенной модели исследуется как с точки зрения агентов, так и с точки зрения супервайзера. В первом случае возникает дифференциальная игра в нормальной форме, в которой строится равновесие Нэша, во втором — иерархическая дифференциальная игра, разыгрываемая в соответствии с информационным регламентом игры Штакельберга. Указаны алгоритмы численного построения равновесий Нэша и Штакельберга для широкого класса входных функций. При построении равновесия Нэша возникает необходимость решения задач оптимального управления. Решение этих задач проводится в соответствии с принципом максимума Понтрягина. Строится функция Гамильтона, полученная система дифференциальных уравнений решается численно методом стрельбы и методом конечных разностей. Проведенные численные расчеты показывают, что низкий размер платы за единицу сброшенных в водоток загрязнений приводит к росту концентрации загрязняющих веществ в водотоке, а высокий — к банкротству предприятий. Это приводит к задаче нахождения оптимальной величины платы за сброс загрязнений, то есть к рассмотрению проблемы с точки зрения супервайзера. В этом случае возникает иерархическая дифференциальная игра супервайзера и агентов, в которой ищется равновесие Штакельберга. Возникает задача максимизации целевого функционала супервайзера с учетом управлений агентов, образующих равновесие Нэша. При нахождении оптимальных управлений супервайзера используется метод качественно репрезентативных сценариев, а для агентов — принцип максимума Понтрягина. Проведены численные эксперименты, найден коэффициент системной согласованности. Полученные численные результаты позволяют сделать вывод, что система контроля качества речных вод плохо системно согласована и для достижения стабильного развития системы необходимо иерархическое управление.

Промышленная обработка изображений или «машинное зрение» в настоящее время является ключевой технологией во многих отраслях, поскольку эта технология может использоваться для оптимизации различных процессов. Целью настоящей работы является создание программно-аппаратного комплекса измерения габаритно-весовых характеристик груза на базе интеллектуальной системы, основанной на нейросетевых способах идентификации, позволяющих преодолеть технологические ограничения аналогичных комплексов, реализованных на ультразвуковых и инфракрасных измерительных датчиках. Разрабатываемый комплекс будет производить измерения грузов без ограничения на объемные и весовые характеристики груза, который необходимо тарифицировать и сортировать в рамках работы складских комплексов. В состав системы будет входить интеллектуальная компьютерная программа, определяющая объемно-весовые характеристики груза с использованием технологии машинного зрения и экспериментальный образец стенда измерения объёма и веса груза.

Проведен анализ исследований, посвященных решению аналогичных задач. Отмечено, что недостатком изученных способов являются очень высокие требования к расположению камеры, а также необходимость ручной работы при вычислении размеров, автоматизировать которую не представляется возможным без существенных доработок. В процессе работы исследованы различные способы распознавания объектов на изображениях с целью проведения предметной фильтрации по наличию груза и измерения его габаритных размеров. Получены удовлетворительные результаты при применении камер, сочетающих в себе как оптический способ захвата изображений, так и инфракрасные датчики. В результате работы разработана компьютерная программа, позволяющая захватывать непрерывный поток с видеокамер Intel RealSense с последующим извлечением из обозначенной области трехмерный объект и вычислять габаритные размеры объекта. На данном этапе выполнено: проведен анализ методик компьютерного зрения; разработан алгоритм для реализации задачи автоматического измерения грузов с использованием специальных камер; разработано программное обеспечение, позволяющее получать габаритные размеры объектов в автоматическом режиме.

Данная разработка по завершении работы может применяться как готовое решение для транспортных компаний, логистических центров, складов крупных производственных и торговых предприятий.

В данной статье рассматривается задача типа min-min: минимизация по двум группам переменных. Данная задача в чем-то похожа на седловую (min-max), однако лишена некоторых сложностей, присущих седловым задачам. Такого рода постановки могут возникать, если в задаче выпуклой оптимизации присутствуют переменные разных размерностей или если какие-то группы переменных определены на разных множествах. Подобная структурная особенность проблемы дает возможность разбивать ее на подзадачи, что позволяет решать всю задачу с помощью различных смешанных оракулов. Ранее в качестве возможных методов для решения внутренней или внешней задачи использовались только методы первого порядка или методы типа эллипсоидов. В нашей работе мы рассматриваем данный подход с точки зрения возможности применения алгоритмов высокого порядка (тензорных методов) для решения внутренней подзадачи. Для решения внешней подзадачи мы используем быстрый градиентный метод.

Мы предполагаем, что внешняя подзадача определена на выпуклом компакте, в то время как для внутренней задачи мы отдельно рассматриваем задачу без ограничений и определенную на выпуклом компакте. В связи с тем, что тензорные методы по определению используют производные высокого порядка, время на выполнение одной итерации сильно зависит от размерности решаемой проблемы. Поэтому мы накладываем еще одно условие на внутреннюю подзадачу: ее размерность не должна превышать 1000. Для возможности использования смешанного оракула намнео бходимы некоторые дополнительные предположения. Во-первых, нужно, чтобы целевой функционал был выпуклымпо совокупности переменных и чтобы его градиент удовлетворял условию Липшица также по совокупности переменных. Во-вторых, нам необходимо, чтобы целевой функционал был сильно выпуклый по внутренней переменной и его градиент по внутренней переменной удовлетворял условию Липшица. Также для применения тензорного метода нам необходимо выполнение условия Липшица p-го порядка ($p > 1$). Наконец, мы предполагаем сильную выпуклость целевого функционала по внешней переменной, чтобы иметь возможность использовать быстрый градиентный метод для сильно выпуклых функций.

Стоит отметить, что в качестве метода для решения внутренней подзадачи при отсутствии ограничений мы используем супербыстрый тензорный метод. При решении внутренней подзадачи на компакте используется ускоренный проксимальный тензорный метод для задачи с композитом.

В конце статьи мы также сравниваем теоретические оценки сложности полученных алгоритмов с быстрым градиентным методом, который не учитывает структуру задачи и решает ее как обычную задачу выпуклой оптимизации (замечания 1 и 2).

В исследовании мы сосредоточились на задаче классификации невербальной речи для разработки интерфейса «мозг–компьютер» (ИМК) на основе электроэнцефалографии (ЭЭГ), который будет способен помочь людям с ограниченными возможностями и расширить возможности человека в повседневной жизни. Ранее наши исследования показали, что беззвучная речь для некоторых слов приводит к почти идентичным распределениям ЭЭГ-данных. Это явление негативно влияет на точность классификации нейросетевой модели. В этой статье предлагается метод обработки данных, который различает статисти- чески удаленные и неразделимые классы данных. Применение предложенного подхода позволяет достичь цели максимального увеличения смысловой нагрузки словаря, используемого в ИМК.

Кроме того, мы предлагаем статистический прогностический критерий точности бинарной классификации слов в словаре. Такой критерий направлен на оценку нижней и верхней границ поведения классификаторов только путем измерения количественных статистических свойств данных (в частности, с использованием метода Колмогорова – Смирнова). Показано, что более высокие уровни точности классификации могут быть достигнуты за счет применения предложенного прогностического критерия, позволяющего сформировать оптимизированный словарь с точки зрения семантической нагрузки для ИМК на основе ЭЭГ. Кроме того, использование такого обучающего набора данных для задач классификации по словарю обеспечивает статистическую удаленность классов за счет учета семантических и фонетических свойств соответствующих слов и улучшает поведение классификации моделей распознавания беззвучной речи.

Оптимальное управление системой топливоснабжения заключается в выборе варианта развития энергетики, при котором достигается наиболее эффективное и надежное топливо- и энергоснабжение потребителей. В рамках реализации программы перевода распределенной системы теплоснабжения Удмуртской Республики на возобновляемые источники энергии была разработана информационно-аналитическая система управления топливоснабжением региона альтернативными видами топлива. В работе представлена математическая модель оптимального управления логистической системой топливоснабжения, состоящая из трех взаимосвязанных уровней: пункты накопления сырья, пункты производства топлива и пункты потребления. С целью повышения эффективности функционирования системы топливоснабжения региона информационно-аналитическая система расширена функционалом оперативного реагирования при возникновении нештатных ситуаций. Возникновение нештатных ситуаций на любом из уровней требует перестроения управления всей системой. Разработаны модели и алгоритмы оптимального управления в случае возникновения нештатных ситуаций, связанных с выходом из строя производственных звеньев логистической системы: пунктов накопления сырья и пунктов производства топлива. В математических моделях оптимального управления в качестве целевого критерия учитываются расходы, связанные с функционированием логистической системы при возникновении нештатной ситуации. Реализация разработанных алгоритмов основана на применении генетических алгоритмов оптимизации, что позволяет достичь наилучших результатов по времени работы алгоритма и точности полученного решения. Разработанные модели и алгоритмы интегрированы в информационно-аналитическую систему и позволяют оперативно реагировать на возникновение чрезвычайных ситуаций в системе топливоснабжения Удмуртской Республики путем применения альтернативных видов топлива.

Статья посвящена изучению применения методов выпуклой оптимизации для решения задачи Коши для уравнения Гельмгольца, которая является некорректной, поскольку уравнение относится к эллиптическому типу. Задача Коши формулируется как обратная задача и сводится к задаче выпуклой оптимизации в гильбертовом пространстве. Оптимизируемый функционал и его градиент вычисляются с помощью решения краевых задач, которые, в свою очередь, корректны и могут быть приближенно решены стандартными численными методами, такими как конечно-разностные схемы и разложения в ряды Фурье. Экспериментально исследуются сходимость применяемого быстрого градиентного метода и качество получаемого таким образом решения. Эксперимент показывает, что ускоренный градиентный метод — метод подобных треугольников — сходится быстрее, чем неускоренный метод. Сформулированы и доказаны теоремы о вычислительной сложности полученных алгоритмов. Установлено, что разложения в ряды Фурье превосходят конечно-разностные схемы по скорости вычислений и улучшают качество получаемого решения. Сделана попытка использовать рестарты метода подобных треугольников после уменьшения невязки функционала вдвое. В этом случае сходимость не улучшается, что подтверждает отсутствие сильной выпуклости. Эксперименты показывают, что неточность вычислений более адекватно описывается аддитивной концепцией шума в оракуле первого порядка. Этот фактор ограничивает достижимое качество решения, но ошибка не накапливается. Полученные результаты показывают, что использование ускоренных градиентных методов оптимизации позволяет эффективно решать обратные задачи.