Все выпуски

В данной статье исследуется метод машинного обучения на основе теории случайных функций. Одной из основных проблем данного метода является то, что вид решающего правила модели метода, построенной на данных обучающей выборки, становится более громоздким при увеличении количества примеров выборки. Решающее правило модели является наиболее вероятной реализацией случайной функции и представляется в виде многочлена с количеством слагаемых, равным количеству обучающих элементов выборки. В статье будет показано, что для рассматриваемого метода существует быстрый способ сокращения обучающей выборки и, соответственно, вида решающего правила. Уменьшение примеров обучающей выборки происходит за счет поиска и удаления малоинформативных (слабых) элементов, которые незначительно влияют на итоговый вид решающей функции, и шумовых элементов выборки. Для каждого $(x_i,y_i)$-го элемента выборки было введено понятие значимости, выражающееся величиной отклонения оцененного значения решающей функции модели в точке $x_i$, построенной без $i$-го элемента, от реального значения $y_i$. Будет показана возможность косвенного использования найденных слабых элементов выборки при обучении модели метода, что позволяет не увеличивать количество слагаемых в полученной решающей функции. Также в статье будут описаны проведенные эксперименты, в которых показано, как изменение количества обучающих данных влияет на обобщающую способность решающего правила модели в задаче классификации.

Случайный поиск в настоящее время стал распространенным и эффективным средством решения сложных задач оптимизации и адаптации. В работе рассматривается задача о средней длительности случайного поиска одним объектом другого в зависимости от различных факторов на квадратной решетке. Решение поставленной задачи было реализовано при помощи проведения полного эксперимента с 4 факторами и ортогональным планом в 54 строки. В рамках каждой строки моделировались случайные блуждания двух точек с заданными начальными условиями и правила перехода, затем замерялась продолжительность поиска одного объекта другим. В результате построена регрессионная модель, отражающая среднюю длительность случайного поиска объекта в зависимости от четырех рассматриваемых факторов, задающих начальные положения двух объектов, условия их передвижения и обнаружения. Среди рассмотренных факторов, влияющих на среднее время поиска, определены наиболее значимые. По построенной модели проведена интерпретация в задаче случайного поиска объекта. Важным результатом работы стало то, что с помощью модели выявлено качественное и количественное влияние первоначальных позиций объектов, размера решетки и правил перемещения на среднее время продолжительности поиска. Показано, что начальное соседство объектов на решетке не гарантирует быстрый поиск, если каждый из них передвигается. Помимо этого, количественно оценено, во сколько раз может затянуться или сократиться среднее время поиска объекта при увеличении скорости ищущего объекта на 1 ед., а также при увеличении размера поля на 1 ед., при различных начальных положениях двух объектов. Выявлен экспоненциальный характер роста числа шагов поиска объекта при увеличении размера решетки при остальных фиксированных факторах. Найдены условия наиболее большого увеличения средней продолжительности поиска: максимальная удаленность объектов в сочетании с неподвижностью одного из них при изменении размеров поля на 1 ед. (т. е., к примеру, с $4 \times 4$ на $5 \times 5$) может увеличить в среднем продолжительность поиска в $e^{1.69} \approx 5.42$. Поставленная в работе задача может быть актуальна с точки зрения применения как в погранометрике для обеспечения безопасности государства, так и, к примеру, в теории массового обслуживания.

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

В статье рассматривается одна из задач транспортного моделирования — поиск равновесного распределения транспортных потоков в сети. Для описания временных издержек и распределения потоков в сети, представляемой с помощью графа, используется классическая модель Бэкмана. При этом поведение агентов не является полностью рациональным, что описывается посредством введения марковской логит-динамики: в каждый момент времени водительвыбирает маршрут случайно согласно распределению Гиббса с учетом текущих временных затрат на ребрах графа. Таким образом, задача сводится к поиску стационарного распределения для данной динамики, которое является стохастическим равновесием Нэша – Вардропа в соответствующей популяционной игре загрузки транспортной сети. Так как данная игра является потенциальной, эта задача эквивалентна минимизации некоторого функционала от распределения потоков, причем стохастичностьпро является в появлении энтропийной регуляризации. Для полученной задачи оптимизации построена двойственная задача. Для ее решения применен универсальный прямо-двойственный градиентный метод. Его особенность заключается в адаптивной настройке на локальную гладкость задачи, что особенно важно при сложной структуре целевой функции и невозможности априорно оценитьг ладкость с приемлемой точностью. Такая ситуация имеет место в рассматриваемой задаче, так как свойства функции сильно зависят от транспортного графа, на который мы не накладываем сильных ограничений. В статье приводится описание алгоритма, в том числе подробно рассмотрено применение численного дифференцирования для вычисления значения и градиента целевой функции. В работе представлены теоретическая оценка времени работы алгоритма и результаты численных экспериментов на примере небольшого американского города.

Работа посвящена описанию авторских формальных постановок задачи кластеризации при заданном числе кластеров, алгоритмам их решения, а также результатам применения этого инструментария в медицине.

Решение сформулированных задач точными алгоритмами реализаций даже относительно невысоких размерностей до выполнения условий оптимальности невозможно за сколько-нибудь рациональное время по причине их принадлежности к классу NP.

В связи с этим нами предложен гибридный алгоритм, сочетающий преимущества точных методов на базе кластеризации в парных расстояниях на начальном этапе с быстродействием методов решения упрощенных задач разбиения по центрам кластеров на завершающем этапе. Для развития данного направления разработан последовательный гибридный алгоритм кластеризации с использованием случайного поиска в парадигме роевого интеллекта. В статье приведено его описание и представлены результаты расчетов прикладных задач кластеризации.

Для выяснения эффективности разработанного инструментария оптимальной кластеризации многомерных объектов по множеству разнородных показателей был выполнен ряд вычислительных экспериментов с использованием массивов данных, включающих социально-демографические, клинико-анамнестические, электроэнцефалографические и психометрические данные когнитивного статуса пациентов кардиологической клиники. Получено эксперимен- тальное доказательство эффективности применения алгоритмов локального поиска в парадигме роевого интеллекта в рамках гибридного алгоритма при решении задач оптимальной кластеризации. Результаты вычислений свидетельствуют о фактическом разрешении основной проблемы применения аппарата дискретной оптимизации — ограничения доступных размерностей реализаций задач. Нами показано, что эта проблема снимается при сохранении приемлемой близости результатов кластеризации к оптимальным.

Прикладное значение полученных результатов кластеризации обусловлено также тем, что разработанный инструментарий оптимальной кластеризации дополнен оценкой стабильности сформированных кластеров, что позволяет к известным факторам (наличие стеноза или старший возраст) дополнительно выделить тех пациентов, когнитивные ресурсы которых оказываются недостаточны, чтобы преодолеть влияние операционной анестезии, вследствие чего отмечается однонаправленный эффект послеоперационного ухудшения показателей сложной зрительно-моторной реакции, внимания и памяти. Этот эффект свидетельствует о возможности дифференцированно классифицировать пациентов с использованием предлагаемого инструментария.

В работе предложен адаптивный алгоритм, моделирующий процесс формирования начальных поведенческих навыков на примере системы «глаза–манипулятор» анимата. Ситуация формирования начальных поведенческих навыков возникает, например, когда ребенок осваивает управление своими руками на основе понимания связи между исходно неидентифицированными пятнами на сетчатке своих глаз и положением реального предмета. Поскольку навыки управления телом не «вшиты» исходно в головной и спинной мозг на уровне инстинктов, то человеческому ребенку, как и большинству детенышей других млекопитающих, приходится осваивать эти навыки в режиме поискового поведения. Поисковое поведение начинается с метода проб и ошибок в чистом виде, затем его вклад постепенно уменьшается по мере освоения своего тела и окружающей среды. Поскольку образцов правильного поведения на этом этапе развития организм не имеет, то единственным способом выделения правильных навыков является положительное подкрепление при достижении цели. Ключевой особенностью предлагаемого алгоритма является фиксация в режиме импринтинга только завершающих действий, которые привели к успеху, или, что очень важно, привели к уже знакомой запечатленной ситуации, однозначно приводящей к успеху. Со временем непрерывная цепочка правильных действий удлиняется — максимально используется предыдущий позитивный опыт, а негативный «забывается» и не используется. Тем самым наблюдается постепенная замена случайного поиска целенаправленными действиями, что наблюдается и у реальных детенышей.

Тем самым алгоритм способен устанавливать соответствие между закономерностями окружающего мира и «внутренними ощущениями», внутренним состоянием самого анимата. В предлагаемой модели анимата использовалось 2 типа нейросетей: 1) нейросеть NET1, на вход которой подавались текущие положения кисти руки и целевой точки, а на выходе — двигательные команды, направляющие «кисть» манипулятора анимата к целевой точке; 2) нейросеть NET2, которая на входе получала координаты цели и текущей координаты «кисти», а на выходе формировала значение вероятности того, что анимату уже «знакома» эта ситуация и он «знает», как на нее реагировать. Благодаря такой архитектуре у анимата есть возможность опираться на «опыт» нейросети в распознанных ситуациях, когда отклик от сети NET2 близок к 1, и, с другой стороны, запускать случайный поиск, когда опыта функционирования в этой области зрительного поля у анимата нет (отклик NET2 близок к 0).

В статье предлагается метод совместного анализа многомерных финансовых временных рядов, основанный на оценке набора свойств котировок акций в скользящем временном окне и последующем усреднении значений свойств по всем анализируемым компаниям. Основной целью анализа является построение мер совместного поведения временных рядов, реагирующих на возникновение синхронной или когерентной составляющей. Когерентность поведения характеристик сложной системы является важным признаком, позволяющим оценить приближение системы к резким изменениям своего состояния. Фундаментом для поиска предвестников резких изменений является общая идея увеличения корреляции случайных флуктуаций параметров системы по мере ее приближения к критическому состоянию. Приращения временных рядов стоимостей акций имеют выраженный хаотический характер и обладают большой амплитудой индивидуальных помех, на фоне которых слабый общий сигнал может быть выделен лишь на основе его коррелированности в разных скалярных компонентах многомерного временного ряда. Известно, что классические методы анализа, основанные на использовании корреляций между соседними отсчетами, являются малоэффективными при обработке финансовых временных рядов, поскольку с точки зрения корреляционной теории случайных процессов приращения стоимости акций формально имеют все признаки белого шума (в частности, «плоский спектр» и «дельта-образную» автокорреляционную функцию). В связи с этим предлагается перейти от анализа исходных сигналов к рассмотрению последовательностей их нелинейных свойств, вычисленных во временных фрагментах малой длины. В качестве таких свойств используются энтропия вейвлет-коэффициентов при разложении в базис Добеши, показатели мультифрактальности и авторегрессионная мера нестационарности сигнала. Построены меры син- хронного поведения свойств временных рядов в скользящем временном окне с использованием метода главных компонент, значений модулей всех попарных коэффициентов корреляции и множественной спектральной меры когерентности, являющейся обобщением квадратичного спектра когерентности между двумя сигналами. Исследованы акции 16 крупных российских компаний с начала 2010 по конец 2016 годов. С помощью предложенного метода идентифицированы два интервала времени синхронизации российского фондового рынка: с середины декабря 2013 г. по середину марта 2014 г. и с середины октября 2014 г. по середину января 2016 г.