Все выпуски

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

Влияние солнечной активности на различные процессы на Земле давно является предметом пристального изучения, в результате которого появился термин «космическая погода». Наиболее ярким проявлением солнечной активности являются так называемые солнечные вспышки, которые представляют собой взрывное выделение энергии в атмосфере Солнца, в результате которых возникает поток фотонов и заряженных частиц, достигающий Землю с небольшим запаздыванием. Через двое-трое суток Землю достигает поток плазмы. Таким образом, солнечная вспышка представляет собой событие, растянутое во времени на несколько суток. Влияние солнечных вспышек на здоровье и техносферу человека является популярным предметом для обсуждения и научных исследований. В данной статье произведена количественная оценка триггерного эффекта влияния солнечных вспышек на выделение энергии в результате сейсмических событий. В статье получена оценка в виде процента от выделенной сейсмической энергии триггерного эффекта воздействия солнечных вспышек на выделение сейсмической энергии по всему миру и в восьми областях Тихоокеанского огненного кольца. Исходные данные представляют собой временной ряд солнечных вспышек с 31 июля 1996 года по конец 2024 года. Исследовались временные точки наибольших локальных экстремумов интенсивности солнечных вспышек и выделенной сейсмической энергии в последовательных интервалах времени длиной 1 сутки. Для каждой пары временных последовательностей в скользящих временных окнах с помощью параметрической модели интенсивности взаимодействующих точечных процессов оценивались меры опережения каждой временной последовательности относительно другой. Вычислялась разность между прямой мерой опережения временных точек локальных экстремумов интенсивности солнечных вспышек относительно моментов максимумов выделенной сейсмической энергии и обратной мерой опережения. Среднее значение разности мер опережения дает оценку доли интенсивности сейсмических событий, для которых солнечные вспышки являются триггером.

В традиционных системах ЧПУ каждый из отрезков кусочно-линейной траектории описывается отдельным кадром управляющей программы. При этом формируется трапециидальная траектория движения, а сшивание отдельных участков производится при нулевых значениях скорости и ускорения. Повышение производительности связано с непрерывностью обработки, которое в современных системах ЧПУ достигается за счет использования сплайн-интерполяции. Для кусочно-линейной траектории, которая является базовой для большинства изделий, наиболее приемлемым является сплайн первой степени. Однако даже в простейшем случае сплайновой интерполяции закрытость базового программного обеспечения ведущих производителей систем ЧПУ ограничивает возможности не только разработчиков, но и пользователей. С учетом этого целью данной работы является детальная проработка структурной организации и алгоритмов работы имитационной модели кусочно-линейной сплайн-интерполяции. В качестве основной меры, позволяющей снизить динамические ошибки обработки, рассматривается ограничение на рывок и ускорение. При этом особое значение уделяется S-образной форме кривой скорости на участках разгона и торможения. Это связано с условиями реализации сплайн-интерполяции, одним из которых является непрерывность движения, которое обеспечивается за счет равенства первой и второй производной при стыковке участков траектории. Подобная постановка соответствует принципам реализации комбинированных систем управления следящего электропривода, которые обеспечивают частичную инвариантность к управляющим и возмущающим воздействиям. В качестве базы структурной организации принята эталонная модель сплайн-интерполятора. Рассмотрены также вопросы масштабирования обработки, в основе которых заложено снижение скорости вектора по отношению к базовому значению. Это позволяет повысить точность перемещений. Показано, что диапазон изменений скорости перемещений может быть больше десяти тысяч и ограничен только возможностями регулирования скорости исполнительных приводов.

Математическое и компьютерное моделирование тепловых процессов в технических системах, проводимое в настоящее время, основано на допущении, согласно которому все параметры, определяющие тепловые процессы, полностью и однозначно известны и определены, то есть являются детерминированными. Между тем практика показывает, что параметры, определяющие тепловые процессы, носят неопределенный интервально стохастический характер, что, в свою очередь, обусловливает интервально стохастический характер тепловых процессов в технической системе. Это означает, что реальные значения температуры каждого элемента в технической системе будут случайным образом распределены внутри интервалов своего изменения. Поэтому детерминированный подход к моделированию тепловых процессов, при котором получаются конкретные значения температур элементов, не позволяет адекватно рассчитывать температурные распределения в технических системах. Интервально стохастический характер параметров, определяющих тепловые процессы, обусловливается тремя группами факторов: (a) статистическим технологическим разбросом параметров элементов при изготовлении и сборке системы; (b) случайным характером факторов, обусловленных функционированием технической системы (флуктуациями токов, напряжений, мощностями потребления, температурами и скоростями потоков охлаждающей жидкости и среды внутри системы; (c) случайностью параметров окружающей среды (температурой, давлением, скоростью). Интервально стохастическая неопределенность определяющих факторов в технических системах является неустранимой, поэтому пренебрежение ею приводит к ошибкам при проектировании технических систем. В статье развивается метод, позволяющий моделировать нестационарные нелинейные интервально стохастические тепловые процессы в технических и, в частности, электронных системах при интервальной неопределенности определяющих параметров. Метод основан на получении и последующем решении уравнений для нестационарных статистических мер (математических ожиданий, дисперсий, ковариаций) распределений температуры в технической системе при заданных интервалах изменения и статистических мерах определяющих параметров. Рассмотрено применение разработанного метода к моделированию интервально стохастического теплового процесса в конкретной электронной системе.

В работе проведен краткий обзор имеющихся подходов к расчету разрушения твердых тел. Основное внимание уделено алгоритмам, использующим единый подход к расчету деформирования и для неразрушенного, и для разрушенного состояний материала. Представлен термодинамический вывод единых реологических соотношений, учитывающих упругие, вязкие и пластические свойства материалов и описывающих потерю способности сопротивления деформации по мере накопления микроповреждений. Показано, что рассматриваемая математическая модель обеспечивает непрерывную зависимость решения от входных параметров (параметров материальной среды, начальных и граничных условий, параметров дискретизации) при разупрочнении материала.

Представлены явные и неявные безматричные алгоритмы расчета эволюции деформирования. Неявные схемы реализованы с использованием итераций метода сопряженных градиентов, при этом расчет каждой итерации в точности совпадает с расчетом шага по времени для двухслойных явных схем. Так что алгоритмы решения являются очень простыми.

Приведены результаты решения типовых задач разрушения твердых деформируемых тел для медленных (квазистатических) и быстрых (динамических) процессов деформации. На основании опыта рас- четов даны рекомендации по моделированию процессов разрушения и обеспечению достоверности численных решений.

В предлагаемой статье приводятся результаты аналитического и компьютерного исследования хаотической эволюции регулярного поля скорости, возникающего под действием крупномасштабной гармонической вынуждающей силы. Авторами получено аналитическое решение для функции тока течения и ее производных величин (скорости, завихренности, кинетической энергии, энстрофии и палинстрофии). Проведено численное моделирование эволюции течения с помощью пакета программ OpenFOAM (на основе модели несжимаемой среды), а также двух собственных реализаций, использующих приближение слабой сжимаемости (схемы КАБАРЕ и схемы МакКормака). Расчеты проводились на последовательности вложенных сеток с 64², 128², 256², 512², 1024² ячейками для двух характерных (асимптотических) чисел Рейнольдса Rea, характеризующих ламинарную и турбулентную эволюцию течения соответственно. Моделирование показало, что разрушение аналитического решения происходит в обоих случаях. Энергетические характеристики течения обсуждаются на основе кривых энергии, а также скоростей диссипации. Для самой подробной сетки эта величина оказывается на несколько порядков меньше своего гидродинамического (вязкого) аналога. Разрушение регулярной структуры течения наблюдается для любого из численных методов, в том числе на поздних стадиях ламинарной эволюции, когда полученные распределения близки к аналитическим значениям. Можно предположить, что предпосылкой к развитию неустойчивости выступает ошибка, накапливаемая в процессе счета. Эта ошибка приводит к неравномерностям в распределении завихренности и, как следствие, к появлению вихрей различной интенсивности, взаимодействие которых приводит к хаотизации течения. Для исследования процессов производства завихренности мы использовали две интегральные величины, определяемые на ее основе, — интегральные энстрофию ($\zeta$) и палинстрофию $(P)$. Постановка задачи с периодическими граничными условиями позволяет установить простую связь между этими величинами. Кроме того, $\zeta$ может выступать в качестве меры вихреразрешающей способности численного метода, а палинстрофия определяет степень производства мелкомасштабной завихренности.

В статье предлагается архитектурное решение организации сверточной нейронной сети (СНС), ориентированное на аппаратную реализацию на конечных устройствах (edge-устройствах) в условиях ограниченных ресурсов. С этой целью предложен подход к сжатию спектрограмм до заданного размера (28×28) с использованием дискретизации, моноконверсии, оконного преобразования Фурье и двумерной интерполяции. Разработана сбалансированная процедура свертки на базе компактных сверточных фильтров, размер которых обеспечивает необходимый для edge-устройств баланс между вычислительной сложностью и точностью. Предложен алгоритм, позволяющий выполнять операции свертки и вычисления градиента функции ошибки на сверточном слое за один такт, обеспечивая повышение производительности режимов инференса и обучения СНС. Проведена оптимизация соотношения между обучаемостью сети и ее устойчивостью к переобучению за счет применения метода регуляризации Dropout с коэффициентом отбрасывания 0,5 для полносвязного слоя.

Работоспособность предложенного решения продемонстрирована на примере задачи распознавания аудиоспектрограмм звуков двигателей автомобилей и самолетов. СНС обучалась на сбалансированном наборе данных, состоящем из 7160 аудиозаписей. Обученная сеть демонстрировала высокую точность распознавания (95%), низкие значения функции потерь (<0,2), сбалансированные метрики «точность/полнота/F-мера», что свидетельствует об эффективности разработанной модели СНС.

Работа продолжает опубликованные ранее исследования по способности человека повышать производительность обработки информации при параллельном выполнении нескольких логических операций заданного вида. В статье предлагаются новые тесты, позволяющие выявлять указанную способность человеческого мозга в серии предъявлений. Производительность человека определяется средним количеством информации, которую обрабатывает человек в единицу времени, решая серию тестовых задач. Сложность задачи в каждой серии тестов определяется средним количеством логических операций, которые надо выполнить для решения с учетом статистических свойств серии задач. Тесты строятся таким образом, чтобы сложность контролировалась. Изучается зависимость производительности испытуемого от сложности задач в серии. Если человек использует последовательный алгоритм решения и не меняет скорости выполнения логических операций, то производительность не зависит от сложности и среднее время решения задачи в серии примерно пропорционально сложности. Если скорость выполнения операций растет с повышением сложности (растет концентрация внимания), то увеличивается и производительность. Тот же эффект возникает, если человек при достаточно высокой сложности задачи начинает выполнять несколько логических операций одновременно (параллельные вычисления). Для контроля причин роста производительности строятся контрольные тесты на том же классе логических операций, в которых параллельная организация счета малоэффективна. Если рост производительности наблюдается как на основных, так и на контрольных тестах, то причиной роста производительности является увеличение быстродействия. Если же на контрольных тестах нет роста производительности, а на основных тестах рост имеется, то причиной роста является параллельный счет. С точки зрения теории операций это означает использование одновременной работы нескольких процессоров, каждый из которых в единицу времени перерабатывает не более некоторого известного числа элементов входных данных или промежуточных результатов (производительность процессора). В данной статье предлагается система тестов, в которой используется аппарат универсальных алгебр и теории автоматов. Работа является продолжением цикла работ по исследованию способностей человека к параллельным вычислениям. Ранее использованные тесты в экспериментах показали эффективность методики. Основные предыдущие публикации на эту тему приведены в списке литературы. Задачи в новых предлагаемых тестах можно описать как вычисление результата серии последовательных однотипных операций из некоторой специальной алгебры. Если операция ассоциативная, то с помощью удачной группировки вычислений можно эффективно применить параллельный счет. Анализируется зависимость времени решения задачи от сложности. Чтобы выявлять ситуации, когда человек увеличивает быстродействие одного процессора по мере роста сложности, требуется предъявить серии задач с похожими операциями, но в неассоциативной алгебре. Для таких задач параллельный счет малоэффективен с точки зрения отношения прироста производительности к увеличению числа процессоров. Так формируется контрольная группа тестов. В статье рассмотрен еще один класс тестов, основанных на расчете траектории состояния заданного формального автомата при задании входной последовательности. Исследован специальный класс автоматов (реле), конструкция которых влияет на эффективность параллельного расчета финального состояния. Для всех тестов оценивается эффективность параллельного счета. Эксперименты с новыми тестами не входят в данную статью.

Математические модели газовой динамики и ее вычислительная индустрия, на наш взгляд, далеки от совершенства. Мы посмотрим на эту проблематику с точки зрения ясной вероятностной микромодели газа из твердых сфер, опираясь как на теорию случайных процессов, так и на классическую кинетическую теорию в терминах плотностей функций распределения в фазовом пространстве; а именно, построим сначала систему нелинейных стохастических дифференциальных уравнений (СДУ), а затем обобщенное случайное и неслучайное интегро-дифференциальное уравнение Больцмана с учетом корреляций и флуктуаций. Ключевыми особенностями исходной модели являются случайный характер интенсивности скачкообразной меры и ее зависимость от самого процесса.

Кратко напомним переход ко все более грубым мезо-макроприближениям в соответствии с уменьшением параметра обезразмеривания, числа Кнудсена. Получим стохастические и неслучайные уравнения, сначала в фазовом пространстве (мезомодель в терминах СДУ по винеров- ским мерам и уравнения Колмогорова – Фоккера – Планка), а затем в координатном пространстве (макроуравнения, отличающиеся от системы уравнений Навье – Стокса и систем квазигазодинамики). Главным отличием этого вывода является более точное осреднение по скорости благодаря аналитическому решению стохастических дифференциальных уравнений по винеровской мере, в виде которых представлена промежуточная мезомодель в фазовом пространстве. Такой подход существенно отличается от традиционного, использующего не сам случайный процесс, а его функцию распределения. Акцент ставится на прозрачности допущений при переходе от одного уровня детализации к другому, а не на численных экспериментах, в которых содержатся дополнительные погрешности аппроксимации.

Теоретическая мощь микроскопического представления макроскопических явлений важна и как идейная опора методов частиц, альтернативных разностным и конечно-элементным.

В данной работе рассматриваются различные подходы к усреднению обобщенных цен передвижений, рассчитанных для разных способов передвижения в транспортной сети. Под способом передвижения понимается как вид транспорта, например легковой автомобиль или транспорт общего пользования, так и передвижение без использования транспорта, например пешком. Задача расчета матриц передвижений включает в себя задачу вычисления суммарных матриц, иными словами — оценку общего спроса на передвижения всеми способами, а также задачу расщепления матриц по способам передвижений, называемого также модальным расщеплением. Для расчета матриц передвижений используют гравитационные, энтропийные и иные модели, в которых вероятность передвижения между районами оценивается на основе некоторой меры удаленности этих районов друг от друга. Обычно в качестве меры дальности используется обобщенная цена передвижения по оптимальному пути между районами. Однако обобщенная цена передвижения отличается для разных способов передвижения. При расчете суммарных матриц передвижений возникает необходимость усреднения обобщенных цен по способам передвижения. К процедуре усреднения предъявляется естественное требование монотонности по всем аргументам. Этому требованию не удовлетворяют некоторые часто применяемые на практике способы усреднения, например усреднение с весами. Задача модального расщепления решается применением методов теории дискретного выбора. В частности, в рамках теории дискретного выбора разработаны корректные методы усреднения полезности альтернатив, монотонные по всем аргументам. Авторы предлагают некоторую адаптацию методов теории дискретного выбора для применения к вычислению усредненной цены передвижений в гравитационной и энтропийной моделях. Перенос формул усреднения из контекста модели модального расщепления в модель расчета матриц передвижений требует ввода новых параметров и вывода условий на возможное значение этих параметров, что и было проделано в данной статье. Также были рассмотрены вопросы перекалибровки гравитационной функции, необходимой при переходе на новый метод усреднения, если имеющаяся функция откалибрована с учетом использования средневзвешенной цены. Предложенные методики были реализованы на примере небольшого фрагмента транспортной сети. Приведены результаты расчетов, демонстрирующие преимущество предложенных методов.