Все выпуски

Безградиентные методы оптимизации, или методы нулевого порядка, широко применяются в обучении нейронных сетей, обучении с подкреплением, а также в промышленных задачах, где доступны лишь значения функции в точке (работа с неаналитическими функциями). В частности, метод обратного распространения ошибки в PyTorch работает именно по этому принципу. Существует общеизвестный факт, что при компьютерных вычислениях используется эвристика чисел с плавающей точкой, и из-за этого возникает проблема конечности мантиссы.

В этой работе мы, во-первых, сделали обзор наиболее популярных методов аппроксимации градиента: конечная прямая/центральная разность (FFD/FCD), покомпонентная прямая/центральная разность (FWC/CWC), прямая/центральная рандомизация на $l_2$ сфере (FSSG2/CFFG2); во-вторых, мы описали текущие теоретические представления шума, вносимого неточностью вычисления функции в точке: враждебный шум, случайный шум; в-третьих, мы провели серию экспериментов на часто встречающихся классах задач, таких как квадратичная задача, логистическая регрессия, SVM, чтобы попытаться определить, соответствует ли реальная природа машинного шума существующей теории. Оказалось, что в реальности (по крайней мере на тех классах задач, которые были рассмотрены в данной работе) машинный шум оказался чем-то средним между враждебным шумом и случайным, в связи с чем текущая теория о влиянии конечности мантиссы на поиск оптимума в задачах безградиентной оптимизации требует некоторой корректировки.

В работе рассмотрена краевая задача о движении тепловой волны для вырождающегося уравнения второго порядка параболического типа со степенной нелинейностью. Краевое условие задает уравнение движения на плоскости нулевого фронта тепловой волны, имеющего форму окружности. Предложен новый численно-аналитический алгоритм, в соответствии с которым решение строится по шагам по времени при разностной схеме дискретизации времени. На каждом шаге рассматривается краевая задача для уравнения Пуассона, к которому сводится исходное уравнение. Фактически она является обратной задачей Коши, в которой исходная граница области решения свободна от граничных условий, а на текущей границе (фронте волны) заданы два условия (Неймана и Дирихле). Решение этой задачи ищется в виде суммы частного решения уравнения Пуассона и решения соответствующего уравнения Лапласа, удовлетворяющего граничным условиям. Поскольку неоднородность зависит от искомой функции и ее производных, решение строится итерационно. Частное решение ищется методом коллокаций с помощью разложения неоднородности по радиальным базисным функциям. Обратная задача Коши для уравнения Лапласа решается методом нулевого поля применительно к круговым областям с круговыми отверстиями. Для таких задач этот метод применяется впервые. Вычислительный алгоритм оптимизирован за счет распараллеливания вычислений. Распараллеливание вычислений позволило эффективно реализовать алгоритм на высокопроизводительных вычислительных системах. На базе алгоритма была создана компьютерная программа. В качестве средства распараллеливания был выбран стандарт параллельного программирования OpenMP для языка программирования C++ как наиболее подходящий для вычислительных программ с параллельными циклами. Эффективность алгоритма и работоспособность программы были проверены сравнением результатов расчетов с известным точным решением, а также с численным решением, полученным авторами ранее с помощью метода граничных элементов. Проведенный вычислительный эксперимент показал хорошую сходимость итерационных процессов и более высокую точность нового алгоритма по сравнению с разработанным ранее. Анализ решений позволил определить наиболее подходящую систему радиальных базисных функций.

Работа посвящена анализу известных классов моделей сверточных нейронных сетей и исследованию выбранных из них перспективных моделей для детектирования летающих объектов на изображениях. Под детектированием объектов (англ. — Object Detection) здесь понимаются обнаружение, локализация в пространстве и классификация летающих объектов. Комплексное исследование выбранных перспективных моделей сверточных нейронных сетей проводится с целью выявления наиболее эффективных из них для создания мобильных систем компьютерного зрения реального времени. Показано, что наиболее приемлемыми для детектирования летающих объектов на изображениях с учетом сформулированных требований к мобильным системам компьютерного зрения реального времени и, соответственно, к лежащим в их основе моделям сверточных нейронных сетей являются модели семейства YOLO, причем наиболее перспективными следует считать пять моделей из этого семейства: YOLOv4, YOLOv4-Tiny, YOLOv4-CSP, YOLOv7 и YOLOv7-Tiny. Для обучения, валидации и комплексного исследования этих моделей разработан соответствующий набор данных. Каждое размеченное изображение из набора данных включает от одного до нескольких летающих объектов четырех классов: «птица», «беспилотный летательный аппарат самолетного типа», «беспилотный летательный аппарат вертолетного типа» и «неизвестный объект» (объекты в воздушном пространстве, не входящие в первые три класса). Исследования показали, что все модели сверточных нейронных сетей по скорости детектирования объектов на изображении (по скорости вычисления модели) значительно превышают заданное пороговое значение, однако только модели YOLOv4-CSP и YOLOv7, причем только частично, удовлетворяют требованию по точности детектирования (классификации) летающих объектов. Наиболее сложным для детектирования классом объектов является класс «птица». При этом выявлено, что наиболее эффективной по точности классификации является модель YOLOv7, модель YOLOv4-CSP на втором месте. Обе модели рекомендованы к использованию в составе мобильной системы компьютерного зрения реального времени при условии увеличения в созданном наборе данных числа изображений с объектами класса «птица» и дообучения этих моделей с тем, чтобы они удовлетворяли требованию по точности детектирования летающих объектов каждого из четырех классов.

В работе предложена и исследована математическая модель распределенной вычислительной системы параллельных взаимодействующих процессов, конкурирующих за использование ограниченного числа копий структурированного программного ресурса. В случаях неограниченного и ограниченного параллелизма по числу процессоров мультипроцессорной системы решены задачи определения оперативных и точных значений времени выполнения неоднородных и одинаково распределенных конкурирующих процессов в синхронном режиме, при котором обеспечивается линейный порядок выполнения блоков структурированного программного ресурса внутри каждого из процессов без задержек. Полученные результаты можно использовать при сравнительном анализе математических соотношений для вычисления времени реализации множества параллельных распределенных взаимодействующих конкурирующих процессов, математическом исследовании эффективности и оптимальности организации распределенных вычислений, решении задач построения оптимальной компоновки блоков одинаково распределенной системы, нахождения оптимального числа процессоров, обеспечивающих директивное время выполнения заданных объемов вычислений. Предложенные модели и методы открывают новые перспективы при решении проблем оптимального распределения ограниченных вычислительных ресурсов, синхронизации множества взаимодействующих конкурирующих процессов, минимизации системных затрат при выполнении параллельных распределенных процессов.

В данной работе проведено экспериментальное исследование применения автоматической разметки текстовых данных в формате «вопрос – ответ» (QA-пары) в условиях ограниченных вычислительных ресурсов и требований к защите данных. В отличие от традиционных подходов, основанных на жестких правилах или использовании внешних API, предложено применять малые языковые модели с небольшим количеством параметров, способные функционировать локально без GPU на стандартных CPU-системах. Для тестирования были выбраны две модели: Gemma-3-4b и Qwen-2.5-3b (квантованные 4-битные версии), а в качестве исходного материала использован корпус документов с четкой структурой и формально-строгим стилем изложения. Разработана система автоматической аннотации, реализующая полный цикл генерации QA-датасета: автоматическое разбиение исходного документа на логически связные фрагменты, формирование пар «вопрос – ответ» моделью Gemma-3-4b, предварительная проверка их корректности с использованием Qwen-2.5-3b с опорой на доказательный фрагмент из контекста и экспертной оценкой качества. Экспорт полученных результатов предоставляется в формате JSONL. Оценка производительности охватывает всю систему генерации QA-пар, включая обработку фрагментов локальной языковой моделью, модули предобработки и постобработки текста. Производительность измеряется по времени генерации одной QA-пары, общей пропускной способности системы, использованию оперативной памяти и загрузке процессора, что позволяет объективно оценить вычислительную эффективность предлагаемого подхода при запуске на CPU. Эксперимент на расширенной выборке из 12 документов показал, что автоматическая аннотация демонстрирует устойчивую производительность при обработке документов различных типов, тогда как ручная разметка характеризуется существенно большими временными затратами и высокой вариативностью. В зависимости от типа документа ускорение аннотации по сравнению с ручным процессом составляет от 8 до 14 раз. Анализ качества показал, что большинство сгенерированных QA-пар обладают высокой семантической согласованностью с исходным контекстом, при этом лишь ограниченная доля данных требует экспертной корректировки или исключения. Хотя полная ручная валидация корпуса (золотой стандарт) в рамках работы не проводилась, сочетание автоматической оценки и выборочной экспертной проверки позволяет рассматривать полученный уровень качества как приемлемый для задач предварительной автоматизированной аннотации. В целом результаты подтверждают практическую применимость малых языковых моделей для построения автономных и воспроизводимых систем автоматической разметки текстов в условиях ограниченных вычислительных ресурсов и создают основу для дальнейших исследований в области эффективной подготовки обучающих корпусов для задач обработки естественного языка.

В различных областях науки при моделировании и статистическом анализе данных, характеризующихся цикличностью (периодичностью), используют круговые или обернутые модели распределений. В работе рассматривается плотность распределения вероятностей фазы гармонического сигнала и сигнала с фазовой манипуляцией в условиях аддитивного белого гауссовского шума. Представлены выражения для моделирования выборки случайных фаз гармонического и модулированного сигналов с заданными параметрами и корреляционной функцией. Приведены выражения для плотности распределения фаз фазоманипулированного сигнала. Показано, что плотность распределения фазоманипулированного сигнала становится мультимодальной. Кроме того, рассматриваемая плотность распределения является периодической функцией, а значит, для ее разложения в ряд естественно использование тригонометрического базиса Фурье. В работе впервые получены аналитические выражения для коэффициентов ряда Фурье при разложении рассматриваемой плотности по гармоническому базису и представлен вывод соответствующих выражений. Представлены примеры компьютерного моделирования и соответствующие графические материалы при вычислении коэффициентов Фурье функции плотности распределения вероятностей фаз для гармонического и фазоманипулированного сигналов. Также выведены выражение для функции распределения фазы и его разложение в ряд Фурье. На основе представления плотности распределения фаз в виде ряда Фурье проведено сравнение с другими круговыми распределениями, часто применяемыми в практических задачах, — распределение Мизеса и обернутое нормальное распределение. Полученные в работе результаты представляют теоретический и практический интерес для моделирования и статистического анализа фаз сигналов в различных прикладных задачах в области радиотехники, цифровой связи, радиолокации. В частности, в задачах оценки отношения «сигнал/шум», вероятности ошибки на бит, а также надежности решений демодулятора, т.е. мягкой демодуляции фазоманипулированных сигналов. Аналитические выражения для коэффициентов ряда Фурье могут быть использованы при оценке эмпирической плотности распределения.

Дискретно-элементная модель, основанная на представлении ударника и преграды совокупностью плотно упакованных частиц, применена к задаче внедрения металлических шаров в массивные преграды. Для описания взаимодействия между частицами использовался двухпараметрический потенциал Леннарда–Джонса. Компьютерная реализация модели осуществлена с использованием распараллеливания вычислений на графических процессорах, что позволило добиться высокого пространственно-временного разрешения. На основе сравнения результатов компьютерного моделирования с экспериментальными данными идентифицирована зависимость энергии межчастичной связи от динамической твердости материалов. Показано, что использование данного подхода позволяет достаточно точно описать процесс внедрения ударника в преграду в диапазоне скоростей взаимодействия 500–2500 м/c.

Целью данной работы является обобщение макроскопических гидродинамических моделей второго порядка, описывающих автомобильное движение, с помощью алгоритма построения адекватного реальным измерениям уравнения состояния — зависимости давления от плотности транспортного потока, получаемого эмпирическим образом для каждого отдельного участка транспортной сети с использованием данных транспортных детекторов. Доказано, что именно вид уравнения состояния, замыкающего систему модельных уравнений и полученного из экспериментально наблюдаемого вида фундаментальной диаграммы — зависимости интенсивности транспортного потока от его плотности, полностью определяет все свойства любой феноменологической модели. Проверка работоспособности предложенного подхода проводилась с использованием численных расчетов, путем проведения вычисленных экспериментов на типичных данных, предоставляемых системой PeMS (http://pems.dot.ca.gov/), таких как моделирование движения трафика на заданном участке транспортной сети автострады I-580 в Калифорнии.

Улично-дорожная сеть является основой инфраструктуры любой урбанистической территории. В данной статье сравниваются структурные характеристики (коэффициент сетчатости, коэффициент кластеризации) дорожных сетей центра Москвы (старая Москва), сформированных в результате самоорганизации, и сети дорог вблизи Ленинского проспекта (послевоенная Москва), которая формировалась в процессе централизованного планирования. Данные для построения дорожных сетей в виде первичных графов взяты из интернет-ресурса OpenStreetMap, позволяющего точно идентифицировать координаты перекрестков. По вычисленным характеристикам в зарубежных публикациях найдены города, дорожные сети которых имеют сходные с этими двумя районами Москвы структуры. С учетом двойственного представления дорожных сетей центров Москвы и Петербурга, изучались информационно-когнитивные свойства навигации по этим туристическим районам двух столиц. При построении двойственного графа исследуемых районов не принимались во внимание различия в типах дорог (одностороннее или двусторонне движение и т. п.). То есть построенные двойственные графы являются неориентированным. Поскольку дорожные сети в двойственном представлении описываются степенным законом распределения вершин по числу ребер (являются безмасштабными сетями), вычислены показатели степеней этих распределений. Показано, что информационная сложность двойственного графа центра Москвы превышает когнитивный порог в 8.1 бит, а этот же показатель для центра Петербурга ниже этого порога. Это объясняется тем, что дорожная сеть центра Петербурга создавалась на основе планирования и потому более проста для навигации. В заключение, с использованием методов статистической механики (метод расчета статистических сумм) для дорожных сетей некоторых российских городов, вычислялась энтропия Гиббса. Обнаружено, что с ростом размеров дорожных сетей их энтропия уменьшается. Обсуждаются задачи изучения эволюции сетей городской инфраструктуры различной природы (сети общественного транспорта, снабжения, коммуникации и т. д.), что позволит более глубоко исследовать и понять фундаментальные закономерности процесса урбанизации.

Схемы WENO (взвешенные, существенно не осциллирующие схемы) в настоящее время имеют достаточно обширную область применения для аппроксимации разрывных решений в уравнениях в частных производных. Данные схемы применялись для прямого численного моделирования и моделирования динамики больших вихрей в задачах газовой динамики, задачах МГД и даже для задач нейтронной кинетики. Данная работа посвящена уточнению некоторых характеристик схем WENO и численному моделированию характерных задач, которые позволяют сделать выводы обоб ласти применимости данных схем. Первая часть работы содержала результаты по доказательству свойств аппроксимации, устойчивости и сходимости схем WENO5, WENO7, WENO9, WENO11 и WENO13. Во второй части работы проводится модифицированный волновой анализ, позволяющий сделать вывод о дисперсионных и диссипативных свойствах схем. Далее, проводится численное моделирование ряда характерных задач для уравнений гиперболического типа: уравнений переноса (одномерное и двухмерное), уравнения Хопфа, уравнения Бюргерса (с малой диссипацией) и уравнения динамики невязкого газа (одномерное и двухмерное). Для каждой из задач, подразумевающих гладкое решение, приведено практическое вычисление порядка аппроксимации с помощью метода Рунге. Во всех задачах проверяются выводы, сделанные в первой части работы по влиянию шага по времени на нелинейные свойства схем. В частности, для уравнений переноса разрывной функции и уравнений Хопфа показано, что невыполнение указанных рекомендаций ведет вначале к росту вариации решения, а затем включается диссипативный нелинейный механизм схемы и аппроксимация падает. Практически подтверждены выводы первой части по условиям устойчивости. Для одномерного уравнения Бюргерса проведено моделирование затухания случайно распределенных начальных условий в периодической области и выполнено сопоставление со спектральным методом. Делается вывод о применимости схем WENO7–WENO13 для прямого численного моделирования турбулентности. В конце демонстрируются возможности схем на начально-краевых задачах для уравнений динамики невязкого газа: неустойчивость Рэлея–Тейлора и отражение ударной волны от клина с образованием сложной конфигурации ударных волн и разрывов.