Все выпуски

Описана новая система моделирования грид- и облачных сервисов, ориентированная на повышение эффективности разработки системы хранения и обработки данных ускорительного комплекса НИКА. В системе реализован подход учета качества работы уже функционирующей системы при проектировании ее дальнейшего развития за счет объединения самой программы моделирования с системой мониторинга реального (или модельного) грид-облачного сервиса через специальную базу данных. Приведен пример применения программы для моделирования достаточно общей облачной структуры, которая может быть также использована и вне рамок физического эксперимента.

A new grid and cloud services simulation for NICA accelerator complex data storage and processing system are described. This system is focused on improving the efficiency of the grid-cloud systems development by using work quality indicators of some real system to design and predict its evolution. For these purpose the simulation program are combined with real monitoring system of the grid-cloud service through a special database. An example of the program usage to simulate a sufficiently general cloud structure, which can be used for more common purposes, is given.

В работе описывается свободно распространяемая прикладная программа для исследований в области голоморфной динамики на основе вычислительных возможностей среды MATLAB. Программа позволяет строить не только одиночные комплекснозначные отображения, но и их коллективы как линейно связанные, на квадратной или гексагональной решетке. В первом случае строятся аналоги множества Жюлиа (в виде точек убегания с цветовой индикацией скорости убегания), Фату (с выделением хаотической динамики) и множества Мандельброта, порожденного одним из двух свободных параметров. Во втором случае рассматривается только динамика клеточного автомата с комплекснозначным состоянием ячеек и всеми коэффициентами в локальной функции перехода. Абстрактность объектно-ориентированного программирования позволяет объединить оба типа расчета в рамках одной программы, описывающей итеративную динамику одного объекта.

Для формы поля, начальных условий, шаблона окрестности и особенностей окрестности у граничных ячеек предусмотрены опции выбора. Вид отображения может быть задан регулярным для интерпретатора MATLAB выражением. В статье приводятся некоторые UML-диаграммы, краткое введение в пользовательский интерфейс и ряд примеров.

В качестве рабочих иллюстраций, содержащих новое научное знание, были рассмотрены следующие случаи:

1) дробно-линейное отображение вида $Az^{n} +B/z^{n} $, для которого случаи $n=2$, $4$, $n>1$, известны. На портрете множества Фату привлекают внимание характерные (для классического квадратичного отображения) фигурки <<пряничных человечков>>, показывающие короткопериодические режимы, находящиеся в море компоненты условно хаотической динамики;

2) у множества Мандельброта при нестандартном положении параметра в показателе степени $z(t+1)\Leftarrow z(t)^{\mu } $ на эскизных расчетах обнаруживаются некие зубчатые структуры и облака точек, напоминающие пыль Кантора, не являющиеся букетами Кантора, характерными для экспоненциального отображения. В дальнейшем требуется детализация этих объектов со сложной топологией.

The paper describes a free software for research in the field of holomorphic dynamics based on the computational capabilities of the MATLAB environment. The software allows constructing not only single complex-valued mappings, but also their collectives as linearly connected, on a square or hexagonal lattice. In the first case, analogs of the Julia set (in the form of escaping points with color indication of the escape velocity), Fatou (with chaotic dynamics highlighting), and the Mandelbrot set generated by one of two free parameters are constructed. In the second case, only the dynamics of a cellular automaton with a complex-valued state of the cells and of all the coefficients in the local transition function is considered. The abstract nature of object-oriented programming makes it possible to combine both types of calculations within a single program that describes the iterated dynamics of one object.

The presented software provides a set of options for the field shape, initial conditions, neighborhood template, and boundary cells neighborhood features. The mapping display type can be specified by a regular expression for the MATLAB interpreter. This paper provides some UML diagrams, a short introduction to the user interface, and some examples.

The following cases are considered as example illustrations containing new scientific knowledge:

1) a linear fractional mapping in the form $Az^{n} +B/z^{n} $, for which the cases $n=2$, $4$, $n>1$, are known. In the portrait of the Fatou set, attention is drawn to the characteristic (for the classical quadratic mapping) figures of <>, showing short-period regimes, components of conventionally chaotic dynamics in the sea;

2) for the Mandelbrot set with a non-standard position of the parameter in the exponent $z(t+1)\Leftarrow z(t)^{\mu } $ sketch calculations reveal some jagged structures and point clouds resembling Cantor's dust, which are not Cantor's bouquets that are characteristic for exponential mapping. Further detailing of these objects with complex topology is required.

Вычислительный элемент ARC приобретает всё большую популярность в инфраструктурах WLCG и EGI, и используется не только в контексте систем Грид, но и как интерфейс к суперкомпьютерам и облачным ресурсам. Развитие и поддержка ARC опирается на вклады членов пользовательского сообщества, что помогает идти в ногу со всеми изменениями в сфере распределённых вычислений. Перспективы развития ARC тесно связаны с требованиями обработки данных БАК, в любых их проявлениях. ARC также используется и для нужд небольших научных сообществ, благодаря государственным вычислительным инфраструктурам в различных странах. Таким образом, ARC представляет собой эффективное решение для создания распределённых вычислительных инфраструктур, использующих разнообразные ресурсы.

ARC Compute Element is becoming more popular in WLCG and EGI infrastructures, being used not only in the Grid context, but also as an interface to HPC and Cloud resources. It strongly relies on community contributions, which helps keeping up with the changes in the distributed computing landscape. Future ARC plans are closely linked to the needs of the LHC computing, whichever shape it may take. There are also numerous examples of ARC usage for smaller research communities through national computing infrastructure projects in different countries. As such, ARC is a viable solution for building uniform distributed computing infrastructures using a variety of resources.

The study completes a series of the author’s works devoted to the spread of particles population in supercritical catalytic branching random walk (CBRW) on a multidimensional lattice. The CBRW model describes the evolution of a system of particles combining their random movement with branching (reproduction and death) which only occurs at fixed points of the lattice. The set of such catalytic points is assumed to be finite and arbitrary. In the supercritical regime the size of population, initiated by a parent particle, increases exponentially with positive probability. The rate of the spread depends essentially on the distribution tails of the random walk jump. If the jump distribution has “light tails”, the “population front”, formed by the particles most distant from the origin, moves linearly in time and the limiting shape of the front is a convex surface. When the random walk jump has independent coordinates with a semiexponential distribution, the population spreads with a power rate in time and the limiting shape of the front is a star-shape nonconvex surface. So far, for regularly varying tails (“heavy” tails), we have considered the problem of scaled front propagation assuming independence of components of the random walk jump. Now, without this hypothesis, we examine an “isotropic” case, when the rate of decay of the jumps distribution in different directions is given by the same regularly varying function. We specify the probability that, for time going to infinity, the limiting random set formed by appropriately scaled positions of population particles belongs to a set $B$ containing the origin with its neighborhood, in $\mathbb{R}^d$. In contrast to the previous results, the random cloud of particles with normalized positions in the time limit will not concentrate on coordinate axes with probability one.

The study completes a series of the author’s works devoted to the spread of particles population in supercritical catalytic branching random walk (CBRW) on a multidimensional lattice. The CBRW model describes the evolution of a system of particles combining their random movement with branching (reproduction and death) which only occurs at fixed points of the lattice. The set of such catalytic points is assumed to be finite and arbitrary. In the supercritical regime the size of population, initiated by a parent particle, increases exponentially with positive probability. The rate of the spread depends essentially on the distribution tails of the random walk jump. If the jump distribution has “light tails”, the “population front”, formed by the particles most distant from the origin, moves linearly in time and the limiting shape of the front is a convex surface. When the random walk jump has independent coordinates with a semiexponential distribution, the population spreads with a power rate in time and the limiting shape of the front is a star-shape nonconvex surface. So far, for regularly varying tails (“heavy” tails), we have considered the problem of scaled front propagation assuming independence of components of the random walk jump. Now, without this hypothesis, we examine an “isotropic” case, when the rate of decay of the jumps distribution in different directions is given by the same regularly varying function. We specify the probability that, for time going to infinity, the limiting random set formed by appropriately scaled positions of population particles belongs to a set $B$ containing the origin with its neighborhood, in $\mathbb{R}^d$. In contrast to the previous results, the random cloud of particles with normalized positions in the time limit will not concentrate on coordinate axes with probability one.

Работа посвящена численному моделированию двухфазных течений, а именно расчету сверхзвукового обтекания затупленного тела потоком вязкого газа с примесью относительно крупных частиц, масса которых позволяет после отражения от поверхности выйти за пределы ударного слоя, двигаясь по инерции навстречу набегающему потоку. Натурные и вычислительные эксперименты показывают, что движение высокоинерционных частиц существенным образом изменяет структуру течения газа в ударном слое, а формирующиеся при этом направленные на тело импактные струи вызывают увеличение давления газа вблизи участков поверхности и кратный рост конвективного теплового потока.

Построена математическая модель обтекания затупленного тела сверхзвуковым потоком вязкого газа с твердыми частицами. Решение системы нестационарных уравнений Навье–Стокса в консервативных переменных осуществляется бессеточным методом, в основе которого лежит аппроксимация частных пространственных производных газодинамических величин и содержащих их функций методом наименьших квадратов на множестве распределенных в области расчета узлов. Расчет невязких потоков выполняется методом HLLC в сочетании с MUSCL-реконструкцией третьего порядка, вязких потоков — схемой второго порядка. МНК-аппроксимация частных производных параметров газа по направлению также применяется для реализации краевых условий Неймана на выходной границе области расчета, а также поверхностях обтекаемых тел, которые считаются изотермическими твердыми стенками.

Каждое движущееся тело окружено облаком расчетных узлов, принадлежащих его домену и перемещающихся вместе с ним в пространстве. Реализовано два подхода к моделированию перемещения объектов с учетом обратного влияния на течение газа: метод скользящих облаков фиксированной формы и эволюции единого облака узлов, представляющего собой объединение узлов разных доменов. Проведенные численные эксперименты подтвердили применимость предложенных методов к решению целевых задач моделирования движения крупных частиц в сверхзвуковом потоке.

Выполнена программная реализация представленных алгоритмов на основе технологии параллельных гетерогенных вычислений OpenCL. Представлены результаты моделирования движения крупной частицы вдоль оси симметрии сферы навстречу набегающему потоку с числом Маха $\mathrm{M}=6$.

The work is devoted to numerical modeling of two-phase flows, namely, the calculation of supersonic flow around a blunt body by a viscous gas flow with an admixture of large high inertia particles. The system of unsteady Navier – Stokes equations is numerically solved by the meshless method. It uses the cloud of points in space to represent the fields of gas parameters. The spatial derivatives of gas parameters and functions are approximated by the least square method to calculate convective and viscous fluxes in the Navier – Stokes system of equations. The convective fluxes are calculated by the HLLC method. The third-order MUSCL reconstruction scheme is used to achieve high order accuracy. The viscous fluxes are calculated by the second order approximation scheme. The streamlined body surface is represented by a model of an isothermal wall. It implements the conditions for the zero velocity and zero pressure gradient, which is also modeled using the least squares method.

Every moving body is surrounded by its own cloud of points belongs to body’s domain and moving along with it in space. The explicit three-sage Runge–Kutta method is used to solve numerically the system of gas dynamics equations in the main coordinate system and local coordinate systems of each particle.

Two methods for the moving objects modeling with reverse impact on the gas flow have been implemented. The first one uses stationary point clouds with fixed neighbors within the same domain. When regions overlap, some nodes of one domain, for example, the boundary nodes of the particle domain, are excluded from the calculation and filled with the values of gas parameters from the nearest nodes of another domain using the least squares approximation of gradients. The internal nodes of the particle domain are used to reconstruct the gas parameters in the overlapped nodes of the main domain. The second method also uses the exclusion of nodes in overlapping areas, but in this case the nodes of another domain take the place of the excluded neighbors to build a single connected cloud of nodes. At the same time, some of the nodes are moving, and some are stationary. Nodes membership to different domains and their relative speed are taken into account when calculating fluxes.

The results of modeling the motion of a particle in a stationary gas and the flow around a stationary particle by an incoming flow at the same relative velocity show good agreement for both presented methods.

Sensor fusion is one of the important solutions for the perception problem in self-driving cars, where the main aim is to enhance the perception of the system without losing real-time performance. Therefore, it is a trade-off problem and its often observed that most models that have a high environment perception cannot perform in a real-time manner. Our article is concerned with camera and Lidar data fusion for better environment perception in self-driving cars, considering 3 main classes which are cars, cyclists and pedestrians. We fuse output from the 3D detector model that takes its input from Lidar as well as the output from the 2D detector that take its input from the camera, to give better perception output than any of them separately, ensuring that it is able to work in real-time. We addressed our problem using a 3D detector model (Complex-Yolov3) and a 2D detector model (Yolo-v3), wherein we applied the image-based fusion method that could make a fusion between Lidar and camera information with a fast and efficient late fusion technique that is discussed in detail in this article. We used the mean average precision (mAP) metric in order to evaluate our object detection model and to compare the proposed approach with them as well. At the end, we showed the results on the KITTI dataset as well as our real hardware setup, which consists of Lidar velodyne 16 and Leopard USB cameras. We used Python to develop our algorithm and then validated it on the KITTI dataset. We used ros2 along with C++ to verify the algorithm on our dataset obtained from our hardware configurations which proved that our proposed approach could give good results and work efficiently in practical situations in a real-time manner.

Sensor fusion is one of the important solutions for the perception problem in self-driving cars, where the main aim is to enhance the perception of the system without losing real-time performance. Therefore, it is a trade-off problem and its often observed that most models that have a high environment perception cannot perform in a real-time manner. Our article is concerned with camera and Lidar data fusion for better environment perception in self-driving cars, considering 3 main classes which are cars, cyclists and pedestrians. We fuse output from the 3D detector model that takes its input from Lidar as well as the output from the 2D detector that take its input from the camera, to give better perception output than any of them separately, ensuring that it is able to work in real-time. We addressed our problem using a 3D detector model (Complex-Yolov3) and a 2D detector model (Yolo-v3), wherein we applied the image-based fusion method that could make a fusion between Lidar and camera information with a fast and efficient late fusion technique that is discussed in detail in this article. We used the mean average precision (mAP) metric in order to evaluate our object detection model and to compare the proposed approach with them as well. At the end, we showed the results on the KITTI dataset as well as our real hardware setup, which consists of Lidar velodyne 16 and Leopard USB cameras. We used Python to develop our algorithm and then validated it on the KITTI dataset. We used ros2 along with C++ to verify the algorithm on our dataset obtained from our hardware configurations which proved that our proposed approach could give good results and work efficiently in practical situations in a real-time manner.

Планирование вычислительных рабочих процессов, представленных направленными ациклическими графами (DAG), имеет ключевое значение для многих областей информатики, таких как облачные/edge задачи с распределенной рабочей нагрузкой и анализ данных. Сложность онлайнового планирования DAG усугубляется большим количеством вычислительных узлов, задержками передачи данных, неоднородностью (по типу и вычислительной мощности) исполнителей, ограничениями предшествования, накладываемыми DAG, и неравномерностью поступления задач. В данной статье представлен мультиагентный протокол локального голосования (MLVP) — новый подход, ориентированный на динамическое распределение нагрузки при планировании DAG в гетерогенных вычислительных средах, где исполнители представлены в виде агентов. MLVP использует протокол локального голосования для достижения эффективного распределения нагрузки, формулируя проблему как дифференцированное достижение консенсуса. Алгоритм вычисляет агрегированную метрику DAG для каждой пары исполнитель – узел на основе зависимостей между узлами, доступности узлов и производительности исполнителей. Баланс этих метрик как взвешенная сумма оптимизируется с помощью генетического алгоритма для вероятностного распределения задач, что позволяет добиться эффективного распределения рабочей нагрузки за счет обмена информацией и достижения консенсуса между исполнителями всей системы и, таким образом, улучшить время выполнения. Эффективность MLVP демонстрируется путем сравнения с современным алгоритмом планирования DAG и популярными эвристиками, такими как DONF, FIFO, Min-Min и Max-Min. Численное моделирование показывает, что MLVP достигает улучшения makepsan до 70% на определенных топологиях графов и среднего сокращения makepan на 23,99% по сравнению с DONF (современная эвристика планирования DAG) на случайно сгенерированном разнообразном наборе DAG. Примечательно, что масштабируемость алгоритма подтверждается ростом производительности при увеличении числа исполнителей и узлов графа.

Scheduling computational workflows represented by directed acyclic graphs (DAGs) is crucial in many areas of computer science, such as cloud/edge tasks with distributed workloads and data mining. The complexity of online DAG scheduling is compounded by the large number of computational nodes, data transfer delays, heterogeneity (by type and processing power) of executors, precedence constraints imposed by DAG, and the nonuniform arrival of tasks. This paper introduces the Multi-Agent Local Voting Protocol (MLVP), a novel approach focused on dynamic load balancing for DAG scheduling in heterogeneous computing environments, where executors are represented as agents. The MLVP employs a local voting protocol to achieve effective load distribution by formulating the problem as a differentiated consensus achievement. The algorithm calculates an aggregated DAG metric for each executor-node pair based on node dependencies, node availability, and executor performance. The balance of these metrics as a weighted sum is optimized using a genetic algorithm to assign tasks probabilistically, achieving efficient workload distribution via information sharing and reaching consensus among the executors across the system and thus improving makespan. The effectiveness of the MLVP is demonstrated through comparisons with the state-of-the-art DAG scheduling algorithm and popular heuristics such as DONF, FIFO, Min- Min, and Max-Min. Numerical simulations show that MLVP achieves makepsan improvements of up to 70% on specific graph topologies and an average makespan reduction of 23.99% over DONF (state-of-the-art DAG scheduling heuristic) across randomly generated diverse set of DAGs. Notably, the algorithm’s scalability is evidenced by enhanced performance with increasing numbers of executors and graph nodes.

В докладе представлен ряд новостей и обновлений ALICE computing к RUN2 и RUN3.

В их числе:

– ввод в работу новой системы EOS;

– переход к файловой системе CVMFS для хранения ПО;

– план решения проблемы Long Term Data Preservation;

– обзор концепции “O square”, совмещающей офлайн- и онлайн-обработку данных;

– обзор существующих моделей использования виртуальных облаков для обработки данных ALICE.

Ряд нововведений показан на примере российских сайтов.

The report presents a number of news and updates of the ALICE computing for RUN2 and RUN3.

This includes:

– implementation in production of a new system EOS;

– migration to the file system CVMFS to be used for storage of the software;

– the plan for solving the problem of “Long-Term Data Preservation”;

– overview of the concept of “O square”, combining offline and online data processing;

– overview of the existing models to use the virtual clouds for ALICE data processing. Innovations are shown on the example of the Russian sites.

В статье анализируется модель сильного согласования реплик в базах данных NoSQL. Описывается процесс подготовки и проведения натурного эксперимента в облаке для доказательства адекватности модели. Приводятся спецификации программ, с помощью которых производился доступ к NoSQL-системе? и программы обработки журналов. Часть из полученных экспериментальным путем данных использовалась для адаптации модели, другая часть — для оценки адекватности. Приводится анализ адекватности модели.

In this article the model of strong replicas agreement was analyzed. The process of preparing and conducting the nature experiment in the cloud in order to proof the model adequacy was described. Specifications of the program for implementation of database access to the NoSQL system and the program for handling journals were presented. One part of obtained experiments results was used for model adaptation, another part — for adequacy evaluating. The adequacy analysis is presented.