Все выпуски

Описана новая система моделирования грид- и облачных сервисов, ориентированная на повышение эффективности разработки системы хранения и обработки данных ускорительного комплекса НИКА. В системе реализован подход учета качества работы уже функционирующей системы при проектировании ее дальнейшего развития за счет объединения самой программы моделирования с системой мониторинга реального (или модельного) грид-облачного сервиса через специальную базу данных. Приведен пример применения программы для моделирования достаточно общей облачной структуры, которая может быть также использована и вне рамок физического эксперимента.

A new grid and cloud services simulation for NICA accelerator complex data storage and processing system are described. This system is focused on improving the efficiency of the grid-cloud systems development by using work quality indicators of some real system to design and predict its evolution. For these purpose the simulation program are combined with real monitoring system of the grid-cloud service through a special database. An example of the program usage to simulate a sufficiently general cloud structure, which can be used for more common purposes, is given.

В работе описывается свободно распространяемая прикладная программа для исследований в области голоморфной динамики на основе вычислительных возможностей среды MATLAB. Программа позволяет строить не только одиночные комплекснозначные отображения, но и их коллективы как линейно связанные, на квадратной или гексагональной решетке. В первом случае строятся аналоги множества Жюлиа (в виде точек убегания с цветовой индикацией скорости убегания), Фату (с выделением хаотической динамики) и множества Мандельброта, порожденного одним из двух свободных параметров. Во втором случае рассматривается только динамика клеточного автомата с комплекснозначным состоянием ячеек и всеми коэффициентами в локальной функции перехода. Абстрактность объектно-ориентированного программирования позволяет объединить оба типа расчета в рамках одной программы, описывающей итеративную динамику одного объекта.

Для формы поля, начальных условий, шаблона окрестности и особенностей окрестности у граничных ячеек предусмотрены опции выбора. Вид отображения может быть задан регулярным для интерпретатора MATLAB выражением. В статье приводятся некоторые UML-диаграммы, краткое введение в пользовательский интерфейс и ряд примеров.

В качестве рабочих иллюстраций, содержащих новое научное знание, были рассмотрены следующие случаи:

1) дробно-линейное отображение вида $Az^{n} +B/z^{n} $, для которого случаи $n=2$, $4$, $n>1$, известны. На портрете множества Фату привлекают внимание характерные (для классического квадратичного отображения) фигурки <<пряничных человечков>>, показывающие короткопериодические режимы, находящиеся в море компоненты условно хаотической динамики;

2) у множества Мандельброта при нестандартном положении параметра в показателе степени $z(t+1)\Leftarrow z(t)^{\mu } $ на эскизных расчетах обнаруживаются некие зубчатые структуры и облака точек, напоминающие пыль Кантора, не являющиеся букетами Кантора, характерными для экспоненциального отображения. В дальнейшем требуется детализация этих объектов со сложной топологией.

The paper describes a free software for research in the field of holomorphic dynamics based on the computational capabilities of the MATLAB environment. The software allows constructing not only single complex-valued mappings, but also their collectives as linearly connected, on a square or hexagonal lattice. In the first case, analogs of the Julia set (in the form of escaping points with color indication of the escape velocity), Fatou (with chaotic dynamics highlighting), and the Mandelbrot set generated by one of two free parameters are constructed. In the second case, only the dynamics of a cellular automaton with a complex-valued state of the cells and of all the coefficients in the local transition function is considered. The abstract nature of object-oriented programming makes it possible to combine both types of calculations within a single program that describes the iterated dynamics of one object.

The presented software provides a set of options for the field shape, initial conditions, neighborhood template, and boundary cells neighborhood features. The mapping display type can be specified by a regular expression for the MATLAB interpreter. This paper provides some UML diagrams, a short introduction to the user interface, and some examples.

The following cases are considered as example illustrations containing new scientific knowledge:

1) a linear fractional mapping in the form $Az^{n} +B/z^{n} $, for which the cases $n=2$, $4$, $n>1$, are known. In the portrait of the Fatou set, attention is drawn to the characteristic (for the classical quadratic mapping) figures of <>, showing short-period regimes, components of conventionally chaotic dynamics in the sea;

2) for the Mandelbrot set with a non-standard position of the parameter in the exponent $z(t+1)\Leftarrow z(t)^{\mu } $ sketch calculations reveal some jagged structures and point clouds resembling Cantor's dust, which are not Cantor's bouquets that are characteristic for exponential mapping. Further detailing of these objects with complex topology is required.

Вычислительный элемент ARC приобретает всё большую популярность в инфраструктурах WLCG и EGI, и используется не только в контексте систем Грид, но и как интерфейс к суперкомпьютерам и облачным ресурсам. Развитие и поддержка ARC опирается на вклады членов пользовательского сообщества, что помогает идти в ногу со всеми изменениями в сфере распределённых вычислений. Перспективы развития ARC тесно связаны с требованиями обработки данных БАК, в любых их проявлениях. ARC также используется и для нужд небольших научных сообществ, благодаря государственным вычислительным инфраструктурам в различных странах. Таким образом, ARC представляет собой эффективное решение для создания распределённых вычислительных инфраструктур, использующих разнообразные ресурсы.

ARC Compute Element is becoming more popular in WLCG and EGI infrastructures, being used not only in the Grid context, but also as an interface to HPC and Cloud resources. It strongly relies on community contributions, which helps keeping up with the changes in the distributed computing landscape. Future ARC plans are closely linked to the needs of the LHC computing, whichever shape it may take. There are also numerous examples of ARC usage for smaller research communities through national computing infrastructure projects in different countries. As such, ARC is a viable solution for building uniform distributed computing infrastructures using a variety of resources.

The study completes a series of the author’s works devoted to the spread of particles population in supercritical catalytic branching random walk (CBRW) on a multidimensional lattice. The CBRW model describes the evolution of a system of particles combining their random movement with branching (reproduction and death) which only occurs at fixed points of the lattice. The set of such catalytic points is assumed to be finite and arbitrary. In the supercritical regime the size of population, initiated by a parent particle, increases exponentially with positive probability. The rate of the spread depends essentially on the distribution tails of the random walk jump. If the jump distribution has “light tails”, the “population front”, formed by the particles most distant from the origin, moves linearly in time and the limiting shape of the front is a convex surface. When the random walk jump has independent coordinates with a semiexponential distribution, the population spreads with a power rate in time and the limiting shape of the front is a star-shape nonconvex surface. So far, for regularly varying tails (“heavy” tails), we have considered the problem of scaled front propagation assuming independence of components of the random walk jump. Now, without this hypothesis, we examine an “isotropic” case, when the rate of decay of the jumps distribution in different directions is given by the same regularly varying function. We specify the probability that, for time going to infinity, the limiting random set formed by appropriately scaled positions of population particles belongs to a set $B$ containing the origin with its neighborhood, in $\mathbb{R}^d$. In contrast to the previous results, the random cloud of particles with normalized positions in the time limit will not concentrate on coordinate axes with probability one.

The study completes a series of the author’s works devoted to the spread of particles population in supercritical catalytic branching random walk (CBRW) on a multidimensional lattice. The CBRW model describes the evolution of a system of particles combining their random movement with branching (reproduction and death) which only occurs at fixed points of the lattice. The set of such catalytic points is assumed to be finite and arbitrary. In the supercritical regime the size of population, initiated by a parent particle, increases exponentially with positive probability. The rate of the spread depends essentially on the distribution tails of the random walk jump. If the jump distribution has “light tails”, the “population front”, formed by the particles most distant from the origin, moves linearly in time and the limiting shape of the front is a convex surface. When the random walk jump has independent coordinates with a semiexponential distribution, the population spreads with a power rate in time and the limiting shape of the front is a star-shape nonconvex surface. So far, for regularly varying tails (“heavy” tails), we have considered the problem of scaled front propagation assuming independence of components of the random walk jump. Now, without this hypothesis, we examine an “isotropic” case, when the rate of decay of the jumps distribution in different directions is given by the same regularly varying function. We specify the probability that, for time going to infinity, the limiting random set formed by appropriately scaled positions of population particles belongs to a set $B$ containing the origin with its neighborhood, in $\mathbb{R}^d$. In contrast to the previous results, the random cloud of particles with normalized positions in the time limit will not concentrate on coordinate axes with probability one.

Работа посвящена численному моделированию двухфазных течений, а именно расчету сверхзвукового обтекания затупленного тела потоком вязкого газа с примесью относительно крупных частиц, масса которых позволяет после отражения от поверхности выйти за пределы ударного слоя, двигаясь по инерции навстречу набегающему потоку. Натурные и вычислительные эксперименты показывают, что движение высокоинерционных частиц существенным образом изменяет структуру течения газа в ударном слое, а формирующиеся при этом направленные на тело импактные струи вызывают увеличение давления газа вблизи участков поверхности и кратный рост конвективного теплового потока.

Построена математическая модель обтекания затупленного тела сверхзвуковым потоком вязкого газа с твердыми частицами. Решение системы нестационарных уравнений Навье–Стокса в консервативных переменных осуществляется бессеточным методом, в основе которого лежит аппроксимация частных пространственных производных газодинамических величин и содержащих их функций методом наименьших квадратов на множестве распределенных в области расчета узлов. Расчет невязких потоков выполняется методом HLLC в сочетании с MUSCL-реконструкцией третьего порядка, вязких потоков — схемой второго порядка. МНК-аппроксимация частных производных параметров газа по направлению также применяется для реализации краевых условий Неймана на выходной границе области расчета, а также поверхностях обтекаемых тел, которые считаются изотермическими твердыми стенками.

Каждое движущееся тело окружено облаком расчетных узлов, принадлежащих его домену и перемещающихся вместе с ним в пространстве. Реализовано два подхода к моделированию перемещения объектов с учетом обратного влияния на течение газа: метод скользящих облаков фиксированной формы и эволюции единого облака узлов, представляющего собой объединение узлов разных доменов. Проведенные численные эксперименты подтвердили применимость предложенных методов к решению целевых задач моделирования движения крупных частиц в сверхзвуковом потоке.

Выполнена программная реализация представленных алгоритмов на основе технологии параллельных гетерогенных вычислений OpenCL. Представлены результаты моделирования движения крупной частицы вдоль оси симметрии сферы навстречу набегающему потоку с числом Маха $\mathrm{M}=6$.

The work is devoted to numerical modeling of two-phase flows, namely, the calculation of supersonic flow around a blunt body by a viscous gas flow with an admixture of large high inertia particles. The system of unsteady Navier – Stokes equations is numerically solved by the meshless method. It uses the cloud of points in space to represent the fields of gas parameters. The spatial derivatives of gas parameters and functions are approximated by the least square method to calculate convective and viscous fluxes in the Navier – Stokes system of equations. The convective fluxes are calculated by the HLLC method. The third-order MUSCL reconstruction scheme is used to achieve high order accuracy. The viscous fluxes are calculated by the second order approximation scheme. The streamlined body surface is represented by a model of an isothermal wall. It implements the conditions for the zero velocity and zero pressure gradient, which is also modeled using the least squares method.

Every moving body is surrounded by its own cloud of points belongs to body’s domain and moving along with it in space. The explicit three-sage Runge–Kutta method is used to solve numerically the system of gas dynamics equations in the main coordinate system and local coordinate systems of each particle.

Two methods for the moving objects modeling with reverse impact on the gas flow have been implemented. The first one uses stationary point clouds with fixed neighbors within the same domain. When regions overlap, some nodes of one domain, for example, the boundary nodes of the particle domain, are excluded from the calculation and filled with the values of gas parameters from the nearest nodes of another domain using the least squares approximation of gradients. The internal nodes of the particle domain are used to reconstruct the gas parameters in the overlapped nodes of the main domain. The second method also uses the exclusion of nodes in overlapping areas, but in this case the nodes of another domain take the place of the excluded neighbors to build a single connected cloud of nodes. At the same time, some of the nodes are moving, and some are stationary. Nodes membership to different domains and their relative speed are taken into account when calculating fluxes.

The results of modeling the motion of a particle in a stationary gas and the flow around a stationary particle by an incoming flow at the same relative velocity show good agreement for both presented methods.

Sensor fusion is one of the important solutions for the perception problem in self-driving cars, where the main aim is to enhance the perception of the system without losing real-time performance. Therefore, it is a trade-off problem and its often observed that most models that have a high environment perception cannot perform in a real-time manner. Our article is concerned with camera and Lidar data fusion for better environment perception in self-driving cars, considering 3 main classes which are cars, cyclists and pedestrians. We fuse output from the 3D detector model that takes its input from Lidar as well as the output from the 2D detector that take its input from the camera, to give better perception output than any of them separately, ensuring that it is able to work in real-time. We addressed our problem using a 3D detector model (Complex-Yolov3) and a 2D detector model (Yolo-v3), wherein we applied the image-based fusion method that could make a fusion between Lidar and camera information with a fast and efficient late fusion technique that is discussed in detail in this article. We used the mean average precision (mAP) metric in order to evaluate our object detection model and to compare the proposed approach with them as well. At the end, we showed the results on the KITTI dataset as well as our real hardware setup, which consists of Lidar velodyne 16 and Leopard USB cameras. We used Python to develop our algorithm and then validated it on the KITTI dataset. We used ros2 along with C++ to verify the algorithm on our dataset obtained from our hardware configurations which proved that our proposed approach could give good results and work efficiently in practical situations in a real-time manner.

Sensor fusion is one of the important solutions for the perception problem in self-driving cars, where the main aim is to enhance the perception of the system without losing real-time performance. Therefore, it is a trade-off problem and its often observed that most models that have a high environment perception cannot perform in a real-time manner. Our article is concerned with camera and Lidar data fusion for better environment perception in self-driving cars, considering 3 main classes which are cars, cyclists and pedestrians. We fuse output from the 3D detector model that takes its input from Lidar as well as the output from the 2D detector that take its input from the camera, to give better perception output than any of them separately, ensuring that it is able to work in real-time. We addressed our problem using a 3D detector model (Complex-Yolov3) and a 2D detector model (Yolo-v3), wherein we applied the image-based fusion method that could make a fusion between Lidar and camera information with a fast and efficient late fusion technique that is discussed in detail in this article. We used the mean average precision (mAP) metric in order to evaluate our object detection model and to compare the proposed approach with them as well. At the end, we showed the results on the KITTI dataset as well as our real hardware setup, which consists of Lidar velodyne 16 and Leopard USB cameras. We used Python to develop our algorithm and then validated it on the KITTI dataset. We used ros2 along with C++ to verify the algorithm on our dataset obtained from our hardware configurations which proved that our proposed approach could give good results and work efficiently in practical situations in a real-time manner.

В докладе представлен ряд новостей и обновлений ALICE computing к RUN2 и RUN3.

В их числе:

– ввод в работу новой системы EOS;

– переход к файловой системе CVMFS для хранения ПО;

– план решения проблемы Long Term Data Preservation;

– обзор концепции “O square”, совмещающей офлайн- и онлайн-обработку данных;

– обзор существующих моделей использования виртуальных облаков для обработки данных ALICE.

Ряд нововведений показан на примере российских сайтов.

The report presents a number of news and updates of the ALICE computing for RUN2 and RUN3.

This includes:

– implementation in production of a new system EOS;

– migration to the file system CVMFS to be used for storage of the software;

– the plan for solving the problem of “Long-Term Data Preservation”;

– overview of the concept of “O square”, combining offline and online data processing;

– overview of the existing models to use the virtual clouds for ALICE data processing. Innovations are shown on the example of the Russian sites.

В статье анализируется модель сильного согласования реплик в базах данных NoSQL. Описывается процесс подготовки и проведения натурного эксперимента в облаке для доказательства адекватности модели. Приводятся спецификации программ, с помощью которых производился доступ к NoSQL-системе? и программы обработки журналов. Часть из полученных экспериментальным путем данных использовалась для адаптации модели, другая часть — для оценки адекватности. Приводится анализ адекватности модели.

In this article the model of strong replicas agreement was analyzed. The process of preparing and conducting the nature experiment in the cloud in order to proof the model adequacy was described. Specifications of the program for implementation of database access to the NoSQL system and the program for handling journals were presented. One part of obtained experiments results was used for model adaptation, another part — for adequacy evaluating. The adequacy analysis is presented.

В Лаборатории информационных технологий (ЛИТ) Объединенного института ядерных исследований (ОИЯИ) планируется создание облачного центра параллельных вычислений, что позволит существенно повысить эффективность выполнения численных расчетов и ускорить получение новых физически значимых результатов за счет более рационального использования вычислительных ресурсов. Для оптимизации схемы параллельных вычислений в облачной среде эту схему необходимо протестировать при различных сочетаниях параметров оборудования (количества и частоты процессоров, уровней распараллеливания, пропускной способности коммуникационной сети и ее латентности). В качестве тестовой была выбрана весьма актуальная задача параллельных вычислений длинных джозефсоновских переходов (ДДП) с использованием технологии MPI. Проблемы оценки влияния вышеуказанных факторов вычислительной среды на скорость параллельных вычислений тестовой задачи было предложено решать методом имитационного моделирования, с использованием разработанной в ЛИТ моделирующей программы SyMSim.

Работы, выполненные по имитационному моделированию расчетов ДДП в облачной среде с учетом межпроцессорных соединений, позволяют пользователям без проведения серии тестовых запусков в реальной компьютерной обстановке подобрать оптимальное количество процессоров при известном типе сети, характеризуемой пропускной способностью и латентностью. Это может существенно сэкономить вычислительное время на счетных ресурсах, высвободив его для решения реальных задач. Основные параметры модели были получены по результатам вычислительного эксперимента, проведенного на специальном облачном полигоне для MPI-задач из 10 виртуальных машин, взаимодействующих между собой через Ethernet-сеть с пропускной способностью 10 Гбит/с. Вычислительные эксперименты показали, что чистое время вычислений спадает обратно пропорционально числу процессоров, но существенно зависит от пропускной способности сети. Сравнение результатов, полученных эмпирическим путем, с результатами имитационного моделирования показало, что имитационная модель корректно моделирует параллельные расчеты, выполненные с использованием технологии MPI, и подтвердило нашу рекомендацию, что для быстрого счета задач такого класса надо одновременно с увеличением числа процессоров увеличивать пропускную способность сети. По результатам моделирования удалось вывести эмпирическую аналитическую формулу, выражающую зависимость времени расчета от числа процессоров при фиксированной конфигурации системы. Полученная формула может применяться и для других подобных исследований, но требует дополнительных тестов по определению значений переменных.

А new cloud center of parallel computing is to be created in the Laboratory of Information Technologies (LIT) of the Joint Institute for Nuclear Research JINR) what is expected to improve significantly the efficiency of numerical calculations and expedite the receipt of new physically meaningful results due to the more rational use of computing resources. To optimize a scheme of parallel computations at a cloud environment it is necessary to test this scheme for various combinations of equipment parameters (processor speed and numbers, throughput оf а communication network etc). As a test problem, the parallel MPI algorithm for calculations of the long Josephson junctions (LDJ) is chosen. Problems of evaluating the impact of abovementioned factors of computing mean on the computing speed of the test problem are solved by simulation with the simulation program SyMSim developed in LIT.

The simulation of the LDJ calculations in the cloud environment enable users without a series of test to find the optimal number of CPUs with a certain type of network run the calculations in a real computer environment. This can save significant computational time in countable resources. The main parameters of the model were obtained from the results of the computational experiment conducted on a special cloud-based testbed. Computational experiments showed that the pure computation time decreases in inverse proportion to the number of processors, but depends significantly on network bandwidth. Comparison of results obtained empirically with the results of simulation showed that the simulation model correctly simulates the parallel calculations performed using the MPI-technology. Besides it confirms our recommendation: for fast calculations of this type it is needed to increase both, — the number of CPUs and the network throughput at the same time. The simulation results allow also to invent an empirical analytical formula expressing the dependence of calculation time by the number of processors for a fixed system configuration. The obtained formula can be applied to other similar studies, but requires additional tests to determine the values of variables.