Все выпуски

Рассматривается модель стека длинных джозефсоновских переходов (ДДП), состоящего из чередующихся сверхпроводящих слоев и слоев диэлектрика, с учетом индуктивной и емкостной связи между слоями. Модель описывается системой нелинейных дифференциальных уравнений в частных производных относительно разности фаз и напряжения между соседними сверхпроводящими слоями в стеке ДДП, с соответствующими начальными и граничными условиями. Численное решение этой системы уравнений основано на использовании стандартных трехточечных конечно-разностных формул для дискретной аппроксимации по пространственной координате и применении четырехшагового метода Рунге–Кутты для решения полученной задачи Коши. Разработанный параллельный алгоритм реализован на основе технологии MPI (Message Passing Interface). В работе дана математическая постановка задачи в рамках рассматриваемой модели, описаны вычислительная схема и методика расчета вольт-амперных характеристик системы ДДП, представлены два варианта параллельной реализации. Продемонстрировано влияние индуктивной и емкостной связи между ДДП на структуру вольт-амперной характеристики в рамках рассматриваемой модели. Представлены результаты методических расчетов с различными параметрами длины и количества джозефсоновских переходов в стеке ДДП в зависимости от количества задействованных параллельных вычислительных узлов. Расчеты выполнены на многопроцессорных кластерах HybriLIT и ЦИВК Многофункционального информационно-вычислительного комплекса Лаборатории информационных технологий Объединенного института ядерных исследований (Дубна). На основе полученных численных результатов обсуждается эффективность рассмотренных вариантов распределения вычислений для численного моделирования системы ДДП в параллельном режиме. Показано, что один из предложенных подходов приводит к ускорению вычислений до 9 раз по сравнению с расчетами в однопроцессорном режиме.

We consider a model of stacked long Josephson junctions (LJJ), which consists of alternating superconducting and dielectric layers. The model takes into account the inductive and capacitive coupling between the neighbor junctions. The model is described by a system of nonlinear partial differential equations with respect to the phase differences and the voltage of LJJ, with appropriate initial and boundary conditions. The numerical solution of this system of equations is based on the use of standard three-point finite-difference formulae for discrete approximations in the space coordinate, and the applying the four-step Runge-Kutta method for solving the Cauchy problem obtained. Designed parallel algorithm is implemented by means of the MPI technology (Message Passing Interface). In the paper, the mathematical formulation of the problem is given, numerical scheme and a method of calculation of the current-voltage characteristics of the LJJ system are described. Two variants of parallel implementation are presented. The influence of inductive and capacitive coupling between junctions on the structure of the current-voltage characteristics is demonstrated. The results of methodical calculations with various parameters of length and number of Josephson junctions in the LJJ stack depending on the number of parallel computing nodes, are presented. The calculations have been performed on multiprocessor clusters HybriLIT and CICC of Multi-Functional Information and Computing Complex (Laboratory of Information Technologies, Joint Institute for Nuclear Research, Dubna). The numerical results are discussed from the viewpoint of the effectiveness of presented approaches of the LJJ system numerical simulation in parallel. It has been shown that one of parallel algorithms provides the 9 times speedup of calculations.

Рассматривается применение консервативного численного метода потоков для изучения вихревых структур в массивных, быстровращающихся компактных астрофизических объектах, находящихся в условиях самогравитации. Моделирование осуществляется для объектов с различной массой и скоростью вращения. Визуализируются картины вихревой структуры объектов. В расчетах используется газодинамическая модель, в которой газ принимается совершенным и невязким. Численная методика основана на конечно-разностной аппроксимации законов сохранения аддитивных характеристик среды для конечного объема. При этом используются upwind-аппроксимации плотностей распределения массы, компонент импульса и полной энергии. Для моделирования объектов, обладающих быстрым вращением, при эволюционном расчете осуществляется контроль сохранения компонент момента импульса, законы сохранения для которых не входят в систему основных уравнений. Эволюционный расчет осуществляется на основе параллельных алгоритмов, реализованных на вычислительном комплексе кластерной архитектуры. Алгоритмы основаны на стандартизованной системе передачи сообщений Message Passing Interface (MPI). При этом используются как блокирующие, так и неблокирующие процедуры обмена с контролем завершения операций. Осуществляется распараллеливание по пространству по двум или трем направле- ниям в зависимости от размера области интегрирования и параметров вычислительной сетки. Одновременно с распараллеливанием по пространству для каждой подобласти осуществляется распараллеливание по физическим факторам: расчет конвективного переноса и гравитационных сил реализуется параллельно на разных процессорах, что позволяет повысить эффективность алгоритмов. Показывается реальная возможность прямого вычисления гравитационных сил посредством суммирования взаимодействия между всеми конечными объемами в области интегрирования. Для методов конечного объема такой подход кажется более последовательным, чем решение уравнения Пуассона для гравитационного потенциала. Численные расчеты осуществлялись на вычислительном комплексе кластерной архитектуры с пиковой производительностью 523 TFlops. В расчетах использовалось до тысячи процессоров.

The application of a conservative numerical method of fluxes is examined for studying the vortex structures in the massive, fast-turned compact astrophysical objects, which are in self-gravity conditions. The simulation is accomplished for the objects with different mass and rotational speed. The pictures of the vortex structure of objects are visualized. In the calculations the gas-dynamic model is used, in which gas is accepted perfected and nonviscous. Numerical procedure is based on the finite-difference approximation of the conservation laws of the additive characteristics of medium for the finite volume. The “upwind” approximations of the densities of distribution of mass, components of momentum and total energy are applied. For the simulation of the objects, which possess fast-spin motion, the control of conservation for the component of moment of momentun is carried out during calculation. Evolutionary calculation is carried out on the basis of the parallel algorithms, realized on the computer complex of cluster architecture. Algorithms are based on the standardized system of message transfer Message Passing Interface (MPI). The blocking procedures of exchange and non-blocking procedures of exchange with control of the completion of operation are used. The parallelization on the space in two or three directions is carried out depending on the size of integration area and parameters of computational grid. For each subarea the parallelization based on the physical factors is carried out also: the calculations of gas dynamics part and gravitational forces are realized on the different processors, that allows to raise the efficiency of algorithms. The real possibility of the direct calculation of gravitational forces by means of the summation of interaction between all finite volumes in the integration area is shown. For the finite volume methods this approach seems to more consecutive than the solution of Poisson’s equation for the gravitational potential. Numerical calculations were carried out on the computer complex of cluster architecture with the peak productivity 523 TFlops. In the calculations up to thousand processors was used.

Разработан вычислительный алгоритм для изучения химических процессов во внутренних течениях многокомпонентного газа при воздействии лазерного излучения. Математическая модель представляет собой уравнения газовой динамики с химическими реакциями при малых числах Маха с учетом диссипативных членов, которые описывают динамику вязкой теплопроводной среды с диффузией, химическими реакциями и подводом энергии посредством лазерного излучения. Для данной математической модели характерно наличие нескольких сильно различающихся между собой временных и пространственных масштабов. Вычислительный алгоритм построен на основе схемы расщепления по физическим процессам. Каждый шаг интегрирования по времени разбивается на следующие блоки: решение уравнений химической кинетики, решение уравнения для интенсивности излучения, решение уравнений конвекции – диффузии, расчет динамической составляющей давления и расчет коррекции вектора скорости. Решение жесткой системы уравнений химической кинетики проводится с помощью специализированной явной схемы второго порядка точности или подключаемым модулем RADAU5. Для нахождения конвективных членов в уравнениях применяются численные потоки Русанова и WENO-схема повышенного порядка аппроксимации. На основе полученного алгоритма разработан код с использованием технологии параллельных вычислений MPI. Созданный код использован для расчетов пиролиза этана с радикальными реакциями. Детально изучается формирование сверхравновесных концентраций радикалов по объему реактора. Проведено численное моделирование течения реакционного газа в плоской трубе с подводом лазерного излучения, востребованное для интерпретации экспериментальных результатов. Показано, что лазерное излучение увеличивает в разы конверсию этана и выходы целевых продуктов на коротких длинах ближе к входу в реакционную зону. Сокращение эффективной длины реакционной зоны позволяет предложить новые решения при проектировании реакторов конверсии этана в ценные углеводороды. Разработанные алгоритм и программа найдут свое применение в создании новых технологий лазерной термохимии.

The article presented the computational algorithm developed to study chemical processes in the internal flows of a multicomponent gas under the influence of laser radiation. The mathematical model is the gas dynamics’ equations with chemical reactions at low Mach numbers. It takes into account dissipative terms that describe the dynamics of a viscous heat-conducting medium with diffusion, chemical reactions and energy supply by laser radiation. This mathematical model is characterized by the presence of several very different time and spatial scales. The computational algorithm is based on a splitting scheme by physical processes. Each time integration step is divided into the following blocks: solving the equations of chemical kinetics, solving the equation for the radiation intensity, solving the convection-diffusion equations, calculating the dynamic component of pressure and calculating the correction of the velocity vector. The solution of a stiff system of chemical kinetics equations is carried out using a specialized explicit second-order accuracy scheme or a plug-in RADAU5 module. Numerical Rusanov flows and a WENO scheme of an increased order of approximation are used to find convective terms in the equations. The code based on the obtained algorithm has been developed using MPI parallel computing technology. The developed code is used to calculate the pyrolysis of ethane with radical reactions. The superequilibrium concentrations’ formation of radicals in the reactor volume is studied in detail. Numerical simulation of the reaction gas flow in a flat tube with laser radiation supply is carried out, which is in demand for the interpretation of experimental results. It is shown that laser radiation significantly increases the conversion of ethane and yields of target products at short lengths closer to the entrance to the reaction zone. Reducing the effective length of the reaction zone allows us to offer new solutions in the design of ethane conversion reactors into valuable hydrocarbons. The developed algorithm and program will find their application in the creation of new technologies of laser thermochemistry.

Разработан метод и комплекс программ для численного моделирования процесса формирования поляронных состояний в конденсированных средах. Проведено численное исследование этого процесса для водной среды при воздействии лазерного облучения в ультрафиолетовом диапазоне. Показано, что в рамках предложенного подхода удается численно воспроизвести экспериментальные данные по формированию гидратированных электронов. Представлена схема численного решения системы нелинейных дифференциальных уравнений в частных производных, описывающих динамическую модельпо лярона. Программная реализация выполнена с использованием технологии параллельного программирования MPI. Обсуждаются численные результаты в сравнении с экспериментальными данными и теоретическими оценками.

A method and a complex of computer programs are developed for the numerical simulation of the polaron states excitation process in condensed media. A numerical study of the polaron states formation in water under the action of the ultraviolet range laser irradiation is carried out. Our approach allows to reproduce the experimental data of the hydrated electrons formation. A numerical scheme is presented for the solution of the respective system of nonlinear partial differential equations. Parallel implementation is based on the MPI technique. The numerical results are given in comparison with the experimental data and theoretical estimations.

Целью данной работы является создание достаточно универсальной вычислительной программы (решателя) кинетического уравнения Больцмана для моделирования течений разреженного газа в устройствах сложной формы. Подробно описывается структура решателя, а его эффективность демонстрируется на примере расчета современной конструкции многотрубочного насоса Кнудсена. Решение уравнения Больцмана выполняется на фиксированных пространственной и скоростной сетках с помощью метода расщепления по физическим процессам. Дифференциальный оператор переноса аппроксимируется методом конечных разностей. Вычисление интеграла столкновений производится на основе консервативного проекционного метода.

Пространственная неструктурированная сетка строится с помощью внешнего генератора сеток и может включать в себя призмы, тетраэдры, гексаэдры и пирамиды. Сетка сгущается в областях течения с наибольшими градиентами рассчитываемых величин. Трехмерная скоростная сетка состоит из кубических ячеек равного объема.

Большой объем вычислений требует эффективного распараллеливания алгоритма, что реализовано на основе методики Message Passing Interface (MPI). Передача информации от одного узла MPI к другому осуществляется как разновидность граничного условия — таким образом, каждый MPI узел может хранить только ту часть сетки, которая имеет отношение конкретно к нему.

В результате получен график разности давлений в двух резервуарах, соединенных многотрубочным насосом Кнудсена в зависимости от числа Кнудсена, т. е. получена численными методами характеристика, ответственная за качество работы термомолекулярного микронасоса. Также показаны распределения давления, температуры и концентрации газа в установившемся состоянии внутри резервуаров и самого микронасоса.

Корректность работы солвера проверяется на тестах с распределением температуры газа между двух нагретых до разной температуры пластинок, а также в тесте с сохранением общей массы газа.

Корректность полученных данных для многотрубочного насоса Кнудсена проверяется на более точных скоростной и пространственной сетках, а также при использовании большего количества столкновений в интеграле столкновений за шаг.

The purpose of this work is to develop a universal computer program (solver) which solves kinetic Boltzmann equation for simulations of rarefied gas flows in complexly shaped devices. The structure of the solver is described in details. Its efficiency is demonstrated on an example of calculations of a modern many tubes Knudsen pump. The kinetic Boltzmann equation is solved by finite-difference method on discrete grid in spatial and velocity spaces. The differential advection operator is approximated by finite difference method. The calculation of the collision integral is based on the conservative projection method.

In the developed computational program the unstructured spatial mesh is generated using GMSH and may include prisms, tetrahedrons, hexahedrons and pyramids. The mesh is denser in areas of flow with large gradients of gas parameters. A three-dimensional velocity grid consists of cubic cells of equal volume.

A huge amount of calculations requires effective parallelization of the algorithm which is implemented in the program with the use of Message Passing Interface (MPI) technology. An information transfer from one node to another is implemented as a kind of boundary condition. As a result, every MPI node contains the information about only its part of the grid.

The main result of the work is presented in the graph of pressure difference in 2 reservoirs connected by a multitube Knudsen pump from Knudsen number. This characteristic of the Knudsen pump obtained by numerical methods shows the quality of the pump. Distributions of pressure, temperature and gas concentration in a steady state inside the pump and the reservoirs are presented as well.

The correctness of the solver is checked using two special test solutions of more simple boundary problems — test with temperature distribution between 2 planes with different temperatures and test with conservation of total gas mass.

The correctness of the obtained data for multitube Knudsen pump is checked using denser spatial and velocity grids, using more collisions in collision integral per time step.

Данная работа является анализом результатов, полученных участниками летней школы по высокопроизводительным вычислениям МФТИ-2010 во время практикума по технологии MPI. В качестве проекта была предложена трехмерная версия игры Конвея «Жизнь». Разобраны основные способы решения, используемые участниками при разработке, приведена их теоретическая и практическая оценка по масштабируемости.

Results obtained during practical training session on MPI during high perfomance computing summer school MIPT-2010 are discussed. MPI technology were one of technologies proposed to participants for realization of project. 3D version of Conway’s Game of Life was proposed as a project. Algorithms used in the development, theoretical and practical assessment of their scalability is analyzed.

В работе рассматривается применение технологии Message Passing Interface (MPI) для распараллеливания программного алгоритма, основанного на сеточно-характеристическом методе, применительно к численному решению уравнения линейной теории упругости. Данный алгоритм позволяет численно моделировать распространение динамических волновых возмущений в твердых деформируемых телах. К такого рода задачам относится решение прямой задачи распространения сейсмических волн, что представляет интерес в сейсмике и геофизике. Во снове решателя лежит сеточно-характеристический метод. В работе предложен способ уменьшения времени взаимодействия между процессами MPI в течение расчета. Это необходимо для того, чтобы можно было производить моделирование в сложных постановках, при этом сохраняя высокую эффективность параллелизма даже при большом количестве процессов. Решение проблемы эффективного взаимодействия представляет большой интерес, когда в расчете используется несколько расчетных сеток с произвольной геометрией контактов между ними. Сложность данной задачи возрастает, если допускается независимое распределение узлов расчетных сеток между процессами. В работе сформулирован обобщенный подход для обработки контактных условий в терминах переинтерполяции узлов из заданного участка одной сетки в определенную область второй сетки. Предложен эффективный способ распараллеливания и установления эффективных межпроцессорных коммуникаций. Приведены результаты работы реализованного программного кода: получены волновые поля и сейсмограммы как для 2D-, так и для 3D-постановок. Показано, что данный алгоритм может быть реализован в том числе на криволинейных расчетных сетках. Рассмотренные постановки демонстрируют возможность проведения расчета с учетом топографии среды и криволинейных контактов между слоями. Это позволяет получать более точные результаты, чем при расчете только с использованием декартовых сеток. Полученная эффективность распараллеливания — практически 100% вплоть до 4096 процессов (за основу отсчета взята версия, запущенная на 128 процессах). Дале наблюдается ожидаемое постепенное снижение эффективности. Скорость спада не велика, на 16384 процессах удается сохранить 80%-ную эффективность.

We consider an application of the Message Passing Interface (MPI) technology for parallelization of the program code which solves equation of the linear elasticity theory. The solution of this equation describes the propagation of elastic waves in demormable rigid bodies. The solution of such direct problem of seismic wave propagation is of interest in seismics and geophysics. Our implementation of solver uses grid-characteristic method to make simulations. We consider technique to reduce time of communication between MPI processes during the simulation. This is important when it is necessary to conduct modeling in complex problem formulations, and still maintain the high level of parallelism effectiveness, even when thousands of processes are used. A solution of the problem of effective communication is extremely important when several computational grids with arbirtrary geometry of contacts between them are used in the calculation. The complexity of this task increases if an independent distribution of the grid nodes between processes is allowed. In this paper, a generalized approach is developed for processing contact conditions in terms of nodes reinterpolation from a given section of one grid to a certain area of the second grid. An efficient way of parallelization and establishing effective interprocess communications is proposed. For provided example problems we provide wave fileds and seismograms for both 2D and 3D formulations. It is shown that the algorithm can be realized both on Cartesian and on structured (curvilinear) computational grids. The considered statements demonstrate the possibility of carrying out calculations taking into account the surface topographies and curvilinear geometry of curvilinear contacts between the geological layers. Application of curvilinear grids allows to obtain more accurate results than when calculating only using Cartesian grids. The resulting parallelization efficiency is almost 100% up to 4096 processes (we used 128 processes as a basis to find efficiency). With number of processes larger than 4096, an expected gradual decrease in efficiency is observed. The rate of decline is not great, so at 16384 processes the parallelization efficiency remains at 80%.

В Лаборатории информационных технологий (ЛИТ) Объединенного института ядерных исследований (ОИЯИ) планируется создание облачного центра параллельных вычислений, что позволит существенно повысить эффективность выполнения численных расчетов и ускорить получение новых физически значимых результатов за счет более рационального использования вычислительных ресурсов. Для оптимизации схемы параллельных вычислений в облачной среде эту схему необходимо протестировать при различных сочетаниях параметров оборудования (количества и частоты процессоров, уровней распараллеливания, пропускной способности коммуникационной сети и ее латентности). В качестве тестовой была выбрана весьма актуальная задача параллельных вычислений длинных джозефсоновских переходов (ДДП) с использованием технологии MPI. Проблемы оценки влияния вышеуказанных факторов вычислительной среды на скорость параллельных вычислений тестовой задачи было предложено решать методом имитационного моделирования, с использованием разработанной в ЛИТ моделирующей программы SyMSim.

Работы, выполненные по имитационному моделированию расчетов ДДП в облачной среде с учетом межпроцессорных соединений, позволяют пользователям без проведения серии тестовых запусков в реальной компьютерной обстановке подобрать оптимальное количество процессоров при известном типе сети, характеризуемой пропускной способностью и латентностью. Это может существенно сэкономить вычислительное время на счетных ресурсах, высвободив его для решения реальных задач. Основные параметры модели были получены по результатам вычислительного эксперимента, проведенного на специальном облачном полигоне для MPI-задач из 10 виртуальных машин, взаимодействующих между собой через Ethernet-сеть с пропускной способностью 10 Гбит/с. Вычислительные эксперименты показали, что чистое время вычислений спадает обратно пропорционально числу процессоров, но существенно зависит от пропускной способности сети. Сравнение результатов, полученных эмпирическим путем, с результатами имитационного моделирования показало, что имитационная модель корректно моделирует параллельные расчеты, выполненные с использованием технологии MPI, и подтвердило нашу рекомендацию, что для быстрого счета задач такого класса надо одновременно с увеличением числа процессоров увеличивать пропускную способность сети. По результатам моделирования удалось вывести эмпирическую аналитическую формулу, выражающую зависимость времени расчета от числа процессоров при фиксированной конфигурации системы. Полученная формула может применяться и для других подобных исследований, но требует дополнительных тестов по определению значений переменных.

А new cloud center of parallel computing is to be created in the Laboratory of Information Technologies (LIT) of the Joint Institute for Nuclear Research JINR) what is expected to improve significantly the efficiency of numerical calculations and expedite the receipt of new physically meaningful results due to the more rational use of computing resources. To optimize a scheme of parallel computations at a cloud environment it is necessary to test this scheme for various combinations of equipment parameters (processor speed and numbers, throughput оf а communication network etc). As a test problem, the parallel MPI algorithm for calculations of the long Josephson junctions (LDJ) is chosen. Problems of evaluating the impact of abovementioned factors of computing mean on the computing speed of the test problem are solved by simulation with the simulation program SyMSim developed in LIT.

The simulation of the LDJ calculations in the cloud environment enable users without a series of test to find the optimal number of CPUs with a certain type of network run the calculations in a real computer environment. This can save significant computational time in countable resources. The main parameters of the model were obtained from the results of the computational experiment conducted on a special cloud-based testbed. Computational experiments showed that the pure computation time decreases in inverse proportion to the number of processors, but depends significantly on network bandwidth. Comparison of results obtained empirically with the results of simulation showed that the simulation model correctly simulates the parallel calculations performed using the MPI-technology. Besides it confirms our recommendation: for fast calculations of this type it is needed to increase both, — the number of CPUs and the network throughput at the same time. The simulation results allow also to invent an empirical analytical formula expressing the dependence of calculation time by the number of processors for a fixed system configuration. The obtained formula can be applied to other similar studies, but requires additional tests to determine the values of variables.