Все выпуски

Гибридный кластер подразумевает использование вычислительных ресурсов с различными архитектурами. Как правило, в таких системах используется CPU распространенной архитектуры (например, x86_64) и GPU (например, NVIDIA CUDA). Создание и эксплуатация подобного кластера требует определенного опыта: для того чтобы задействовать все вычислительные мощности такой системы и получить существенное ускорение на задачах, требуется учесть множество факторов. К таким факторам относятся как характеристики оборудования (например, особенности сетевой инфраструктуры, хранилища, архитектуры GPU), так и характеристики программного обеспечения (например, реализация MPI, библиотеки для работы с GPU). Таким образом для эффективных научных расчетов на подобных системах требуется помнить о характеристиках ускорителя (GPU), особенностях программного обеспечения, характеристиках задачи и о многих других факторах.

В этой статье анализируются достоинства и недостатки гибридных вычислений. Будут приведены результаты запуска некоторых тестов и научных приложений, использующих GPGPU. Основное внимание уделено программных продуктах с открытым исходным кодом, которые поддерживают работу с GPGPU.

Существует несколько подходов для организации гетерогенных вычислений. В данной статье мы рассмотрим приложения, использующие CUDA и OpenCL. CUDA довольно часто используется в подобных гибридных системах, в то время как переносимость OpenCL-приложений может сыграть решающую роль при выборе средства для разработки. Мы также уделим внимание системам с несколькими GPU, которые все чаще используются в рамках подобных кластеров. Вычисления проводились на гибридном кластере ресурсного центра «Вычислительный центр СПбГУ».

A hybrid cluster implies the use of computational devices with radically different architectures. Usually, these are conventional CPU architecture (e.g. x86_64) and GPU architecture (e. g. NVIDIA CUDA). Creating and exploiting such a cluster requires some experience: in order to harness all computational power of the described system and get substantial speedup for computational tasks many factors should be taken into account. These factors consist of hardware characteristics (e.g. network infrastructure, a type of data storage, GPU architecture) as well as software stack (e.g. MPI implementation, GPGPU libraries). So, in order to run scientific applications GPU capabilities, software features, task size and other factors should be considered.

This report discusses opportunities and problems of hybrid computations. Some statistics from tests programs and applications runs will be demonstrated. The main focus of interest is open source applications (e. g. OpenFOAM) that support GPGPU (with some parts rewritten to use GPGPU directly or by replacing libraries).

There are several approaches to organize heterogeneous computations for different GPU architectures out of which CUDA library and OpenCL framework are compared. CUDA library is becoming quite typical for hybrid systems with NVIDIA cards, but OpenCL offers portability opportunities which can be a determinant factor when choosing framework for development. We also put emphasis on multi-GPU systems that are often used to build hybrid clusters. Calculations were performed on a hybrid cluster of SPbU computing center.

Одна из трудностей разработки газоконденсатных месторождений обусловлена тем, что часть углеводородов газоносного слоя присутствует в немв виде конденсата, который застревает в порах пласта и извлечению не подлежит. В этой связи активно ведутся исследования, направленные на повышение извлекаемости углеводородов в подобных месторождениях. В том числе значительное количество публикаций посвящено развитию методов математического моделирования прохождения многокомпонентных газоконденсатных смесей через пористую среду в различных условиях.

В настоящей работе в рамках классического подхода, основанного на законе Дарси и законе неразрывности потоков, сформулирована математическая постановка начально-граничной задачи для системы нелинейных дифференциальных уравнений, описывающая прохождение многокомпонентной газоконденсатной смеси через пористую среду в режиме истощения. Разработанная обобщенная вычислительная схема на основе конечно-разностной аппроксимации и метода Рунге – Кутты четвертого порядка может использоваться для расчетов как в пространственно одномерном случае, соответствующемусловиям лабораторного эксперимента, так и в двумерном случае, когда речь идет о моделировании плоского газоносного пласта с круговой симметрией.

Численное решение упомянутой системы уравнений реализовано на основе комбинированного использования C++ и Maple с применением технологии параллельного программирования MPI для ускорения вычислений. Расчеты выполнены на кластере HybriLIT Многофункционального информационно-вычислительного комплекса Лаборатории информационных технологий Объединенного института ядерных исследований.

Численные результаты сопоставлены с данными о динамике выхода девятикомпонентной углеводородной смеси в зависимости от давления, полученными на лабораторной установке (ВНИИГАЗ, Ухта). Расчеты проводились для двух типов пористого наполнителя в лабораторной модели пласта: терригенного (при 25 ^◦С) и карбонатного (при 60 ^◦С). Показано, что используемый подход обеспечивает согласие полученных численных результатов с экспериментальными данными. Путем подгонки к экспериментальным данным по истощению лабораторной модели пласта получены значения параметров, определяющих коэффициент межфазного перехода для моделируемой системы. С использованием тех же параметров было проведено компьютерное моделирование истощения тонкого газоносного слоя в приближении круговой симметрии.

One of problems in developing the gas condensate fields lies on the fact that the condensed hydrocarbons in the gas-bearing layer can get stuck in the pores of the formation and hence cannot be extracted. In this regard, research is underway to increase the recoverability of hydrocarbons in such fields. This research includes a wide range of studies on mathematical simulations of the passage of gas condensate mixtures through a porous medium under various conditions.

In the present work, within the classical approach based on the Darcy law and the law of continuity of flows, we formulate an initial-boundary value problem for a system of nonlinear differential equations that describes a depletion of a multicomponent gas-condensate mixture in porous reservoir. A computational scheme is developed on the basis of the finite-difference approximation and the fourth order Runge .Kutta method. The scheme can be used for simulations both in the spatially one-dimensional case, corresponding to the conditions of the laboratory experiment, and in the two-dimensional case, when it comes to modeling a flat gas-bearing formation with circular symmetry.

The computer implementation is based on the combination of C++ and Maple tools, using the MPI parallel programming technique to speed up the calculations. The calculations were performed on the HybriLIT cluster of the Multifunctional Information and Computing Complex of the Laboratory of Information Technologies of the Joint Institute for Nuclear Research.

Numerical results are compared with the experimental data on the pressure dependence of output of a ninecomponent hydrocarbon mixture obtained at a laboratory facility (VNIIGAZ, Ukhta). The calculations were performed for two types of porous filler in the laboratory model of the formation: terrigenous filler at 25 .„R and carbonate one at 60 .„R. It is shown that the approach developed ensures an agreement of the numerical results with experimental data. By fitting of numerical results to experimental data on the depletion of the laboratory reservoir, we obtained the values of the parameters that determine the inter-phase transition coefficient for the simulated system. Using the same parameters, a computer simulation of the depletion of a thin gas-bearing layer in the circular symmetry approximation was carried out.

Данная работа нацелена на программистов и разработчики, заинтересованных в использовании технологии параллельного программирования для увеличения производительности приложений. Программное обеспечение Oracle Solaris Studio обеспечивает современную оптимизацию и распараллеливание компиляторов для языков C, C ++ и ФОРТРАН, продвинутый отладчик, и оптимизированные математи- ческие и быстродействующие библиотеки. Также включены чрезвычайно мощный инструмент анализа производительности для профилирования последовательных и параллельных приложений, инструмент анализа для обнаружения состязания при передаче данных и блокировки в памяти параллельных программ и IDE. Программное обеспечение Oracle Message Passing Toolkit обеспечивает высокопроизводительные MPI библиотеки и сопряжённую среду во время работы программы, необходимую для приложений передачи сообщений, которые могут работать на одной системе или по всему множеству вычислительных систем с высокопроизводительным сетевым оснащением, включая Gigabit Ethernet, 10 Gigabit Ethernet, InfiniBand и Myrinet. Примеры OpenMP и MPI представлены по всему тексту работы, включая их использование через программные продукты Oracle Solaris Studio и Oracle Message Passing Toolkit для развития и развертывания последовательных и параллельных приложений на основе систем SPARC и x86/x64. В работе продемонстрировано, как развивать и развертывать приложение, распараллеленное с OpenMP и/или MPI.

This paper targets programmers and developers interested in utilizing parallel programming techniques to enhance application performance. The Oracle Solaris Studio software provides state-of-the-art optimizing and parallelizing compilers for C, C++ and Fortran, an advanced debugger, and optimized mathematical and performance libraries. Also included are an extremely powerful performance analysis tool for profiling serial and parallel applications, a thread analysis tool to detect data races and deadlock in memory parallel programs, and an Integrated Development Environment (IDE). The Oracle Message Passing Toolkit software provides the high-performance MPI libraries and associated run-time environment needed for message passing applications that can run on a single system or across multiple compute systems connected with high performance networking, including Gigabit Ethernet, 10 Gigabit Ethernet, InfiniBand and Myrinet. Examples of OpenMP and MPI are provided throughout the paper, including their usage via the Oracle Solaris Studio and Oracle Message Passing Toolkit products for development and deployment of both serial and parallel applications on SPARC and x86/x64 based systems. Throughout this paper it is demonstrated how to develop and deploy an application parallelized with OpenMP and/or MPI.

В статье дается детальное описание численной методики моделирования турбулентного обтекания вращающихся винтов вертолета и расчета аэродинамических характеристик винта. В качестве базовой математической модели используется система осредненных по Рейнольдсу уравнений Навье – Стокса для вязкого сжимаемого газа, замкнутая моделью турбулентности Спаларта – Аллмараса. Итоговая модель формулируется в неинерциальной вращающейся системе координат, связанной с винтом. Для задания граничных условий на поверхности винта используются пристеночные функции.

Численное решение полученной системы дифференциальных уравнений проводится на гибридных неструктурированных сетках, включающих призматические слои вблизи поверхности обтекаемого тела. Численный метод строится на основе оригинальных вершинно-центрированных конечно-объемных EBR-схем. Особенностью этих схем является их повышенная точность, которая достигается за счет использования реберно-ориентированной реконструкции переменных на расширенных квазиодномерных шаблонах, и умеренная вычислительная стоимость, позволяющая проводить серийные расчеты. Для приближенного решения задачи о распаде разрыва используются методы Роу и Лакса – Фридрихса. Метод Роу корректируется в случае низкоскоростных течений. При моделировании разрывов или решений с большими градиентами используется квазиодномерная WENO-схема или локальное переключение на квазиодномерную TVD-реконструкцию. Интегрирование по времени проводится по неявной трехслойной схеме второго порядка аппроксимации с линеаризацией по Ньютону системы разностных уравнений. Для решения системы линейных уравнений используется стабилизированный метод сопряженных градиентов.

Численная методика реализована в составе исследовательского программного комплекса NOISEtte согласно двухуровневой MPI–OpenMP-модели, позволяющей с высокой эффективностью проводить расчеты на сетках, состоящих из сотен миллионов узлов, при одновременном задействовании сотен тысячп роцессорных ядер современных суперкомпьютеров.

На основе результатов численного моделирования вычисляются аэродинамические характеристики винта вертолета, а именно сила тяги, крутящий момент и их безразмерные коэффициенты.

Валидация разработанной методики проводится путем моделирования турбулентного обтекания двухлопастного винта Caradonna – Tung и четырехлопастного модельного винта КНИТУ-КАИ на режиме висения, рулевого винта в кольце, а также жесткого несущего винта в косом потоке. численные результаты сравниваются с имеющими экспериментальными данными.

The paper gives a detailed description of the developed methods for simulating the turbulent flow around a helicopter rotor and calculating its aerodynamic characteristics. The system of Reynolds-averaged Navier – Stokes equations for a viscous compressible gas closed by the Spalart –Allmaras turbulence model is used as the basic mathematical model. The model is formulated in a non-inertial rotating coordinate system associated with a rotor. To set the boundary conditions on the surface of the rotor, wall functions are used.

The numerical solution of the resulting system of differential equations is carried out on mixed-element unstructured grids including prismatic layers near the surface of a streamlined body.The numerical method is based on the original vertex-centered finite-volume EBR schemes. A feature of these schemes is their higher accuracy which is achieved through the use of edge-based reconstruction of variables on extended quasi-onedimensional stencils, and a moderate computational cost which allows for serial computations. The methods of Roe and Lax – Friedrichs are used as approximate Riemann solvers. The Roe method is corrected in the case of low Mach flows. When dealing with discontinuities or solutions with large gradients, a quasi-one-dimensional WENO scheme or local switching to a quasi-one-dimensional TVD-type reconstruction is used. The time integration is carried out according to the implicit three-layer second-order scheme with Newton linearization of the system of difference equations. To solve the system of linear equations, the stabilized conjugate gradient method is used.

The numerical methods are implemented as a part of the in-house code NOISEtte according to the two-level MPI–OpenMP parallel model, which allows high-performance computations on meshes consisting of hundreds of millions of nodes, while involving hundreds of thousands of CPU cores of modern supercomputers.

Based on the results of numerical simulation, the aerodynamic characteristics of the helicopter rotor are calculated, namely, trust, torque and their dimensionless coefficients.

Validation of the developed technique is carried out by simulating the turbulent flow around the Caradonna – Tung two-blade rotor and the KNRTU-KAI four-blade model rotor in hover mode mode, tail rotor in duct, and rigid main rotor in oblique flow. The numerical results are compared with the available experimental data.

Представленная работа посвящена молекулярно-динамическому моделированию процессов термического воздействия на металлический образец, который состоит из атомов никеля. Для решения этой задачи используется континуальная математическая модель, основанная на уравнениях классической механики Ньютона, выбран численный метод, использующий в основе схему Верле, предложен параллельный алго- ритм и осуществлена его реализация в рамках MPIи OpenMP. С помощью разработанной параллельной программы было проведено исследование термодинамического равновесия атомов никеля при условии нагрева образца до желаемой температуры. В численных экспериментах определены оптимальные параметры методики расчета и физические параметры исследуемого процесса. Полученные численные результаты хорошо согласуются с известными теоретическими и экспериментальными данными.

This work is devoted to molecular dynamic modeling of the thermal impact processes on the metal sample consisting of nickel atoms. For the solution of this problem, a continuous mathematical model on the basis of the classical Newton mechanics equations has been used; a numerical method based on the Verlet scheme has been chosen; a parallel algorithm has been offered, and its realization within the MPI and OpenMP technologies has been executed. By means of the developed parallel program, the investigation of thermodynamic equilibrium of nickel atoms’ system under the conditions of heating a sample to desired temperature has been executed. In numerical experiments both optimum parameters of calculation procedure and physical parameters of analyzed process have been defined. The obtained numerical results are well corresponding to known theoretical and experimental data.

В работе вводится в рассмотрение понятие неоднородного клеточного генетического алгоритма, в котором ряд параметров, влияющих на работу генетических операторов, оказывается зависимым от местоположения клеток заданного клеточного пространства. Приводятся результаты численного сравнения неоднородных клеточных генетических алгоритмов со стандартными вариантами генетических алгоритмов, показывающие преимущества предложенного подхода при минимизации мультимодальных функций с большим числом локальных экстремумов. Рассматривается крупноблочная параллельная реализация неоднородных клеточных алгоритмов с использованием технологии MPI.

In this paper, we introduce the concept of non-uniform cellular genetic algorithm, in which a number of parameters that affect the operation of genetic operators is dependent on the location of the cells of a given cellular space. The results of numerical comparison of non-uniform cellular genetic algorithms with the standard genetic algorithms, showing the advantages of the proposed approach while minimizing multimodal functions with a large number of local extrema, are presented. The coarse-grained parallel implementation of the non-uniform algorithms using the technology of MPI is considered.

Курс «Естественные модели параллельных вычислений», читаемый студентам старших курсов факультета ВМК МГУ, посвящен рассмотрению вопросов суперкомпьютерной реализации естественных вычислительных моделей и является, по сути, введением в теорию естественных вычислений (natural computing) относительно нового раздела науки, образовавшегося на стыке математики, информатики и естественных наук (прежде всего биологии). Тематика естественных вычислений включает в себя как классические разделы, например клеточные автоматы, так и относительно новые, появившиеся в последние 10–20 лет, например методы роевого интеллекта. Несмотря на свое биологическое «происхождение», все эти модели находят широчайшее применение в областях, связанных с компьютерной обработкой данных. Исследования в области естественных вычислений также тесно связаны с вопросами и технологиями параллельных вычислений. Изложение теоретического материала курса сопровождается рассмотрением возможных схем распараллеливания вычислений, а в практической части курса предполагается выполнение студентами программной реализации рассматриваемых моделей с использованием технологии MPI и проведение численных экспериментов по исследованию эффективности выбранных схем распараллеливания вычислений.

Course “Natural models of parallel computing”, given for senior students of the Faculty of Computational Mathematics and Cybernetics, Moscow State University, is devoted to the issues of supercomputer implementation of natural computational models and is, in fact, an introduction to the theory of natural computing, a relatively new branch of science, formed at the intersection of mathematics, computer science and natural sciences (especially biology). Topics of the natural computing include both already classic subjects such as cellular automata, and relatively new, introduced in the last 10–20 years, such as swarm intelligence. Despite its biological origin, all these models are widely applied in the fields related to computer data processing. Research in the field of natural computing is closely related to issues and technology of parallel computing. Presentation of theoretical material of the course is accompanied by a consideration of the possible schemes for parallel computing, in the practical part of the course it is supposed to perform by the students a software implementation using MPI technology and numerical experiments to investigate the effectiveness of the chosen schemes of parallel computing.