Все выпуски

Данная работа нацелена на программистов и разработчики, заинтересованных в использовании технологии параллельного программирования для увеличения производительности приложений. Программное обеспечение Oracle Solaris Studio обеспечивает современную оптимизацию и распараллеливание компиляторов для языков C, C ++ и ФОРТРАН, продвинутый отладчик, и оптимизированные математи- ческие и быстродействующие библиотеки. Также включены чрезвычайно мощный инструмент анализа производительности для профилирования последовательных и параллельных приложений, инструмент анализа для обнаружения состязания при передаче данных и блокировки в памяти параллельных программ и IDE. Программное обеспечение Oracle Message Passing Toolkit обеспечивает высокопроизводительные MPI библиотеки и сопряжённую среду во время работы программы, необходимую для приложений передачи сообщений, которые могут работать на одной системе или по всему множеству вычислительных систем с высокопроизводительным сетевым оснащением, включая Gigabit Ethernet, 10 Gigabit Ethernet, InfiniBand и Myrinet. Примеры OpenMP и MPI представлены по всему тексту работы, включая их использование через программные продукты Oracle Solaris Studio и Oracle Message Passing Toolkit для развития и развертывания последовательных и параллельных приложений на основе систем SPARC и x86/x64. В работе продемонстрировано, как развивать и развертывать приложение, распараллеленное с OpenMP и/или MPI.

This paper targets programmers and developers interested in utilizing parallel programming techniques to enhance application performance. The Oracle Solaris Studio software provides state-of-the-art optimizing and parallelizing compilers for C, C++ and Fortran, an advanced debugger, and optimized mathematical and performance libraries. Also included are an extremely powerful performance analysis tool for profiling serial and parallel applications, a thread analysis tool to detect data races and deadlock in memory parallel programs, and an Integrated Development Environment (IDE). The Oracle Message Passing Toolkit software provides the high-performance MPI libraries and associated run-time environment needed for message passing applications that can run on a single system or across multiple compute systems connected with high performance networking, including Gigabit Ethernet, 10 Gigabit Ethernet, InfiniBand and Myrinet. Examples of OpenMP and MPI are provided throughout the paper, including their usage via the Oracle Solaris Studio and Oracle Message Passing Toolkit products for development and deployment of both serial and parallel applications on SPARC and x86/x64 based systems. Throughout this paper it is demonstrated how to develop and deploy an application parallelized with OpenMP and/or MPI.

В статье дается детальное описание численной методики моделирования турбулентного обтекания вращающихся винтов вертолета и расчета аэродинамических характеристик винта. В качестве базовой математической модели используется система осредненных по Рейнольдсу уравнений Навье – Стокса для вязкого сжимаемого газа, замкнутая моделью турбулентности Спаларта – Аллмараса. Итоговая модель формулируется в неинерциальной вращающейся системе координат, связанной с винтом. Для задания граничных условий на поверхности винта используются пристеночные функции.

Численное решение полученной системы дифференциальных уравнений проводится на гибридных неструктурированных сетках, включающих призматические слои вблизи поверхности обтекаемого тела. Численный метод строится на основе оригинальных вершинно-центрированных конечно-объемных EBR-схем. Особенностью этих схем является их повышенная точность, которая достигается за счет использования реберно-ориентированной реконструкции переменных на расширенных квазиодномерных шаблонах, и умеренная вычислительная стоимость, позволяющая проводить серийные расчеты. Для приближенного решения задачи о распаде разрыва используются методы Роу и Лакса – Фридрихса. Метод Роу корректируется в случае низкоскоростных течений. При моделировании разрывов или решений с большими градиентами используется квазиодномерная WENO-схема или локальное переключение на квазиодномерную TVD-реконструкцию. Интегрирование по времени проводится по неявной трехслойной схеме второго порядка аппроксимации с линеаризацией по Ньютону системы разностных уравнений. Для решения системы линейных уравнений используется стабилизированный метод сопряженных градиентов.

Численная методика реализована в составе исследовательского программного комплекса NOISEtte согласно двухуровневой MPI–OpenMP-модели, позволяющей с высокой эффективностью проводить расчеты на сетках, состоящих из сотен миллионов узлов, при одновременном задействовании сотен тысячп роцессорных ядер современных суперкомпьютеров.

На основе результатов численного моделирования вычисляются аэродинамические характеристики винта вертолета, а именно сила тяги, крутящий момент и их безразмерные коэффициенты.

Валидация разработанной методики проводится путем моделирования турбулентного обтекания двухлопастного винта Caradonna – Tung и четырехлопастного модельного винта КНИТУ-КАИ на режиме висения, рулевого винта в кольце, а также жесткого несущего винта в косом потоке. численные результаты сравниваются с имеющими экспериментальными данными.

The paper gives a detailed description of the developed methods for simulating the turbulent flow around a helicopter rotor and calculating its aerodynamic characteristics. The system of Reynolds-averaged Navier – Stokes equations for a viscous compressible gas closed by the Spalart –Allmaras turbulence model is used as the basic mathematical model. The model is formulated in a non-inertial rotating coordinate system associated with a rotor. To set the boundary conditions on the surface of the rotor, wall functions are used.

The numerical solution of the resulting system of differential equations is carried out on mixed-element unstructured grids including prismatic layers near the surface of a streamlined body.The numerical method is based on the original vertex-centered finite-volume EBR schemes. A feature of these schemes is their higher accuracy which is achieved through the use of edge-based reconstruction of variables on extended quasi-onedimensional stencils, and a moderate computational cost which allows for serial computations. The methods of Roe and Lax – Friedrichs are used as approximate Riemann solvers. The Roe method is corrected in the case of low Mach flows. When dealing with discontinuities or solutions with large gradients, a quasi-one-dimensional WENO scheme or local switching to a quasi-one-dimensional TVD-type reconstruction is used. The time integration is carried out according to the implicit three-layer second-order scheme with Newton linearization of the system of difference equations. To solve the system of linear equations, the stabilized conjugate gradient method is used.

The numerical methods are implemented as a part of the in-house code NOISEtte according to the two-level MPI–OpenMP parallel model, which allows high-performance computations on meshes consisting of hundreds of millions of nodes, while involving hundreds of thousands of CPU cores of modern supercomputers.

Based on the results of numerical simulation, the aerodynamic characteristics of the helicopter rotor are calculated, namely, trust, torque and their dimensionless coefficients.

Validation of the developed technique is carried out by simulating the turbulent flow around the Caradonna – Tung two-blade rotor and the KNRTU-KAI four-blade model rotor in hover mode mode, tail rotor in duct, and rigid main rotor in oblique flow. The numerical results are compared with the available experimental data.

В работе описывается численное моделирование процесса внешнего обтекания подвижного спортсмена с целью определения его интегральных характеристик при различных режимах набегающего потока и режимах его движения. Численное моделирование выполнено с помощью программного комплекса вычислительной гидродинамики FlowVision, построенного на решении набора уравнений, описывающих движение жидкости и/или газа в расчетной области, в том числе уравнений сохранения массы, импульса и энергии, уравнений состояния, уравнений моделей турбулентности. Также учитываются подвижные границы расчетной области, изменяющаяся геометрическая форма которых моделирует фазы движения спортсмена, при прохождении трассы. Решение системы уравнений выполняется на декартовой сетке с локальной адаптацией в области высоких градиентов давлений или сложной геометрической формы границы расчетной области. Решение уравнений выполняется с помощью метода конечных объемов, с использованием расщепления по физическим процессам. Разработанная методика была апробирована на примере спортсменов, совершающих прыжки на лыжах с трамплина, в рамках подготовки к Олимпиаде в Сочи в 2014 году. Сравнение результатов численного и натурного эксперимента показало хорошую корреляцию. Технология моделирования состоит из следующих этапов:

1) разработка постановки задачи внешнего обтекания спортсмена в обращенной постановке, где неподвижный объект исследования обтекается набегающим потоком, со скоростью, равной скорости движения объекта;

2) разработка технологии изменения геометрической формы границы расчетной области в зависимости от фазы движения спортсмена; разработка методики численного моделирования, включающей в себя определение дискретизации по времени и пространству за счет выбора шага интегрирования и измельчения объемной расчетной сетки;

3) проведение серии расчетов с использованием геометрических и динамических данных спортсмена из сборной команды.

Описанная методика универсальна и применима для любых других видов спорта, биомеханических, природных и подобных им технических объектов.

Numerical simulation of moving sportsman external flow is presented. The unique method is developed for obtaining integral aerodynamic characteristics, which were the function of the flow regime (i.e. angle of attack, flow speed) and body position. Individual anthropometric characteristics and moving boundaries of sportsman (or sports equipment) during the race are taken into consideration.

Numerical simulation is realized using FlowVision CFD. The software is based on the finite volume method, high-performance numerical methods and reliable mathematical models of physical processes. A Cartesian computational grid is used by FlowVision, the grid generation is a completely automated process. Local grid adaptation is used for solving high-pressure gradient and object complex shape. Flow simulation process performed by solutions systems of equations describing movement of fluid and/or gas in the computational domain, including: mass, moment and energy conservation equations; state equations; turbulence model equations. FlowVision permits flow simulation near moving bodies by means of computational domain transformation according to the athlete shape changes in the motion. Ski jumper aerodynamic characteristics are studied during all phases: take-off performance in motion, in-run and flight. Projected investigation defined simulation method, which includes: inverted statement of sportsman external flow development (velocity of the motion is equal to air flow velocity, object is immobile); changes boundary of the body technology defining; multiple calculations with the national team member data projecting. The research results are identification of the main factors affected to jumping performance: aerodynamic forces, rotating moments etc. Developed method was tested with active sportsmen. Ski jumpers used this method during preparations for Sochi Olympic Games 2014. A comparison of the predicted characteristics and experimental data shows a good agreement. Method versatility is underlined by performing swimmer and skater flow simulation. Designed technology is applicable for sorts of natural and technical objects.

Современные масштабные научные проекты становятся все более информационно ёмкими, и обработка хранимых данных в режиме offline является невозможной. Требуется высокая пропускная способность при вычислениях или Вычисления Потока Данных, чтобы иметь возможность обрабатывать терабайты данных в секунду; такие данные не могут быть элементами длительного хранения. Общепринятые дата-центры, основанные на стандартном аппаратном обеспечении, являются дорогими и настроены на вычислительную мощность. Общая пропускная способность может быть увеличена с помощью массивного параллелизма, чаще всего за счет повышенной вычислительной мощности и потребления энергии. Система ARM на основе ИС (SoC) может решить проблему системы ввода/вывода и соотношение CPU, доступность и эффективность использования энергии, так как ARM SoC являются элементами массового производства и разработаны на основе эффективного использования энергии в мобильных устройствах. На данный момент такой элемент обработки находится в разработке и нацелен на пропускную способность ввода/вывода в 20 Гб/c и значительную вычислительную мощность. Рассмотрены возможности ввода/вывода потребления системы ARM на основе ИС вместе с вычислением производительности и тестами на пропускную способность ввода/вывода.

Modern big science projects are becoming highly data intensive to the point where offline processing of stored data is infeasible. High data throughput computing, or Data Stream Computing, for future projects is required to deal with terabytes of data per second which cannot be stored in long-term storage elements. Conventional data-centres based on typical server-grade hardware are expensive and are biased towards processing power. The overall I/O bandwidth can be increased with massive parallelism, usually at the expense of excessive processing power and high energy consumption. An ARM System on Chip (SoC) based processing unit may address the issue of system I/O and CPU balance, affordability and energy efficiency since ARM SoCs are mass produced and designed to be energy efficient for use in mobile devices. Such a processing unit is currently in development, with a design goal of 20 Gb/s I/O throughput and significant processing power. The I/O capabilities of consumer ARM System on Chips are discussed along with to-date performance and I/O throughput tests.

Рассматривается возможность численного 3D-моделирования образования тромбов.

Известные детальные математические модели формирования тромбов включают в себя большое число уравнений. Для совмещения таких подробных математических моделей с гидродинамическими кодами для моделирования роста тромбов в кровотоке необходимы значительные вычислительные ресурсы. Разумной альтернативой представляется использование редуцированных математических моделей. В настоящей работе описаны две математические модели, основанные на редуцированной математической модели производства тромбина.

Первая модель описывает рост тромбоцитарного тромба в крупном сосуде (артерии). Течения в артериях существенно нестационарные, для артерий характерны пульсовые волны. Скорость течения крови в них велика по сравнению с венозным деревом. Редуцированная модель производства тромбина и тромбообразования в артериях относительно проста. Показано, что процессы производства тромбина хорошо описываются приближением нулевого порядка.

Для вен характерны более низкие скорости, меньшие градиенты и, как следствие, меньшие значения напряжений сдвига. Для моделирования производства тромбина в венах необходимо решать более сложную систему уравнений, учитывающую все нелинейные слагаемые в правых частях.

Моделирование проводится в индустриальном программном комплексе (ПК) FlowVision.

Проведенные тестовые расчеты показали адекватность редуцированных моделей производства тромбина и тромбообразования. В частности, расчеты демонстрируют формирование зоны возвратного течения за тромбом. За счет формирования такой зоны происходит медленный рост тромба в направлении вниз по потоку. В наветренной части тромба концентрация активных тромбоцитов мала, соответственно, рост тромба в направлении вверх по потоку незначителен.

При учете изменения течения в процессе сердечного цикла рост тромба происходит гораздо медленнее, чем при задании осредненных (по сердечному циклу) условий. Тромбин и активированные тромбоциты, наработанные во время диастолы, быстро уносятся потоком крови во время систолы. Заметный эффект оказывает учет неньютоновской реологии крови.

The possibility of numerical 3D simulation of thrombi formation is considered.

The developed up to now detailed mathematical models describing formation of thrombi and clots include a great number of equations. Being implemented in a CFD code, the detailed mathematical models require essential computer resources for simulation of the thrombi growth in a blood flow. A reasonable alternative way is using reduced mathematical models. Two models based on the reduced mathematical model for the thrombin generation are described in the given paper.

The first model describes growth of a thrombus in a great vessel (artery). The artery flows are essentially unsteady. They are characterized by pulse waves. The blood velocity here is high compared to that in the vein tree. The reduced model for the thrombin generation and the thrombus growth in an artery is relatively simple. The processes accompanying the thrombin generation in arteries are well described by the zero-order approximation.

A vein flow is characterized lower velocity value, lower gradients, and lower shear stresses. In order to simulate the thrombin generation in veins, a more complex system of equations has to be solved. The model must allow for all the non-linear terms in the right-hand sides of the equations.

The simulation is carried out in the industrial software FlowVision.

The performed numerical investigations have shown the suitability of the reduced models for simulation of thrombin generation and thrombus growth. The calculations demonstrate formation of the recirculation zone behind a thrombus. The concentration of thrombin and the mass fraction of activated platelets are maximum here. Formation of such a zone causes slow growth of the thrombus downstream. At the upwind part of the thrombus, the concentration of activated platelets is low, and the upstream thrombus growth is negligible.

When the blood flow variation during a hart cycle is taken into account, the thrombus growth proceeds substantially slower compared to the results obtained under the assumption of constant (averaged over a hard cycle) conditions. Thrombin and activated platelets produced during diastole are quickly carried away by the blood flow during systole. Account of non-Newtonian rheology of blood noticeably affects the results.

Виртуальные машины обычно ассоциируются с возможностью создавать их по требованию для предоставления клиентам разнородных веб-сервисов, однако, автоматическое создание виртуальных машин для запуска на них вычислений общего назначения на практике широко не используется. Такой сценарий использования виртуализации полезен в среде высокопроизводительных вычислений, где большинство ресурсов не потребляется разнородными сервисами, а используется для пакетной обработки данных. В этом случае для запуска каждого приложения создается отдельный кластер виртуальных машин, а запись выходных данных производится на сетевое хранилище. После того как приложение завершает свое выполнение, кластер уничтожается, высвобождая занятые вычислительные ресурсы. После определенных изменений данный подход может быть использован для предоставления виртуального рабочего стола в интерактивном режиме. Эксперименты показывают, что процесс создания виртуальных кластеров по требованию может быть эффективно реализован в обоих случаях.

Virtual machines are usually associated with an ability to create them on demand by calling web services, then these machines are used to deliver resident services to their clients; however, providing clients with an ability to run an arbitrary programme on the newly created machines is beyond their power. Such kind of usage is useful in a high performance computing environment where most of the resources are consumed by batch programmes and not by daemons or services. In this case a cluster of virtual machines is created on demand to run a distributed or parallel programme and to save its output to a network attached storage. Upon completion this cluster is destroyed and resources are released. With certain modifications this approach can be extended to interactively deliver computational resources to the user thus providing virtual desktop as a service. Experiments show that the process of creating virtual clusters on demand can be made efficient in both cases.

Ламинарно-турбулентный переход является предметом активных исследований, связанных с повышением экономической эффективности авиатранспорта, так как в турбулентном пограничном слое увеличивается сопротивление, что ведет к росту расхода топлива. Одним из направлений таких исследований является поиск эффективных методов нахождения положения перехода в пространстве. Используя эту информацию при проектировании летательного аппарата, инженеры могут прогнозировать его технические характеристики и рентабельность уже на начальных этапах проекта. Традиционным для индустрии подходом к решению задачи поиска координат ламинарно-турбулентного перехода является $e^N$-метод. Однако, несмотря на повсеместное применение, он обладает рядом существенных недостатков, так как основан на предположении о параллельности моделируемого потока, что ограничивает сценарии его применения, а также требует проводить вычислительно затратные расчеты в широком диапазоне частот и волновых чисел. Альтернативой $e^N$-методу может служить применение метода Dynamic Mode Decomposition, который позволяет провести анализ возмущений потока, напрямую используя данные о нем. Это избавляет от необходимости в проведении затратных вычислений, а также расширяет область применения метода ввиду отсутствия в его построении предположений о параллельности потока.

В представленном исследовании предлагается подход к нахождению положения ламинарно-турбулентного перехода с применением метода Dynamic Mode Decomposition, заключающийся в разбиении региона пограничного слоя на множества подобластей, по каждому из которых независимо вычисляется точка перехода, после чего результаты усредняются. Подход валидируется на случаях дозвукового и сверхзвукового обтекания двумерной пластины с нулевым градиентом давления. Результаты демонстрируют принципиальную применимость и высокую точность описываемого метода в широком диапазоне условий. Проводится сравнение с $e^N$-методом, доказывающее преимущества предлагаемого подхода, выражающиеся в более быстром получении результата при сопоставимой с $e^N$-методом точности получаемого решения, что говорит о перспективности использования описываемого подхода в прикладных задачах.

Laminar-turbulent transition is the subject of an active research related to improvement of economic efficiency of air vehicles, because in the turbulent boundary layer drag increases, which leads to higher fuel consumption. One of the directions of such research is the search for efficient methods, that can be used to find the position of the transition in space. Using this information about laminar-turbulent transition location when designing an aircraft, engineers can predict its performance and profitability at the initial stages of the project. Traditionally, $e^N$ method is applied to find the coordinates of a laminar-turbulent transition. It is a well known approach in industry. However, despite its widespread use, this method has a number of significant drawbacks, since it relies on parallel flow assumption, which limits the scenarios for its application, and also requires computationally expensive calculations in a wide range of frequencies and wave numbers. Alternatively, flow analysis can be done by using Dynamic Mode Decomposition, which allows one to analyze flow disturbances using flow data directly. Since Dynamic Mode Decomposition is a dimensionality reduction method, the number of computations can be dramatically reduced. Furthermore, usage of Dynamic Mode Decomposition expands the applicability of the whole method, due to the absence of assumptions about the parallel flow in its derivation.

The presented study proposes an approach to finding the location of a laminar-turbulent transition using the Dynamic Mode Decomposition method. The essence of this approach is to divide the boundary layer region into sets of subregions, for each of which the transition point is independently calculated, using Dynamic Mode Decomposition for flow analysis, after which the results are averaged to produce the final result. This approach is validated by laminar-turbulent transition predictions of subsonic and supersonic flows over a 2D flat plate with zero pressure gradient. The results demonstrate the fundamental applicability and high accuracy of the described method in a wide range of conditions. The study focuses on comparison with the $e^N$ method and proves the advantages of the proposed approach. It is shown that usage of Dynamic Mode Decomposition leads to significantly faster execution due to less intensive computations, while the accuracy is comparable to the such of the solution obtained with the $e^N$ method. This indicates the prospects for using the described approach in a real world applications.

Приведен обзор методов моделирования движения и реологических свойств крови как суспензии взвешенных частиц. Рассмотрены методы граничных интегральных уравнений, решеточных уравнений Больцмана, конечных элементов на подвижных сетках, диссипативной динамики частиц, а также агентные модели. Приведен анализ применения этих методов при расчетах на высокопроизводительных системах различной архитектуры.

Methods for modeling blood flow and its rheological properties are reviewed. Blood is considered as a particle suspencion. The methods are boundary integral equation method (BIEM), lattice Boltzmann (LBM), finite elements on dynamic mesh, dissipative particle dynamics (DPD) and agent based modeling. The analysis of these methods’ applications on high-performance systems with various architectures is presented.

Представлен подход к созданию территориально-распределенной системы хранения данных для нужд среды высокопроизводительных вычислений УрО РАН. Система основывается на промежуточном программном обеспечении dCache из проекта European Middleware Initiative. Первая очередь реализации системы охватывает вычислительные центры в двух регионах присутствия УрО РАН: г. Екатеринбург и г. Пермь.

The approach to build territorial distributed storage system for high performance computing environment of UB RAS is presented. The storage system is based on the dCache middleware from the European Middleware Initiative project. The first milestone of distributed storage system implementation includes the data centers at the two UB RAS Regions: Yekaterinburg and Perm.

Большие научные проекты генерируют данные на всё более возрастающих скоростях. Типичные методы включают в себя хранение данных на диске, после незначительного фильтрования, а затем их обработку на больших компьютерных фермах. Производство данных достигло той точки, когда требуется обработка в режиме on-line, чтобы отфильтровать данные до управляемых размеров. Потенциальное решение включает в себя использование низко затратных процессоров ARM с маленькой мощностью в больших массивах для обеспечения массивного распараллеливания для вычислений потока данных (DSC). Главное преимущество в использовании систем на одном кристалле (SoCs) присуще самой философии этой разработки. Системы на микросхеме, прежде всего, используются в мобильных устройствах и, следовательно, потребляют меньше энергии при своей относительно хорошей производительности. Дано описание тестирования трех различных моделей процессоров ARM.

Big science projects are producing data at ever increases rates. Typical techniques involve storing the data to disk, after minor filtering, and then processing it in large computer farms. Data production has reached a point where on-line processing is required in order to filter the data down to manageable sizes. A potential solution involves using low-cost, low-power ARM processors in large arrays to provide massive parallelisation for data stream computing (DSC). The main advantage in using System on Chips (SoCs) is inherent in its design philosophy. SoCs are primarily used in mobile devices and hence consume less power while maintaining relatively good performance. A benchmarking characterisation of three different models of ARM processors will be presented.