Все выпуски

Описана новая система моделирования грид- и облачных сервисов, ориентированная на повышение эффективности разработки системы хранения и обработки данных ускорительного комплекса НИКА. В системе реализован подход учета качества работы уже функционирующей системы при проектировании ее дальнейшего развития за счет объединения самой программы моделирования с системой мониторинга реального (или модельного) грид-облачного сервиса через специальную базу данных. Приведен пример применения программы для моделирования достаточно общей облачной структуры, которая может быть также использована и вне рамок физического эксперимента.

A new grid and cloud services simulation for NICA accelerator complex data storage and processing system are described. This system is focused on improving the efficiency of the grid-cloud systems development by using work quality indicators of some real system to design and predict its evolution. For these purpose the simulation program are combined with real monitoring system of the grid-cloud service through a special database. An example of the program usage to simulate a sufficiently general cloud structure, which can be used for more common purposes, is given.

В докладе представлен ряд новостей и обновлений ALICE computing к RUN2 и RUN3.

В их числе:

– ввод в работу новой системы EOS;

– переход к файловой системе CVMFS для хранения ПО;

– план решения проблемы Long Term Data Preservation;

– обзор концепции “O square”, совмещающей офлайн- и онлайн-обработку данных;

– обзор существующих моделей использования виртуальных облаков для обработки данных ALICE.

Ряд нововведений показан на примере российских сайтов.

The report presents a number of news and updates of the ALICE computing for RUN2 and RUN3.

This includes:

– implementation in production of a new system EOS;

– migration to the file system CVMFS to be used for storage of the software;

– the plan for solving the problem of “Long-Term Data Preservation”;

– overview of the concept of “O square”, combining offline and online data processing;

– overview of the existing models to use the virtual clouds for ALICE data processing. Innovations are shown on the example of the Russian sites.

В статье анализируется модель сильного согласования реплик в базах данных NoSQL. Описывается процесс подготовки и проведения натурного эксперимента в облаке для доказательства адекватности модели. Приводятся спецификации программ, с помощью которых производился доступ к NoSQL-системе? и программы обработки журналов. Часть из полученных экспериментальным путем данных использовалась для адаптации модели, другая часть — для оценки адекватности. Приводится анализ адекватности модели.

In this article the model of strong replicas agreement was analyzed. The process of preparing and conducting the nature experiment in the cloud in order to proof the model adequacy was described. Specifications of the program for implementation of database access to the NoSQL system and the program for handling journals were presented. One part of obtained experiments results was used for model adaptation, another part — for adequacy evaluating. The adequacy analysis is presented.

В статье рассматривается проблема надежности эксплуатации открытой интеграционной платформы, обеспечивающей взаимодействие различных программных комплексов моделирования режимов транспорта газа, с учетом предоставления доступа к ним, в том числе через тонких клиентов, по принципу «программное обеспечение как услуга». Математически описаны функционирование, надежность хранения, передачи информации и реализуемость вычислительного процесса системы, что является необходимым для обеспечения работы автоматизированной системы диспетчерского управления транспортом нефти и газа. Представлено системное решение вопросов моделирования работы интеграционной платформы и тонких клиентов в условиях неопределенности и риска на базе метода динамики средних теории марковских случайных процессов. Рассматривается стадия стабильной работы — стационарный режим работы цепи Маркова с непрерывным временем и дискретными состояниями, которая описывается системами линейных алгебраический уравнений Колмогорова–Чепмена, записанных относительно средних численностей (математических ожиданий) состояний объектов исследования. Объектами исследования являются как элементы системы, присутствующие в большом количестве (тонкие клиенты и вычислительные модули), так и единичные (сервер, сетевой менеджер (брокер сообщений), менеджер технологических схем). В совокупности они представляют собой взаимодействующие Марковские случайные процессы, взаимодействие которых определяется тем, что интенсивности переходов в одной группе элементов зависят от средних численностей других групп элементов.

Через средние численности состояний объектов и интенсивностей их переходов из состояния в состояние предлагается многокритериальная дисперсионная модель оценки риска (как в широком, так и узком смысле, в соответствии со стандартом МЭК). Риск реализации каждого состояния параметров системы вычисляется как среднеквадратическое отклонение оцениваемого параметра системы объектов (в данном случае — средние численности и вероятности состояний элементов открытой интеграционной платформы и облака) от их среднего значения. На основании определенной дисперсионной модели риска функционирования элементов системы вводятся модели критериев оптимальности и рисков функционирования системы в целом. В частности, для тонкого клиента рассчитываются риск недополучения выгоды от подготовки и обработки запроса, суммарный риск потерь, связанный только с непроизводительными состояниями элемента, суммарный риск всех потерь от всех состояний системы. Для полученной многокритериальной задачи оценки рисков предлагаются модели (схемы компромисса) выбора оптимальной стратегии эксплуатации.

The article deals with the problem of a distributed system operation reliability. The system core is an open integration platform that provides interaction of varied software for modeling gas transportation. Some of them provide an access through thin clients on the cloud technology “software as a service”. Mathematical models of operation, transmission and computing are to ensure the operation of an automated dispatching system for oil and gas transportation. The paper presents a system solution based on the theory of Markov random processes and considers the stable operation stage. The stationary operation mode of the Markov chain with continuous time and discrete states is described by a system of Chapman–Kolmogorov equations with respect to the average numbers (mathematical expectations) of the objects in certain states. The objects of research are both system elements that are present in a large number – thin clients and computing modules, and individual ones – a server, a network manager (message broker). Together, they are interacting Markov random processes. The interaction is determined by the fact that the transition probabilities in one group of elements depend on the average numbers of other elements groups.

The authors propose a multi-criteria dispersion model of risk assessment for such systems (both in the broad and narrow sense, in accordance with the IEC standard). The risk is the standard deviation of estimated object parameter from its average value. The dispersion risk model makes possible to define optimality criteria and whole system functioning risks. In particular, for a thin client, the following is calculated: the loss profit risk, the total risk of losses due to non-productive element states, and the total risk of all system states losses.

Finally the paper proposes compromise schemes for solving the multi-criteria problem of choosing the optimal operation strategy based on the selected set of compromise criteria.

С ростом населения городов сильнее ощущается необходимость планирования развития транспортной инфраструктуры. Для этой цели создаются пакеты транспортного моделирования, которые обычно содержат набор задач выпуклой оптимизации, итеративное решение которых приводит к искомому равновесному распределению потоков по путям. Одно из направлений развития транспортного моделирования — это построение более точных обобщенных моделей, которые учитывают различные типы пассажиров, их цели поездок, а также специфику личных и общественных средств передвижения, которыми могут воспользоваться агенты. Другим не менее важным направлением является улучшение эффективности производимых вычислений, так как в связи с большой размерностью современных транспортных сетей поиск численного решения задачи равновесного распределения потоков по путям является довольно затратным. Итеративность всего процесса решения лишь усугубляет это. Одним из подходов, ведущим к уменьшению числа производимых вычислений, и является построение согласованных моделей, которые позволяют объединить блоки 4-стадийной модели в единую задачу оптимизации. Это позволяет исключить итеративную прогонку блоков, перейдя от решения отдельной задачи оптимизации на каждом этапе к некоторой общей задаче. В ранних работах было доказано, что такие подходы дают эквивалентные решения. Тем не менее стоит рассмотреть обоснованность и интерпретируемость этих методов. Целью данной статьи является обоснование единой задачи, объединяющей в себе как расчет матрицы корреспонденций, так и модальный выбор, для обобщенного случая, когда в транспортной сети присутствуют различные слои спроса, типы агентов и классы транспортных средств. В статье приводятся возможные интерпретации для калибровочных параметров, применяемых в задаче, а также для двойственных множителей, ассоциированных с балансовыми ограничениями. Авторы статьи также показывают возможность объединения рассматриваемой задачи с блоком определения загрузки сети в единую задачу оптимизации.

As the population of cities grows, the need to plan for the development of transport infrastructure becomes more acute. For this purpose, transport modeling packages are created. These packages usually contain a set of convex optimization problems, the iterative solution of which leads to the desired equilibrium distribution of flows along the paths. One of the directions for the development of transport modeling is the construction of more accurate generalized models that take into account different types of passengers, their travel purposes, as well as the specifics of personal and public modes of transport that agents can use. Another important direction of transport models development is to improve the efficiency of the calculations performed. Since, due to the large dimension of modern transport networks, the search for a numerical solution to the problem of equilibrium distribution of flows along the paths is quite expensive. The iterative nature of the entire solution process only makes this worse. One of the approaches leading to a reduction in the number of calculations performed is the construction of consistent models that allow to combine the blocks of a 4-stage model into a single optimization problem. This makes it possible to eliminate the iterative running of blocks, moving from solving a separate optimization problem at each stage to some general problem. Early work has proven that such approaches provide equivalent solutions. However, it is worth considering the validity and interpretability of these methods. The purpose of this article is to substantiate a single problem, that combines both the calculation of the trip matrix and the modal choice, for the generalized case when there are different layers of demand, types of agents and classes of vehicles in the transport network. The article provides possible interpretations for the gauge parameters used in the problem, as well as for the dual factors associated with the balance constraints. The authors of the article also show the possibility of combining the considered problem with a block for determining network load into a single optimization problem.

В настоящее время основная исследовательская деятельность в области нанотехнологий направлена на создание, изучение и применение новых материалов и новых структур. Большое внимание в последнее время привлекает возможность управления магнитными свойствами с помощью сверхпроводящего тока, а также влияние магнитной динамики на вольт-амперные характеристики гибридных наноструктур типа «сверхпроводник/ферромагнетик» (S/F). В частности, к таким структурам относятся джозефсоновский S/F/S-переход или молекулярные наномагниты, связанные с джозефсоновскими переходами. Теоретические исследования динамики подобных структур неизменно приводят к моделям, расчет которых требует численного решения большого количества нелинейных уравнений. Численное моделирование гибридных наноструктур «сверхпроводник/магнетик» подразумевает расчет как магнитной динамики, так и динамики сверхпроводящей фазы, что многократно увеличивает их комплексность и масштабность, поэтому возникает задача решения сложных систем нелинейных дифференциальных уравнений, что требует значительных временных и вычислительных ресурсов.

На сегодняшний день активно развиваются алгоритмы и фреймворки для моделирования динамики намагничивания в различных структурах. Однако функционал существующих пакетов не позволяет в полной мере реализовать нужную схему вычислений.

Целью настоящей работы является разработка единой вычислительной среды для моделирования гибридных наноструктур «сверхпроводник/магнетик», предоставляющей доступ к решателям и разработанным алгоритмам, позволяющей проводить исследования сверхпроводящих элементов в наноразмерных структурах с магнетиками и гибридных квантовых материалов. В работе представлены результаты использования разрабатываемой вычислительной среды по исследованию резонансных явлений в системе наномагнита, связанного с джозефсоновским переходом. Для исследования возможности переориентации намагниченности в зависимости от параметров модели численно решалась задача Коши для системы нелинейных уравнений. Непосредственно сама вычислительная среда разрабатывалась и развернута на базе гетерогенной вычислительной платформы HybriLIT. Проведенное в рамках вычислительной среды исследование показало эффективность применения развернутого стека технологий и перспективность его использования в дальнейшем для оценки физических параметров в гибридных наноструктурах «сверхпроводник/магнетик».

Now days the main research activity in the field of nanotechnology is aimed at the creation, study and application of new materials and new structures. Recently, much attention has been attracted by the possibility of controlling magnetic properties using a superconducting current, as well as the influence of magnetic dynamics on the current–voltage characteristics of hybrid superconductor/ferromagnet (S/F) nanostructures. In particular, such structures include the S/F/S Josephson junction or molecular nanomagnets coupled to the Josephson junctions. Theoretical studies of the dynamics of such structures need processes of a large number of coupled nonlinear equations. Numerical modeling of hybrid superconductor/magnet nanostructures implies the calculation of both magnetic dynamics and the dynamics of the superconducting phase, which strongly increases their complexity and scale, so it is advisable to use heterogeneous computing systems.

In the course of studying the physical properties of these objects, it becomes necessary to numerically solve complex systems of nonlinear differential equations, which requires significant time and computational resources.

The currently existing micromagnetic algorithms and frameworks are based on the finite difference or finite element method and are extremely useful for modeling the dynamics of magnetization on a wide time scale. However, the functionality of existing packages does not allow to fully implement the desired computation scheme.

The aim of the research is to develop a unified environment for modeling hybrid superconductor/magnet nanostructures, providing access to solvers and developed algorithms, and based on a heterogeneous computing paradigm that allows research of superconducting elements in nanoscale structures with magnets and hybrid quantum materials. In this paper, we investigate resonant phenomena in the nanomagnet system associated with the Josephson junction. Such a system has rich resonant physics. To study the possibility of magnetic reversal depending on the model parameters, it is necessary to solve numerically the Cauchy problem for a system of nonlinear equations. For numerical simulation of hybrid superconductor/magnet nanostructures, a computing environment based on the heterogeneous HybriLIT computing platform is implemented. During the calculations, all the calculation times obtained were averaged over three launches. The results obtained here are of great practical importance and provide the necessary information for evaluating the physical parameters in superconductor/magnet hybrid nanostructures.

Хранение — это существенная и дорогая часть облачных вычислений как с точки зрения требований сети, так и организации доступа к данным, поэтому выбор архитектуры хранения может быть критическим для любого приложения. В этой работе мы сможем посмотреть на типы облачных архитектур для обработки и хранения данных, основанных на доказанной технологии хранения в сети масштаба пред- приятия. Преимущество облачных вычислений — это способность визуализировать и разделять ресурсы среди различных приложений для наилучшего использования сервера. Мы обсуждаем и оцениваем распределенную обработку данных, архитектуры баз данных для облачных вычислений и очередь баз данных в локальной сети и для условий реального времени.

Storage is the essential and expensive part of cloud computation both from the point of view of network requirements and data access organization. So the choice of storage architecture can be crucial for any application. In this article we can look at the types of cloud architectures for data processing and data storage based on the proven technology of enterprise storage. The advantage of cloud computing is the ability to virtualize and share resources among different applications for better server utilization. We are discussing and evaluating distributed data processing, database architectures for cloud computing and database query in the local network and for real time conditions.

В то время как каждая задача воссоздания артефактов уникальна, моделирование фасадов, фундаментов и конструктивных элементов строений может быть параметризовано. В работе рассмотрен комплекс существующих программных библиотек и решений, которые необходимо объединить в единую вычислительную систему для решения такой задачи. Представлен алгоритм генерации трехмерного заполнения реконструируемых объектов. Рассмотрена архитектура решения, необходимая для переноса системы в облачную среду.

Although each task of recreating artifacts is truly unique, the modeling process for façades, foundations and building elements can be parametrized. This paper is focused on a complex of the existing programming libraries and solutions that need to be united into a single computer system to solve such a task. An algorithm of generating 3D filling of objects under reconstruction is presented. The solution architecture necessary for the system's adaptation for a cloud environment is studied.

Облачные технологий CERN (проект CernVM) дают новые возможности разработчикам программного обеспечения. Участие группы TDAQ ATLAS ОИЯИ в разработке ПО распределенной системы сбора и обработке данных эксперимента ATLAS (CERN) связано с необходимостью работы в условиях динамично развивающейся системы и ее инфраструктуры. Использование облачных технологий, в частности виртуальных машин CernVM, предоставляет наиболее эффективные способы доступа как к собственно ПО TDAQ, так и к ПО, используемому в CERN: среда — Scientific Linux и software repository c CernVM-FS. Исследуется вопрос о возможности функционирования ПО промежуточного уровня (middleware) в среде CernVM. Использование CernVM будет проиллюстрировано на трех задачах: разработка пакетов Event Dump и Webemon, а также на адаптации системы автоматической проверки качества данных TDAQ ATLAS — Data Quality Monitoring Framework для задач оценки качества радиолокационных данных.

The CERN cloud technologies (the CernVM project) give a new possibility for the software developers. The participation of the JINR ATLAS TDAQ working group in the software development for distributed data acquisition and processing system (TDAQ) of the ATLAS experiment (CERN) involves the work in the condition of the dynamically developing system and its infrastructure. The CERN cloud technologies, especially CernVM, provide the most effective access as to the TDAQ software as to the third-part software used in ATLAS. The access to the Scientific Linux environment is provided by CernVM virtual machines and the access software repository — by CernVM-FS. The problem of the functioning of the TDAQ middleware in the CernVM environment was studied in this work. The CernVM usage is illustrated on three examples: the development of the packages Event Dump and Webemon, and the adaptation of the data quality auto checking system of the ATLAS TDAQ (Data Quality Monitoring Framework) for the radar data assessment.

Представлена новая система моделирования грид и облачных сервисов, ориентированная на повышение эффективности их развития путем учета качества работы уже функционирующей системы. Результаты достигаются за счет объединения программы моделирования с системой мониторинга реального (или модельного) грид-облачного сервиса через специальную базу данных. Приведен пример применения программы для моделирования достаточно общей облачной структуры, которая может быть также использована и вне рамок физического эксперимента.

The paper presents a new grid and cloud services simulation system. This system is developed in LIT JINR, Dubna, and it is aimed at improving the efficiency of the grid-cloud systems development by using work quality indicators of some real system to design and predict its evolution. For these purpose, simulation program is combined with real monitoring system of the grid-cloud service through a special database. The paper provides an example of the program usage to simulate a sufficiently general cloud structure, which can be used for more common purposes.