Все выпуски

Обработка больших массивов данных обычно происходит в несколько последовательно выполняемых этапов, таких как пред- и постобработка, после каждого из которых промежуточные данные записываются на диск; однако, для каждой задачи этап предварительной обработки может отличаться, и в таком случае непосредственная передача данных по вычислительному конвейеру от одного этапа (звена) к другому бу- дет более эффективным с точки зрения производительности решением. В более общем случае некоторые этапы можно разделить на параллельные части, сформировав таким образом распределенный вычислительный конвейер, каждое звено которого может иметь несколько входов и выходов. Такой принцип обработки данных применяется в задаче о классификации энергетических спектров морского волнения, которая основана на аппроксимациях, позволяющих извлекать параметры отдельных систем волн (тип волн, генеральное направление волн и т. п.). Система, построенная на этом принципе показывает более высокую производительность по сравнению с часто применяемой поэтапной обработкой данных.

Processing of large amounts of data often consists of several steps, e.g. pre- and post-processing stages, which are executed sequentially with data written to disk after each step, however, when pre-processing stage for each task is different the more efficient way of processing data is to construct a pipeline which streams data from one stage to another. In a more general case some processing stages can be factored into several parallel subordinate stages thus forming a distributed pipeline where each stage can have multiple inputs and multiple outputs. Such processing pattern emerges in a problem of classification of wave energy spectra based on analytic approximations which can extract different wave systems and their parameters (e.g. wave system type, mean wave direction) from spectrum. Distributed pipeline approach achieves good performance compared to conventional “sequential-stage” processing.

Для жителей удалённых районов часто может составлять проблему прохождение квалифицированного медицинского обследования. Доступный медицинский персонал может отсутствовать или не обладать экспертными знаниями достаточного уровня. Помочь в такой ситуации могут телемедицинские технологии. С одной стороны, такие технологии позволяют врачам высокой квалификации оказывать удалённые консультации, повышая тем самым качество постановки диагноза и составления плана лечения. С другой стороны, средства автоматизированного анализа результатов проведённых исследований, анамнеза и информации об аналогичных случаях помогают облегчить выполнение рутинных действий и оказать медицинскому персоналу поддержу в принятии решений.

Создание телемедицинской системы для конкретной предметной области — это трудоёмкий процесс. Не достаточно подобать подходящих специалистов и заполнить базу знаний аналитического модуля. Необходимо также организовать всю инфраструктуру системы, удовлетворяя предъявляемые требования по надёжности, отказоустойчивости, защите персональных данных и так далее. Снизить трудоёмкость разработки телемедицинских комплексов может инструментарий, содержащий многократно используемые инфраструктурные элементы, общие для систем такого рода.

В данной работе описан интерактивный инструментарий для создания распределённых телемедицинских систем. Приводится список требований, предъявляемый к получаемым системам, и архитектурные решения, позволяющие удовлетворить эти требования. В качестве примера применения созданного инструментария описывается кардиологическая телемедицинская система.

Getting a qualified medical examination can be difficult for people in remote areas because medical staff available can either be inaccessible or it might lack expert knowledge at proper level. Telemedicine technologies can help in such situations. On one hand, such technologies allow highly qualified doctors to consult remotely, thereby increasing the quality of diagnosis and plan treatment. On the other hand, computer-aided analysis of the research results, anamnesis and information on similar cases assist medical staff in their routine activities and decision-making.

Creating telemedicine system for a particular domain is a laborious process. It’s not sufficient to pick proper medical experts and to fill the knowledge base of the analytical module. It’s also necessary to organize the entire infrastructure of the system to meet the requirements in terms of reliability, fault tolerance, protection of personal data and so on. Tools with reusable infrastructure elements, which are common to such systems, are able to decrease the amount of work needed for the development of telemedicine systems.

An interactive tool for creating distributed telemedicine systems is described in the article. A list of requirements for the systems is presented; structural solutions for meeting the requirements are suggested. A composition of such elements applicable for distributed systems is described in the article. A cardiac telemedicine system is described as a foundation of the tool

На финансовых рынках деривативы предлагают широкие возможности для инвестиций и хеджирования. Однако доминирующий пласт стохастических моделей требует наличия ликвидного рынка опционов для процесса калибровки. На неликвидных рынках, включая современный финансовый рынок РФ, это является критической проблемой.

В настоящей работе исследуется использование моделей реализованной волатильности и эмпирической рискнейтральной коррекции для оценки стоимости производных финансовых инструментов на один базовый актив. Применяются модель HARGL, обученная на исторических высокочастотных данных, и метод эмпирической мартингальной симуляции (Empirical Martingale Simulation, EMS) для корректировки сгенерированных траекторий. Выбор реализованной волатильности оправдан тем, что модель симулирует динамику интегрированной дисперсии и доходности актива, не требуя наличия поверхности волатильности. Выбор риск-нейтральной меры необходим для выполнения первой фундаментальной теоремы об отсутствии арбитража. В условиях неполного рынка таких мер существует бесконечное множество, поэтому алгоритм EMS выступает оптимальным правилом: он минимально искажает историческую динамику, но гарантирует строгую мартингальность процесса цены.

Процесс валидации включает проверку прогнозов волатильности, отсутствия арбитража, сходимости и сравнение с биржевыми котировками. Модель HARGL дает содержательно корректное описание распределения дисперсии (среднее значение показателя преобразования вероятностного интеграла (PIT) равно 0,46 при эталоне 0,5), показывая умеренно консервативное смещение: в 90% доверительный интервал попадает 96% значений. На неликвидных рынках такая консервативность является существенным плюсом. Сравнение с реальными котировками ванильных опционов показало, что модель, абсолютно не опираясь на опционные данные при калибровке, дала среднюю абсолютную ошибку всего 0,5 рубля. Для 26% инструментов цена оказалась между котировками покупки и продажи, остальные цены — выше котировки продажи. Умеренная переоценка активов подтверждает адекватность предложенного подхода. Вычислительная сходимость алгоритма достигается уже при 10 000 симуляциях. Анализ чувствительности выявил критическую важность процедуры EMS: оценка в физической мере без нее искажает цену на 37%. Также зафиксирована ожидаемая чувствительность к начальной цене актива (4,7%) и прогнозной дисперсии (6%).

В результате исследования показано, что связка HARGL и EMS представляет собой надежный вычислительный инструмент для оценки стоимости деривативов и хеджирования. Поскольку на выходе алгоритм формирует готовые траектории, он легко масштабируется на экзотические деривативы. Предложенный подход численно реализует условия фундаментальных теорем финансовой математики, обеспечивая устойчивую безарбитражную оценку инструментов в условиях острой нехватки ликвидности.

Derivatives offer broad opportunities for investment and hedging in financial markets. However, most stochastic pricing models rely on a liquid options market for calibration. In illiquid markets, including the current Russian financial market, this becomes a critical limitation.

This paper studies the use of realized-volatility models and an empirical risk-neutral correction for pricing derivatives written on a single underlying asset. The framework combines the HARGL model, estimated on historical high-frequency data, with the Empirical Martingale Simulation (EMS) technique used to adjust the simulated price paths. The choice of realized volatility is motivated by the fact that the model simulates both integrated variance and asset returns without requiring an implied-volatility surface. The choice of a risk-neutral measure is needed to satisfy the first fundamental theorem of asset pricing. In an incomplete market, infinitely many such measures exist, so EMS is used as an operational rule: it alters the historical dynamics as little as possible while enforcing strict martingality of the price process.

The validation procedure includes volatility-forecast testing, no-arbitrage checks, convergence analysis, and comparison with exchange-traded option quotes. The HARGL model describes the variance distribution accurately, with a mean PIT value of 0.46 versus the benchmark value of 0.5, while showing a moderately conservative bias: 96% of the observations fall inside the 90% confidence interval. In an illiquid market, such conservatism is a meaningful advantage. A comparison with observed vanilla option quotes shows that, even without using option data in calibration, the model gives a mean absolute pricing error of only 0.5 rubles. For 26% of the instruments, the model price falls inside the bid–ask spread, while the remaining prices lie slightly above the ask quote. This moderate upward bias supports the adequacy of the framework. The algorithm reaches numerical convergence already at 10 000 simulations. The sensitivity analysis shows that EMS is critically important: pricing under the physical measure without this correction distorts the option value by 37%. The expected sensitivity to the initial asset price (4.7%) and to forecast variance (6%) is also documented.

The results show that the HARGL – EMS combination provides a reliable computational tool for pricing and hedging. Since the algorithm produces full simulated paths, it can be extended naturally to exotic derivatives. In this sense, the framework gives a numerical implementation of the core ideas behind the fundamental theorems of asset pricing and provides a stable no-arbitrage valuation procedure under severe illiquidity.

Представлен обзор распределенной вычислительной инфраструктуры ресурсных центров коллаборации WLCG для экспериментов БАК. Особое внимание уделено описанию решаемых задач и основным сервисам нового ресурсного центра уровня Tier-1, созданного в Национальном исследовательском центре «Курчатовский институт» для обслуживания ALICE, ATLAS и LHCb экспериментов (г. Москва).

The review of the distributed computing infrastructure of the Tier-1 sites for the Alice, ATLAS, LHCb experiments at the LHC is given. The special emphasis is placed on the main tasks and services of the Tier-1 site, which operates in the Kurchatov Institute in Moscow.

Облачные технологий CERN (проект CernVM) дают новые возможности разработчикам программного обеспечения. Участие группы TDAQ ATLAS ОИЯИ в разработке ПО распределенной системы сбора и обработке данных эксперимента ATLAS (CERN) связано с необходимостью работы в условиях динамично развивающейся системы и ее инфраструктуры. Использование облачных технологий, в частности виртуальных машин CernVM, предоставляет наиболее эффективные способы доступа как к собственно ПО TDAQ, так и к ПО, используемому в CERN: среда — Scientific Linux и software repository c CernVM-FS. Исследуется вопрос о возможности функционирования ПО промежуточного уровня (middleware) в среде CernVM. Использование CernVM будет проиллюстрировано на трех задачах: разработка пакетов Event Dump и Webemon, а также на адаптации системы автоматической проверки качества данных TDAQ ATLAS — Data Quality Monitoring Framework для задач оценки качества радиолокационных данных.

The CERN cloud technologies (the CernVM project) give a new possibility for the software developers. The participation of the JINR ATLAS TDAQ working group in the software development for distributed data acquisition and processing system (TDAQ) of the ATLAS experiment (CERN) involves the work in the condition of the dynamically developing system and its infrastructure. The CERN cloud technologies, especially CernVM, provide the most effective access as to the TDAQ software as to the third-part software used in ATLAS. The access to the Scientific Linux environment is provided by CernVM virtual machines and the access software repository — by CernVM-FS. The problem of the functioning of the TDAQ middleware in the CernVM environment was studied in this work. The CernVM usage is illustrated on three examples: the development of the packages Event Dump and Webemon, and the adaptation of the data quality auto checking system of the ATLAS TDAQ (Data Quality Monitoring Framework) for the radar data assessment.

Целью данной работы является ознакомление с технологиями хранения больших данных и перспективами развития технологий хранения для распределенных вычислений. Приведен анализ популярных технологий хранения и освещаются возможные ограничения использования.

Основными проблемами развития технологий хранения данных являются хранение сверхбольших объемов данных, отсутствие качества в обработке таких данных, масштабируемость, отсутствие быстрого доступа к данным и отсутствие реализации интеллектуального поиска данных.

В работе рассматриваются особенности организации системы управления данными (DMS) программного продукта DIRAC. Приводится описание устройства, функциональности и способов работы с сервисом передачи данных (Data transfer service) для экспериментов физики высоких энергий, которые требуют вычисления задач с широким спектром требований с точки зрения загрузки процессора, доступа к данным или памяти и непостоянной загрузкой использования ресурсов.

The report presents an analysis of Big Data storage solutions in different directions. The purpose of this paper is to introduce the technology of Big Data storage, prospects of storage technologies, for example, the software DIRAC. The DIRAC is a software framework for distributed computing.

The report considers popular storage technologies and lists their limitations. The main problems are the storage of large data, the lack of quality in the processing, scalability, the lack of rapid availability, the lack of implementation of intelligent data retrieval.

Experimental computing tasks demand a wide range of requirements in terms of CPU usage, data access or memory consumption and unstable profile of resource use for a certain period. The DIRAC Data Management System (DMS), together with the DIRAC Storage Management System (SMS) provides the necessary functionality to execute and control all the activities related with data.