Все выпуски

Выбор и корректное использование инструмента минеральной геотермобарометрии — геосенсора — является сложной задачей из-за большого разнообразия существующих сенсоров, с одной стороны, и наличия специфических требований к их использованию с другой. Для снижения трудоемкости и обеспечения информационной поддержки использования геосенсоров в статье предлагается организация набора геосенсоров в рамках компьютерной системы, называемой интерактивным реестром. В статье дается формальное описание термодинамического геосенсора как функции состава минералов и независимых параметров, а также рассматриваются основные этапы получения оценок давления и температуры, общие для всех сенсоров: переход к коэффициентам формул, расчет дополнительных параметров и непосредственное вычисление искомого значения. Рассматриваются существующие программы — коллекции геосенсоров, выполненные как в виде отдельных приложений, так и в виде электронных таблиц, анализируются достоинства и недостатки этих подходов. Дается описание справочной информации, необходимой для использования геосенсора: в минеральном парагенезисе, в точности и пределах значений параметров, в литературной ссылке и др. Предлагается реализации реестра геосенсоров на базе веб-приложения, использующего технологию вики. Применение технологии вики позволяет эффективно организовать плохо формализуемую справочную информацию о сенсоре и его алгоритм, записанный на языке программирования в рамках единой информационной системы. Для структурирования информации используются ссылки, пространства имен и вики-разметка. В статье рассматривается реализация данного приложения на основе вики-системы DokuWiki и специально разработанного RESTful-сервера, позволяющего пользователю использовать геосенсоры, описанные в реестре для обработки собственных данных. В качестве языка описания геосенсоров в приложении используется язык R, для выполнения расчетов используется сервер RServe. Для контроля корректности работы сенсоров каждый из них снабжается юнит-тестом. Пользовательский интерфейс приложения разработан в виде плагинов к системе DokuWiki. Приводится пример использования разработанного приложения. В заключение рассматриваются вопросы безопасности и производительности разработанного приложения, а также возможность его масштабирования.

Selection and correct applying of the geosensor — the instrument of mineral geothermobarometry is challenging because of the wide variety of existing geosensors on the one hand and the availability of specific requirements for their use on the other. In this paper, organization of the geosensors within the computer system called interactive registry was proposed for reducing the labor intensity of the geosensors usage and providing information support for them. The article provides a formal description of the thermodynamic geosensor, as a function of the minerals composition and independent parameters, as well as the basic steps of pressure and temperature estimation which are common for all geosensors: conversion to the formula units, calculation of the additional parameters and the calculation of the required values. Existing collections of geosensors made as standalone applications, or as spreadsheets was examined for advantages and disadvantages of these approaches. Additional information necessary to use the geosensor was described: paragenesis, accuracy and range of parameter values, reference and others. Implementation of the geosensors registry as the webbased application which uses wiki technology was proposed. Usage of the wiki technology allows to effectively organize not so well formalized additional information about the geosensor and it’s algorithm which had written in a programming language into a single information system. For information organization links, namespaces and wiki markup was used. The article discusses the implementation of the applications on the top of DokuWiki system with specially designed RESTful server, allowing users to apply the geosensors from the registry to their own data. Programming language R uses as a geosensors description language. RServe server uses for calculations. The unittest for each geosensor allows to check the correctness of it’s implementation. The user interface of the application was developed as DokuWiki plug-in. The example of usage was given. In the article conclusion, the questions of the application security, performance and scaling was discussed.

В данной работе нами представлена база данных, спроектированная для хранения профилей физических свойств вдоль двойной спирали ДНК, и продемонстрировано ее использование для хранения, поиска и анализа промоторных последовательностей E. coli. Отличительным свойством предложенной базы данных является то, что весь профиль хранится как единый объект, который с точки зрения СУБД полностью подобен строке или числу. Такие объекты СУБД может сравнивать друг с другом и осуществлять быструю выборку на основании индексов. В базу данных загружена информация о 1227 известных промоторах. Для каждого промотора сохранена нуклеотидная последовательность, а также вычислен и загружен в базу профиль электростатического потенциала промоторной ДНК. Кроме того, каждый промотор связан с генами, транскипцию которых он регулирует, а также с записями о сайтах посадки транскрипционных факторов, влияющих на функционирование промотора. Организован доступ к базе данных через интернет; исходные коды доступны для скачивания, а содержимое базы данных может быть выслано авторами по запросу.

Database to store, search and retrieve DNA physical properties profiles has been developed and its use for analysis of E. coli promoters has been demonstrated. Unique feature of the database is in its ability to handle whole profile as single internal object type in a way similar to integers or character strings. To demonstrate utility of such database it was populated with data of 1227 known promoters, their nucleotide sequence, profile of electrostatic potential, transcription factor binding sites. Each promoter is also connected to all genes, whose transcription is controlled by that promoter. Content of the database is available for search via web interface. Source code of profile datatype and library to work with it from R/Bioconductor are available from the internet, dump of the database is available from authors by request.

Виртуальные машины обычно ассоциируются с возможностью создавать их по требованию для предоставления клиентам разнородных веб-сервисов, однако, автоматическое создание виртуальных машин для запуска на них вычислений общего назначения на практике широко не используется. Такой сценарий использования виртуализации полезен в среде высокопроизводительных вычислений, где большинство ресурсов не потребляется разнородными сервисами, а используется для пакетной обработки данных. В этом случае для запуска каждого приложения создается отдельный кластер виртуальных машин, а запись выходных данных производится на сетевое хранилище. После того как приложение завершает свое выполнение, кластер уничтожается, высвобождая занятые вычислительные ресурсы. После определенных изменений данный подход может быть использован для предоставления виртуального рабочего стола в интерактивном режиме. Эксперименты показывают, что процесс создания виртуальных кластеров по требованию может быть эффективно реализован в обоих случаях.

Virtual machines are usually associated with an ability to create them on demand by calling web services, then these machines are used to deliver resident services to their clients; however, providing clients with an ability to run an arbitrary programme on the newly created machines is beyond their power. Such kind of usage is useful in a high performance computing environment where most of the resources are consumed by batch programmes and not by daemons or services. In this case a cluster of virtual machines is created on demand to run a distributed or parallel programme and to save its output to a network attached storage. Upon completion this cluster is destroyed and resources are released. With certain modifications this approach can be extended to interactively deliver computational resources to the user thus providing virtual desktop as a service. Experiments show that the process of creating virtual clusters on demand can be made efficient in both cases.

Представленная работа описывает опыт создания и развёртывания веб-приложения и гридинфраструктуры для решения задач геофизики, требующих большого количества вычислительных ресурсов. В работе представлен обзор технологии и механизма платформы интеграции геофизических приложений с распределёнными вычислительными системами. Разработанная платформа предоставляет собой промежуточное программное обеспечение, предоставляющая удобный доступ к развёрнутым на ее основе геофизическим приложениям. Доступ к приложению осуществляется через веб-браузер. Интеграция новых приложений облегчается за счёт предоставляемого стандартного универсального интерфейса взаимодействия платформы и новым приложением.

Для организации распределённой вычислительной системы применено ПО Gridway, экземпляр которого взаимодействует с виртуализированными вычислительными кластерами. Виртуализация вычислительных кластеров предоставляет новые возможности при утилизации вычислительных ресурсов по сравнению с традиционными схемами организации кластерного ПО.

В качестве пилотной задачи использована обратная задача определение параметров анизотропии коры и верхней мантии по данным телесейсмических наблюдений. Для решения использован вероятностный подход к решению обратных задач, основанный на формализме апостериорной функции распределения (АПФР). При этом вычислительная задача сводится к табулированию многомерной функции. Результат вычислений представлен в удобном для анализа высокоуровневом виде, доступ и управление осуществляется при помощи СУБД. Приложение предоставляет инструменты анализу АПФР: расчет первых моментов, двумерные маргинальные распределения, двумерные сечения АПФР в точках ее максимума. При тестировании веб-приложения были выполнены вычислены как синтетических, так и для реальных данных.

We'd like to present a specific grid infrastructure and web application development and deployment. The purpose of infrastructure and web application is to solve particular geophysical problems that require heavy computational resources. Here we cover technology overview and connector framework internals. The connector framework links problem-specific routines with middleware in a manner that developer of application doesn't have to be aware of any particular grid software. That is, the web application built with this framework acts as an interface between the user 's web browser and Grid's (often very) own middleware.

Our distributed computing system is built around Gridway metascheduler. The metascheduler is connected to TORQUE resource managers of virtual compute nodes that are being run atop of compute cluster utilizing the virtualization technology. Such approach offers several notable features that are unavailable to bare-metal compute clusters.

The first application we've integrated with our framework is seismic anisotropic parameters determination by inversion of SKS and converted phases. We've used probabilistic approach to inverse problem solution based on a posteriory probability distribution function (APDF) formalism. To get the exact solution of the problem we have to compute the values of multidimensional function. Within our implementation we used brute-force APDF calculation on rectangular grid across parameter space.

The result of computation is stored in relational DBMS and then represented in familiar human-readable form. Application provides several instruments to allow analysis of function's shape by computational results: maximum value distribution, 2D cross-sections of APDF, 2D marginals and a few other tools. During the tests we've run the application against both synthetic and observed data.

Использование сервис-ориентированного подхода способно повысить производительность научных исследований за счет возможности публикации и совместного использования вычислительных приложений, а также автоматизации вычислительных процессов. Everest — облачная платформа, позволяющая исследователям с минимальной квалификацией публиковать и использовать научные приложения в виде сервисов. В отличие от существующих решений, Everest выполняет приложения на подключенных пользователями вычислительных ресурсах, реализует гибкое связывание ресурсов с приложениями и поддерживает программный доступ к функциональности платформы. В статье рассматриваются текущая реализация платформы, новые разработки и направления дальнейших исследований.

The use of service-oriented approach in scientific domains can increase research productivity by enabling sharing, publication and reuse of computing applications, as well as automation of scientific workflows. Everest is a cloud platform that enables researchers with minimal skills to publish and use scientific applications as services. In contrast to existing solutions, Everest executes applications on external resources attached by users, implements flexible binding of resources to applications and supports programmatic access to the platform's functionality. The paper presents current state of the platform, recent developments and remaining challenges.

Многовариантные расчеты являются чрезвычайно важным классом приложений, обычно определяемых как набор вычислительных задач, определенных на множестве входных параметров и запускаемых с различными значениями данных параметров. Необходимость такого рода вычислений возникает во многих научных областях. Данная статья рассматривает веб-сервис, реализующий запуск данных приложений в распределенной вычислительной среде, а также облачную платформу Everest, на базе которой реализован данный сервис.

Parameter sweep applications are a very important class of applications, which are typically defined as a set of computational experiments over a set of input parameters, each of which is executed with its own parameter combination. These computations arise in many scientific contexts. This article introduces the Parameter Sweep web service that runs such applications in distributed computing environment. Also discussed is the Everest cloud platform, on which this service is built.