Все выпуски

В данной работе рассматривается идея системы информационной поддержки научных проектов и построение комплекса слежения за вычислительными задачами. Ввиду больших потребностей в вычислительных экспериментах предоставление информации о вычислительных задачах на HPC-ресурсах становится одной из важнейших проблем. В качестве решения этой проблемы предлагается нестандартное использование системы service desk — построение на ее базе комплекса слежения за выполнением вычислительных задач на распределенной системе и ее сопровождения. Особое внимание в статье уделено анализу и удовлетворению противоречивых требований к комплексу со стороны разных групп пользователей. Помимо этого, рассмотрена система веб-служб, служащая для интеграции комплекса слежения с окружением датацентра. Данный набор веб-служб является основным связующим компонентом системы поддержки научных проектов и позволяет гибко изменять конфигурацию системы в целом в любое время с минимальными потерями.

В статье рассматривается подход совершенствования технологий обработки информации на основе логико-семантической сети (ЛСС) «Вопрос–ответ–реакция», направленный на формирование и поддержку каталожной службы, обеспечивающей эффективный поиск ответов на вопросы [Большой энциклопедический словарь, 1998; Касавин, 2009]. В основу такой каталожной службы положены семантические связи, отражающие логику изложения авторской мысли в рамках данной публикации, темы, предметной области. Структурирование и поддержка этих связей позволят работать с полем смыслов, обеспечив новые возможности для исследования корпуса документов электронных библиотек (ЭБ) [Касавин, 2009]. Формирование каталога информационного фонда (ИФ) включает: формирование лексического словаря ИФ; построение дерева классификации ИФ по нескольким основаниям; классификация ИФ по вопросно-ответным темам; формирование поисковых запросов, адекватных дереву классификации вопросно-ответных тем (таблица соответствия «запрос → ответ ↔ {вопрос–ответ–реакция}»); автоматизированный поиск запросов по тематическим поисковым машинам; анализ ответов на запросы; поддержка каталога ЛСС на этапе эксплуатации (пополнение и уточнение каталога). Технология рассматривается для двух ситуаций: 1) ИФ уже сформирован; 2) ИФ отсутствует, его необходимо создать.

В статье рассмотрено сообщество российских участников добровольных распределенных вычислений (ДРВ), реализуемых на открытой программной платформе BOINC. Для проведения статистического анализа активности российских участников ДРВ использованы данные, полученные при работе с API BOINC, приложением BOINC, и сайтом boincstats.com. Скрипт для получения данных и создания соответствующей базы данных с этого сайта был написан на PHP, для хранения данных, использовались базы данных MySQL.

В базе данных были аккумулированы показатели по всем российским проектам, включая архивные, что позволило рассчитать показатели, характеризующие поведение российских участников во всех проектах и командах BOINC — абсолютное и относительное количество российских участников, активность участия, количество привнесенных очков в систему, количество участников в каждом из российских проектов, заинтересованность участников в концепции ДРВ.

Показано, что позиции России в рейтинге стран очень низки и сохраняются практически на одном уровне в течение 4 лет. По мнению авторов исследования, низкие показатели поведения российских участников ДРВ, обусловлены индивидуализмом и закрытостью российских Интернет-пользователей, а также малым интересом к развитию фундаментального научного знания, научному поиску, что, возможно, связано с низким авторитетом как науки в целом, так и гражданской науки, краудсорсинга, в частности, и, соответственно, недостаточном распространении идей использования механизма добровольных распределённых вычислений для реализации исследовательских проектов.

Целью данной работы является ознакомление с технологиями хранения больших данных и перспективами развития технологий хранения для распределенных вычислений. Приведен анализ популярных технологий хранения и освещаются возможные ограничения использования.

Основными проблемами развития технологий хранения данных являются хранение сверхбольших объемов данных, отсутствие качества в обработке таких данных, масштабируемость, отсутствие быстрого доступа к данным и отсутствие реализации интеллектуального поиска данных.

В работе рассматриваются особенности организации системы управления данными (DMS) программного продукта DIRAC. Приводится описание устройства, функциональности и способов работы с сервисом передачи данных (Data transfer service) для экспериментов физики высоких энергий, которые требуют вычисления задач с широким спектром требований с точки зрения загрузки процессора, доступа к данным или памяти и непостоянной загрузкой использования ресурсов.