Дается краткий обзор развития глобальной грид-инфраструктуры проекта WLCG (Worldwide LHC Computing Grid или Всемирный грид для Большого адронного коллайдера). Особое внимание уделяется архитектуре распределенного хранения сверхбольших объемов данных. Дается краткая информация о проектах развития средств мониторинга и управления распределенными файловыми системами, выполненных в ОИЯИ: система мониторинга сервиса передачи файлов FTS развитие системы управления распределенными данными эксперимента ATLAS, система мониторинга центров уровня Tier3 для анализа данных, глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG. Обозначены новые решения и перспективы в обработке «Больших Данных» время невозможно достичь в локальных вычислительных центрах. Наиболее впечатляющие результаты по организации глобальной инфраструктуры распределенных вычислений получены в проекте WLCG (Worldwide LHC Computing Grid или Всемирный грид для Большого адронного коллайдера) в ЦЕРНе при обработке данных с экспериментов на LHC (Large Hadron Collider) или БАК (Большой адронный коллайдер). На семинаре 4 июля 20012 года, посвященном наблюдению бозона Хигса, директор ЦЕРНа Р.Хойер дал высокую оценку грид-техноло-гиям и их значимости для мировой науки. Без организации грид-инфраструктуры на LHC было бы невозможно обрабатывать и хранить колоссальный объем данных, поступающих с коллайдера, а значит и совершать научные открытия. Сегодня уже ни один крупный научный проект не осуществим без использования распределенной инфраструктуры для обработки данных. Задача организации компьютинга для экспериментов на БАК была совершенно беспрецедентной, поскольку требовалось: - обеспечить быстрый доступ к массивам данных колоссального объема; - обеспечить прозрачный доступ к географически распределенным ресурсам; - создать протяженную надежную сетевую инфраструктуру в гетерогенной среде. Была разработана базовая модель компьютинга для экспериментов БАК как иерархическая централизованная структура региональных центров, включающая в себя центры нескольких уровней. Суть распределенной модели архитектуры компьютерной системы состоит в том, что весь объем информации с детекторов БАК после обработки в реальном времени и первичной реконструкции (восстановления треков частиц, их импульсов и других характеристик из хаотического набора сигналов от различных регистрирующих систем) должен направляться для дальнейшей обработки и анализа в региональные центры разных уровней или ярусов (Tier's): Tier0 (CERN) Tier1 Tier2 Tier3 компьютеры пользователей. Уровни различаются по масштабу ресурсов (сетевые, вычислительные, дисковые, архивные) и по выполняемым функциям:
1. Грид-инфраструктура для обработки и хранения данных Большого адронного коллайдера (WLCG)
Развитие исследований в физике высоких энергий, астрофизике, биологии, науках о Земле и других научных отраслях требует совместной работы многих организаций по обработке большого объема данных в относительно короткие сроки. Для этого необходимы географически распределенные вычис-лительные системы способные передавать и прини-мать данные порядка сотен терабайт в сутки, одно-временно обрабатывать сотни тысяч задач и долго-временно хранить сотни петабайт данных.
Современные грид-инфраструктуры обеспечивают интеграцию аппаратурных и программных ресурсов, находящихся в разных организациях в масштабах стран, регионов, континентов в единую вычислительную среду, позволяющую решать задачи по обработке сверхбольших объемов данных, чего в настоящее ТТррууддыы 1144--йй ВВссееррооссссииййссккоойй ннааууччнноойй ккооннффееррееннццииии ««ЭЭллееккттрроонннныыее ббииббллииооттееккии:: ппееррссппееккттииввнныыее ммееттооддыы ии ттееххннооллооггииии,, ээллееккттрроонннныыее ккооллллееккццииии»» —— RRCCDDLL--22001122,, ППеерреессллааввлльь--ЗЗааллеессссккиийй,, РРооссссиияя,, 1155--1188 ооккттяяббрряя 22001122 гг..
Tier0 (ЦЕРН) - первичная реконструкция событий, калибровка, хранение копий полных баз данных;
Tier1 - полная реконструкция событий, хранение актуальных баз данных по событиям, создание и хранение наборов анализируемых событий, моделирование, анализ;
Tier2 - репликация и хранение наборов анализируемых событий, моделирование, анализ.
В рамках этого проекта были проработаны требования к ресурсам и функции региональных центров уровней Tier0, Tier1, Tier2. Разработанная модель была реализована и успешно функционирует с момента запуска Большого адронного коллайдера в 2009 году. Ежегодно собираются и обрабатываются данные объемом в десятки и даже сотни петабайт.
В настоящее время проект WLCG объединяет более 150 грид-сайтов, более 300 000 ЦПУ, более 250 Пбайт систем хранения данных на дисках и ленточных роботах. С начала 2012 года до начала сентября на грид-инфраструктуре WLCG было выполнено более 430 миллионов задач обработки и анализа данных с экспериментов на LHC, которые использовали 10.5 миллиардов часов процессорного времени в единицах HEPspec06.
Рис. 1. Распределение процессорного времени проекта WLCG по странам за 2012 год до сентября.
На рис.1 показано распределение процессорного времени по странам WLCG, в котором: США - 36%, Великобритания – 11%, Германия – 9%, Франция и Италия – по 8%, Канада- 5%, Швейцария – 4%, Испания и Нидерланды по 3%, Россия - 2 %.
Рис. 2. Распределение процессорного времени
проекта WLCG по российским грид-сайтам в течение 2012
года: ОИЯИ (Дубна) – 46%, НИЦ «Курчатовский
институт» - 19%, ИФВЭ (Протвино) -16%, ПИЯФ
(Гатчина) и ИЯИ (Троицк) – по 5%, ИТЭФ 4%, НИИЯФ
МГУ – 3%, ФИАН-2%
На российских грид-сайтах, участвующих в
обработке и анализе данных экспериментов на LHC
[
Подсистема управления данными включает три сервиса, поддерживающие доступ к файлам: - ресурс хранения данных (Storage Element, SE), - сервис каталогов (Catalog Services, CS), - планировщик передачи данных (Data Scheduler, DS). Общая структура каталогов подсистемы управления данными представлена на Рис 3.
Рис.3 Каталоги данных Таблицы соответствия между первоначальными названиями файлов (Logical File Name, LFN), уникальными идентификационными номерами (Glbally Unique Identifier, GUID) и названиями файлов на конкретных сайтах (Site URL, SURL) хранятся в каталоге LCG File Catalog (www.gridpp.ac.uk/wiki/LCG_File_Catalog), объединяющем в себе функции файлового каталога и каталога реплик. Сервис каталога файлов и реплик прослеживает наличие файлов с данными на разных ресурсах хранения данных и обеспечивает сопоставление логических имен файлов (LNF) , под которыми к ним обращается пользователь, их уникальным в гриде универсальным именам (GUID), под которыми файлы (возможно в виде нескольких копий – реплик, SURL) хранятся в ресурсных центрах грид-инфраструктуры.
Для организации хранения данных в среде грид
используются различные системы и сервисы.
Наиболее распространены следующие из них: Castor
[
Для обеспечения необходимой надежности,
производительности и организации взаимодействия
между остальными сервисами управления данными
был создан сервис передачи данных — FTS (File
Transfer Service) [
Site1 Storage system
CASTOR dCache
FTS SRM
FTS SRM
Site2
Storage system
CASTOR dCache Рис.DP4M. Схема функциGоrнidFиTрPования сервисаDPFMTS Большое развитие и распространение в гридсреде получила распределенная файловая система Xrootd, направленная на высокопроизводительный, масштабируемый и отказоустойчивый доступ к хранилищам данных многих видов.
Доступ к данным основан на масштабируемой архитектуре, протоколе связи, а также наборе плагинов и инструментов. Xrootd обеспечивает удобный для пользователя и быстрый доступ к данным любого вида. Данные должны быть организованны в виде иерархической файловой системы, как пространства имен, основанные на концепции каталога.
Xrootd включает такие сложные функции, как аутентификация/авторизация, интеграция с другими системами, создание новых иерархий и федераций глобально распределенных данных.
3. Развитие средств мониторинга и управления распределенными системами хранения в ОИЯИ
ОИЯИ активно участвует развитии европей-ской
и российской грид-инфраструктуры, в первую
очередь в проекте WLCG [
Сотрудники ОИЯИ приняли активное участие в развитии глобальных систем мониторинга и управления распределенными хранилищами данных. Представлены наиболее значимые проекты в этом направлении.
3.1. Система мониторинга сервиса передачи файлов FTS
Была разработана системы мониторинга сервиса
передачи файлов FTS [
Система опопвещения Иснрфпарбоаорвтмаиавлцшаихияхо Порпсаоиввсиетлщеамеыднлияя
Экспертная система Правила Знания Состояния Действия Информационные таблицы Каналы Сайты Необработанная информаци пУедраечднаычеи Нпееурдеадчанчыие пакеты Триггеры
FTS BD Системные таблицы Обработанная информация Осшахийобтсаткиаххина каОншалиаВбхОкииндаля икнафнОаорлбмащхаацияиВяОо Рис. 5 Модель данных системы мониторинга FTS Информация о срабатывании триггера может быть получена из специальной таблицы, что существенно упрощает использование механизма оповещений. Благодаря механизму оповещений значительно упрощается работа администраторов сервиса. На рис. 5 представлена модель данных системы мониторинга сервиса FTS
Предоставляется следующая информация о каналах передачи данных сервиса FTS с детализацией по грид-сайтам и виртуальным организациям (выдаваемая информация относится к выбранному пользователем промежутку времени): количество передач файлов; абсолютное и относительное число успешных и неуспешных передач; выявленные причины возникающих ошибок (несколько первых в цепочке) и их количественное соотношение в общем числе ошибок; средний размер переданных файлов; среднее время передачи; средняя скорость передачи данных в канале; объем переданных и полученных данных. 3.2. Развитие распределенными ATLAS
системы данными
управления эксперимента Система управления распределенными данными DQ2 коллаборации ATLAS отвечает за репликацию, доступ и учет данных на распределенных гридсайтах, обеспечивающих обработку данных коллаборации. Она также реализует политику управления данными, определенную в вычислительной модели ATLAS.
В 2010 году возникла необходимость разработать
новую архитектуру сервиса удаления данных для
обеспечения целостности распределенного хранения
информации эксперимента ATLAS. Сервис
удаления данных один из основных сервисов DQ2.
Этот распределенный сервис взаимодействует с
различным промежуточным программным
обеспечением грид и DQ2 каталогами для обслуживания
запросов на удаление [
Проект глобального мониторинга Tier3 центров (T3mon) направлен на разработку программного комплекса для мониторинга Tier3 сайтов, как с точки зрения локального администратора сайта, так и с точки зрения администратора виртуальной организации АТLАS.
Реализация этого проекта имеет огромное значение для координации работ в рамках виртуальной организации, так как обеспечивается глобальный взгляд на вклад Tier3 сайтов в вычислительный процесс. Схема функционирования основных вариантов Tier3 центров и их взаимодействие с системой глобального мониторинга представлена на рис. 6. Рис. 6. Схема функционирования основных вариантов Tier3 центров и их взаимодействие с системой глобального мониторинга. 3.4. Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG.
Рис. 7 Архитектура универсальной системы мониторинга передачи файлов
В рамках совместного проекта РФФИ-ЦЕРН
«Глобальная система мониторинга передачи данных
в инфраструктуре проекта WLCG», разработан
прототип универсальной системы мониторинга [
Tier3) - принадлежности данных определенной виртуальной организации; - передавать с высокой степенью надежности собранную информацию в центральное хранилище; - обрабатывать собранные данные для предоставления различным потребителям; - предоставлять пользовательские и программмные интерфейсы для получения данных.
Для обработки данных БАК требуется распределенное управление данными и поддержка очень высоких скоростей передачи огромных массивов данных. В этом направлении постоянно совершенствуются сервисы и программные продукты.
Происходит эволюция инфраструктуры и модели компьютинга экспериментов на БАК: - переход от иерархической структуры к сетевой, а в идеале к полно-связной, где возможны связи между центрами всех уровней; - развитие средств распределенного управления данными, поддержка очень высоких скоростей передачи огромных массивов данных; - создание мощных и разнообразных центров уровеня Tier3 для индивидуального анализа данных; - развитие и применение средств виртуализации и облачных вычислений (проект «Helix Nebula – научное облако») Изменяется и модель размещения данных – осуществлен переход к концепции динамического размещения данных и созданию дополнительных их копий и удалению не используемых копий. Эволюция распределенной инфраструктуры и модели компьютинга постоянно развивается в направлении конвергенции технологий. 4.1 Новые решения и перспективы в обработке «Больших Данных»
Постоянно растущие объёмы научных данных
ставят новые задачи перед технологиями
распределённых вычислений и Грид [
A short review of the development of the global Grid-infrastructure within the WLCG project (Worldwide LHC Computing Grid or Worldwide Grid for the Large Hadron Collider) is presented. Particular attention is paid to the architecture of the distributed storage of enormous data volumes. A brief information is given on the projects devoted to the development of tools of monitoring and management of the distributed file systems performed at JINR: a system of monitoring the FTS file transfer service, development of the control system for distributed data of the ATLAS experiment, a system of monitoring the centers of Tier3 level for data analysis, a global system of monitoring data transfer in the infrastructure of the project WLCG. Advanced solutions and perspectives in the processing of "Big Data” are indicated.