В связи с увеличением объема информации получаемой в ходе эксперимента ALICE на Большом Адронном Коллайдере, повышаются требования к системам сбора данных с детекторов, таких как увеличение пропускной способности. Одним из возможных методов решения данной проблемы является использование TRB-3 платформы. Решение представляет собой глубокую модернизацию существующей модели сбора данных.
Введение
Эксперимент ALICE (A Large Ion Collider) [
ALICE использует более 100 000 процессоров, развернутых в ГРИД [
Размеры детектора ALICE составляют 16 метров в высоту и 20 метров в длину. Он состоит из следующих элементов, позволяющих своевременно отслеживать и идентифицировать все частицы, генерируемые в столкновениях БАК: ● сверхпроводящий магнит ● внутренняя система слежения ● камера слежения ● калориметр ● спектрометр мюонов ● триггер
Однако, в связи с увеличением объема информации получаемой в ходе эксперимента,
повышаются требования к системам сбора данных с детекторов, например увеличение
пропускной способности. Одним из возможных методов решения данной проблемы является
использование TRB-3[
ALICE DAQ
На Рис. 1 представлена схема ALICE Data Acquisition(DAQ) [5]. Эта система имеет полностью управляемую распределенную архитектуру. На каждом этапе осуществляется автономная маршрутизация через цепочку обработки от источника до адресата. Данная схема работает следующим образом: ● Сначала идет считывание детектора; ● Затем, Central Trigger Processor(CTP) формирует решение для Local Trigger Units(LTU) каждого детектора, показания которого необходимо снять; ● LTU передает эти решения по сети TTC (Trigger, Timing and control); ● Данные вводятся в систему электроникой детектора Front-End и Read-Out (FERO) после приема соответствующих сигналов; ● Все данные передаются с помощью протокола DDL(Detector Data Links) и принимаются DAQ Read-Out Receiver Card(D-RORC), которая передает их в PC с использованием технологии Direct-Access Memory(DMA). Следующий шаг реализован с помощью Global Data Collectors(GDC).
● GDC объединяют данные, переданные непосредственно с детекторов, после обработки, выполняемой фермой HLT. Механизм распределения нагрузки между GDC контролируется с помощью Event Destination manager(EDM); ●
GDC записывают события в файлы, которые хранятся в Transient Data Storage(TDS), которые являются временным буфером, расположенным в экспериментальной области и которые имеют емкость, достаточную для нескольких часов непрерывного сбора данных; ● TDS Manager(TDSM) считывают файлы с данными и переносят их в Permanent Data Storage(PDS) в вычислительный центр ЦЕРН, расположенный в нескольких километрах от экспериментальной области.
Рисунок 1. ALICE Data Acquisition system Платформа TRB-3
Платформа TRB-3(Trigger Read-out board) была спроектирована в Германии под руководством Микаеля Траклера. Она представляет собой 4+1 FPGA(Field Progammable Gate Array) плату, состоящую из следующих элементов: ● Центральная триггерная система (Central Trigger System); ● 64+1 FPGA-совместимых каналов TDC(Time-to-Digital Converter); ● 8 портов SFP(Small From-factor Pluggable), обеспечивающих высокую пропускную способность. ● ● ● К преимуществам данной платформы можно отнести следующие: Для сбора данных необходимо 48В и 1Г/бит интернет соединение; Максимальная частота работы 50Мгц; Максимальная скорость считывания данных 300 КГц; ● Возможность одновременного использования консольных команд и интерфейса управления, реализованного с помощью технологии Web 2.0. ● Управление центральной триггерной системой происходит на одной Web-странице, данные которой обновляются каждую секунду автоматически, а также контекстнозависимая информация находится в непосредственной близости от элементов управления. Xilinx Development Board Kintex KC705
Данная платформа является официальной платформой разработки в Европейской организации ядерных исследований(ЦЕРН) и представляет собой оценочную плату KC705 для FPGA Kintex®-7[5], обеспечивающую аппаратную среду для разработки и оценки проектов, ориентированных на FPGA Kintex-7 XC7K325T-2FFG900C.
Плата KC705 предоставляет функции, общие для многих встроенных систем обработки, такие как: ● память DDR3 SODIMM; ● 8-полосный PCI Express® интерфейс; ● трехрежимный Ethernet PHY; ● ввод / вывод общего назначения и интерфейс UART.
Другие функции могут быть добавлены с помощью FPGA Mezzanine Cards (FMC), прикрепленных к любому из двух мезонинных разъемов VITA-57 FPGA, представленных на плате. Предусмотрены высокочастотные счетчики (HPC) и низкочастотные (LPC) FMC. Технология сбора данных
На Рис. 2 представлена схема системы сбора данных на основе TRB-3, с использованием Xilinx Development Board KC705. Она функционирует следующим образом: Получая данные с детектора, TRB-3 отправляет их по оптоволоконной линии на PC, сохраняющего эти данные в файлы данных. Передача данных осуществляется с помощью оптической линии.
Далее данные из файлов данных с помощью Xilinx KC705 передаются во временное хранилище данных с использованием GBT[6] протокола.
Проект GBT является частью «Проекта радиационно-стойкой оптической линии связи», целью которого является разработка двунаправленной оптической линии связи, предназначенной для использования на БАК. Проект нацелен на передачу данных между электроникой на детекторе (так называемая «on-chamber electronics») и электроникой детектора, обслуживающей одновременно приложения, такие как сбор данных, синхронизация, триггер и контроль эксперимента.
Рисунок 2. Схема сбора данных Результаты Планы
В результате проделанной работы создан прототип перспективной системы сбора данных на основе TRB-3.
●
Проведение тестов с реальными данными; ● Создание математической модели прототипа; ● Стресс-тесты с использованием больших потоков данных. Список литературы [5] Xilinx main page // URL://www.xilinx.com [6] Implementing the GBT data transmission protocol in FPGAs // S. Baron, J.P. Cachemiche, F. Marin, P. Moreira, C. Soos, URL://https://cds.cern.ch/record/1236361/files/p631.pdf In connection with the increase in the amount of information obtained during the ALICE experiment at the Large Hadron Collider, the requirements for systems for collecting data from detectors, for example, an increase in throughput, are increasing. One possible solution to this problem is to use the TRB-3 platform. The solution is a deep upgrade of the existing data collection model.