В статье рассматриваются архитектура, компоновка и сравнительные технические характеристики перспективных реконфигурируемых вычислительных систем (РВС) на основе программируемых логических интегральных схем (ПЛИС) семейства Xilinx Virtex UltraScale c жидкостным охлаждением. В статье приводятся результаты расчетов, макетирования и экспериментальной проверки основных технических решений созданного вычислительного модуля. Рассматриваются технологии построения высокопроизводительных вычислительных систем с помощью вычислительного модуля с жидкостным охлаждением. РВС нового поколения на основе вычислительного модуля с жидкостным охлаждением позволяют достичь производительности 1 Пфлопс в стандартном вычислительном шкафу высотой 47U при потребляемой мощности 150 кВт, обеспечивая, тем самым, существенное преимущество по таким технико-экономическим параметрам, как реальная и удельная производительность, энергоэффективность, массогабаритные характеристики и другим по сравнению с аналогичными системами. Ключевые слова: реконфигурируемые вычислительные системы, программируемые логические интегральные схемы, жидкостное охлаждение, вычислительный модуль, высокопроизводительные вычислительные системы, реальная и удельная производительность, энергоэффективность.
кристаллов ПЛИС, объединенных в вычислительные поля посредством высокоскоростных каналов передачи данных.
Спектр выпускаемых и проектируемых изделий достаточно широк: от полностью автономных малогабаритных реконфигурируемых ускорителей (вычислительных блоков), вычислительных модулей в настольном или стоечном конструктивном исполнении до вычислительных систем, состоящих из нескольких вычислительных шкафов, размещаемых в специально оборудованном машинном зале.
Реконфигурируемые вычислительные системы, содержащие большие вычислительные поля ПЛИС, находят применение для решения вычислительно трудоемких задач в различных областях науки и техники, поскольку обладают рядом существенных преимуществ по сравнению с многопроцессорными вычислительными системами кластерной архитектуры: высокими реальной и удельной производительностями, высокой энергоэффективностью и др. 2. Перспективные реконфигурируемые системы на основе ПЛИС Xilinx UltraScale
В 2010-2014 годах для построения реконфигурируемых вычислительных систем (РВС) использовалась открытая масштабируемая архитектура[], которая позволила существенно увеличить плотность компоновки кристаллов ПЛИС семейств Xilinx Virtex-5, Virtex-6 и Virtex-7 в вычислительном модуле. Дальнейшим развитием открытой масштабируемой архитектуры [7] является использование в новых разрабатываемых изделиях перспективной элементной базы – ПЛИС Xilinx нового поколения семейства UltraScale, выполненных по технологии 20 нм и обладающих сниженным энергопотреблением и повышенным быстродействием по сравнению с ПЛИС Xilinx Virtex-7.
Переход к использованию семейства UltraScale, несмотря на снижение энергопотребления кристаллов Virtex UltraScale по сравнению с Virtex-7 в пересчете на 1 миллион эквивалентных вентилей, требует существенного повышения эффективности системы охлаждения вычислительного модуля. Одним из последних вычислительных модулей с воздушным охлаждением является реконфигурируемый вычислительный блок «Калеано-U», который придет на смену серийно выпускаемым РВБ «Калеано-К» и «Калеано-V». 2.1 Реконфигурируемый вычислительный блок на основе ПЛИС UltraScale РВБ «Калеано-U» выполнен в конструктиве высотой 1U, но, в отличие от своих предшественников «Калеано-К» и «Калеано-V»[], содержит четыре ПЛИС Xilinx UltraScale XCVU095 объемом 95 млн. эквивалентных вентилей каждая, что позволит создать вычислительное поле общим объемом 380 млн. эквивалентных вентилей. Структурная схема РВБ «Калеано-U» и эскиз компоновки платы показаны на рис. 1.
а) б) Рис. 1. РВБ «Калеано-U» (а - структурная схема, б - эскиз компоновки платы РВБ) На рис. 1 обозначены: - DD1-DD4 – вычислительные ПЛИС Xilinx UltraScale XCVU095; - DD5 – ПЛИС контроллера ПВМ Xilinx UltraScale XCKU040; - A1-A9 – модули распределенной памяти; - X2-X4, X7-X12 – разъемы различных типов интерфейсов.
По сравнению с предыдущей версией РВБ «Калеано-V» производительность РВБ «Калеано-U» возрастет в 1,7–1,8 раза при увеличении потребляемой мощности не более чем в 1,3 раза. 2.2 РВС с жидкостным охлаждением на основе ПЛИС UltraScale ствами:
- Нечувствительность к протечкам и их последствиям, возможность эксплуатации системы даже при наличии местных протечек хладагента;
- Нечувствительность к климатическим характеристикам помещения вычислительного зала;
- решение проблемы охлаждения остальных элементов РВС, т.к плата вычислительного модуля погружена в хладагент; - возможность изменения конфигурации платы вычислительного модуля без изменения системы охлаждения;
- простота гидравлической балансировки системы благодаря отсутствию сложной системы коллекторов;
- возможность использования как унифицированных механизмов, узлов и деталей для гидравлических систем общего машиностроения, так и накопленного опыта эксплуатации электрооборудования с использованием трансформаторных масел; - повышение общей надежности системы жидкостного охлаждения.
Вместе с тем, недостатками систем жидкостного охлаждения открытого типа являются: - необходимость дополнительного насосного и теплообменного оборудования для улучшения теплотехнических свойств (теплопроводность, теплоемкость, вязкость) хладагента, в роли которого используются специальные диэлектрические органические жидкости; - необходимость обучения обслуживающего персонала и соблюдение повышенных мер безопасности при работе с хладагентом;
- необходимость более частой очистки помещения машинного зала из-за высокой проникающей способности хладагента, особенно в случае протечки;
- необходимость специальной оснастки для регламентных и аварийных эксплуатационных операций (монтаж/демонтаж вычислительного модуля, залив/слив хладагента и т.д.); - повышение стоимости эксплуатации из-за необходимости регулярной замены хладагента по истечении срока службы и необходимость организации учета (транспортирование, прием, учет, хранение, выдача, утилизация хладагента и т. д.) хладагента в организации. Рис. 2. Эскиз вычислительной системы на основе жидкостного охлаждения (а - эскиз ВМ «Скат-8», б - эскиз вычислительной стойки на основе ВМ «Скат-8») Таблица 1. Производительность и потребляемая мощность перспективной РВС на основе ПЛИС Xilinx UltraScale Характеристика Производительность ВМ «Скат-8» Производительность вычислительной стойки на основе ВМ «Скат-8» Потребляемая мощность ВМ «Скат-8» Потребляемая мощность вычислительной стойки на основе ВМ «Скат-8»
На основе производимых в «НИЦ СЭ и НК» реконфигурируемых систем можно проследить темпы роста производительности РВС при переходе от семейства к семейству ПЛИС (таблица 2).
Таблица 2. Производительность реконфигурируемых суперЭВМ Изделие, год выпуска, семейство ПЛИС «Орион-5», 2009 год, Virtex-5 «Ригель», 2010/2012 год, Virtex-6 «Тайгета», 2012/2013 год, Virtex-7 «Скат», 2015/2016 год, UltraScale Производитель
ность платы Pi32/Pi64, Гфлопс Производитель
ность ВМ
Pi32/Pi64, Гфлопс 250/85 400/125 Таким образом, для разработки РВС с жидкостным охлаждением открытого типа в основу критериев проектирования вычислительного модуля нового поколения были положены следующие принципы:
- основой конфигурации вычислительного шкафа является вычислительный модуль с размерами 3U на 19" и автономной циркуляцией охлаждающей жидкости;
- в одном вычислительном шкафу должно размещаться не менее 12 вычислительных модулей с жидкостным охлаждением;
- в одном вычислительном модуле должно размещаться до 16 плат с установленными на них кристаллами ПЛИС; - на каждой плате РВС должно быть размещено до 8 ПЛИС с выделяемым тепловым потоком до 100 Вт от каждой ПЛИС;
- для охлаждения жидкости должна использоваться традиционная система водяного охлаждения на базе промышленных чиллеров;
На рис. 3 представлен первый образец вычислительного модуля с жидкостным охлаждением «Скат», на рис. 4 - доработанный образец вычислительного модуля с предназначенным для перекачки углеводородов насосом.
Рис. 3. Первый образец системы «Скат» Рис. 4. Доработанный образец системы «Скат» В настоящее время проводится опытная эксплуатация созданного технологического образца вычислительного модуля «Скат» с жидкостным охлаждением с целью определения предельно допустимых значений эксплуатационных параметров при различных предполагаемых режимах эксплуатации (рис. 5).
Рис. 5. Опытная эксплуатация технологического образца вычислительного модуля системы «Скат» На основе представленного конструктивного исполнения в 2015-2016 годах будут созданы сверхпроизводительные вычислительные комплексы, в которых обеспечивается эффективное охлаждение вычислительных ПЛИС как семейства UltraScale, так и следующего прогнозируемого семейства ПЛИС. Требования к новой конструкции РВС для жидкостного охлаждения: - для охлаждения жидкости должна использоваться традиционная система водяного охлаждения на базе промышленных чиллеров; - основой конфигурации серверной является базовый модуль с размерами 3U на 19" и автономной циркуляцией охлаждающей жидкости; - в одной серверной стойке должно размещаться не менее 12 модулей; - в одном базовом модуле должно размещаться до 16 плат РВС; - на каждой плате РВС размещено 8 ПЛИС с выделяемым тепловым потоком до 100 Вт от каждой ПЛИС. 5. Заключение
ПЛИС как элементная база реконфигурируемых суперЭВМ, согласно данным таблицы 3, обеспечивают устойчивый, близкий к линейному, рост производительности РВС, открывая новые перспективы по созданию суперкомпьютеров петафлопсной производительности. Можно утверждать, что конструктивные решения, положенные в основу перспективных вычислительных модулей на основе ПЛИС Xilinx Virtex UltraScale, позволят сосредоточить в пределах одной вычислительной стойки высотой 47U мощный вычислительный ресурс и обеспечить удельную производительность РВС на основе ПЛИС Xilinx Virtex UltraScale на уровне лучших мировых показателей для суперЭВМ с кластерной архитектурой. Это позволяет рассматривать РВС на основе ПЛИС Xilinx Virtex UltraScale как основу для создания высокопроизводительных вычислительных комплексов нового поколения, обеспечивающих высокую эффективность вычислений и близкий к линейному рост производительности при наращивании вычислительного ресурса. Литература 10. Libero IDE v9.1 User’s Guide. Actel Corporation 2010. Reconfigurable computer system based on Virtex UltraScale
FPGAs with liquid cooling
I.I. Levin1, A.I. Dordopulo2, Y.I. Doronchenko1, M.K. Raskladkin1 The paper covers architecture, circuit layout and comparative technical characteristics of the next-generation reconfigurable computer systems (RCS) based on Xilinx Virtex UltraScale FPGAs with liquid cooling. The paper contains results of design, prototyping and experimental testing of the principal technical solutions of the created computational module, and deals with the design technology of high-performance computer systems with the help of computational module with liquid cooling. The next-generation RCSs based on the computational module with liquid cooling provide the performance of 1 PetaFlops in a standard 47U computational cabinet with the power of 150 kWatt, and a considerable gain in such technical and economic parameters as real and specific performance, power efficiency, mass and dimension characteristics and others in comparison with similar systems.
Keywords: reconfigurable computer systems, FPGA, liquid cooling, computational module, high-performance computer systems, real and specific performance, power efficiency. 10. Libero IDE v9.1 User’s Guide. Actel Corporation 2010. 12. http://www.altera.com/literature/lit-opencl-sdk.jsp (accessed: 27.11.2015) 13. http://www.mitrionics.com (accessed: 27.11.2015)