Использование грид-технологий для обработки и распределенного хранения сверхбольших объемов данных (сотни петабайт) Кореньков В.В. Объединенный институт ядерных исследований Г. Дубна korenkov@cv.jinr.ru время невозможно достичь в локальных Аннотация вычислительных центрах. Наиболее впечатляющие Дается краткий обзор развития глобальной результаты по организации глобальной грид-инфраструктуры проекта WLCG (World- инфраструктуры распределенных вычислений wide LHC Computing Grid или Всемирный грид получены в проекте WLCG (Worldwide LHC для Большого адронного коллайдера). Особое Computing Grid или Всемирный грид для Большого внимание уделяется архитектуре распределен- адронного коллайдера) в ЦЕРНе при обработке ного хранения сверхбольших объемов данных. данных с экспериментов на LHC (Large Hadron Дается краткая информация о проектах разви- Collider) или БАК (Большой адронный коллайдер). тия средств мониторинга и управления распре- На семинаре 4 июля 20012 года, посвященном деленными файловыми системами, выполнен- наблюдению бозона Хигса, директор ЦЕРНа ных в ОИЯИ: система мониторинга сервиса Р.Хойер дал высокую оценку грид-техноло-гиям и передачи файлов FTS развитие системы управ- их значимости для мировой науки. Без организации ления распределенными данными экспери- грид-инфраструктуры на LHC было бы невозможно мента ATLAS, система мониторинга центров обрабатывать и хранить колоссальный объем уровня Tier3 для анализа данных, глобальная данных, поступающих с коллайдера, а значит и система мониторинга передачи данных в совершать научные открытия. Сегодня уже ни один инфраструктуре проекта WLCG. Обозначены крупный научный проект не осуществим без новые решения и перспективы в обработке использования распределенной инфраструктуры для «Больших Данных» обработки данных. Задача организации компью- тинга для экспериментов на БАК была совершенно беспрецедентной, поскольку требовалось: - обеспечить быстрый доступ к массивам 1. Грид-инфраструктура для обработки и данных колоссального объема; - обеспечить прозрачный доступ к хранения данных Большого адронного географически распределенным ресурсам; коллайдера (WLCG) - создать протяженную надежную сетевую инфраструктуру в гетерогенной среде. Развитие исследований в физике высоких Была разработана базовая модель компьютинга энергий, астрофизике, биологии, науках о Земле и для экспериментов БАК как иерархическая других научных отраслях требует совместной централизованная структура региональных центров, работы многих организаций по обработке большого включающая в себя центры нескольких уровней. объема данных в относительно короткие сроки. Для Суть распределенной модели архитектуры этого необходимы географически распределенные компьютерной системы состоит в том, что весь вычис-лительные системы способные передавать и объем информации с детекторов БАК после прини-мать данные порядка сотен терабайт в сутки, обработки в реальном времени и первичной одно-временно обрабатывать сотни тысяч задач и реконструкции (восстановления треков частиц, их долго-временно хранить сотни петабайт данных. импульсов и других характеристик из хаотического Современные грид-инфраструктуры обес- набора сигналов от различных регистрирующих печивают интеграцию аппаратурных и систем) должен направляться для дальнейшей программных ресурсов, находящихся в разных обработки и анализа в региональные центры разных организациях в масштабах стран, регионов, уровней или ярусов (Tier's): Tier0 (CERN)  Tier1 континентов в единую вычислительную среду, позволяющую решать задачи по обработке  Tier2  Tier3  компьютеры пользователей. сверхбольших объемов данных, чего в настоящее Уровни различаются по масштабу ресурсов (сетевые, вычислительные, дисковые, архивные) и по выполняемым функциям: Труды Труды 14-й 14-й Всероссийской Всероссийской научной научной конференции конференции «Электронные «Электронные библиотеки: библиотеки: перспективные перспективные методы методы ии Tier0 (ЦЕРН) - первичная реконструкция технологии, технологии, электронные электронные коллекции» коллекции» — — RCDL-2012, RCDL-2012, событий, калибровка, хранение копий полных баз Переславль-Залесский, Переславль-Залесский, Россия, Россия, 15-18 15-18 октября октября 2012 2012 г.г. данных; 68 Tier1 - полная реконструкция событий, хранение На российских грид-сайтах, участвующих в актуальных баз данных по событиям, создание и обработке и анализе данных экспериментов на LHC хранение наборов анализируемых событий, [9,10,12] за 2012 год до начала сентября выполнено моделирование, анализ; 14.5 миллионов задач, которые использовали более Tier2 - репликация и хранение наборов 220 миллионов часов процессорного времени в анализируемых событий, моделирование, анализ. единицах HEPspec06 (из них ОИЯИ более 100 миллионов часов). На рис. 2 показана статистика по В рамках этого проекта были проработаны российским центрам. требования к ресурсам и функции региональных центров уровней Tier0, Tier1, Tier2. Разработанная 2 Архитектура подсистемы хранения модель была реализована и успешно функциони- данных рует с момента запуска Большого адронного кол- Подсистема управления данными включает три лайдера в 2009 году. Ежегодно собираются и сервиса, поддерживающие доступ к файлам: обрабатываются данные объемом в десятки и даже сотни петабайт. - ресурс хранения данных (Storage Element, SE), В настоящее время проект WLCG объединяет - сервис каталогов (Catalog Services, CS), более 150 грид-сайтов, более 300 000 ЦПУ, более - планировщик передачи данных (Data Scheduler, 250 Пбайт систем хранения данных на дисках и DS). ленточных роботах. С начала 2012 года до начала Общая структура каталогов подсистемы управления сентября на грид-инфраструктуре WLCG было данными представлена на Рис 3. выполнено более 430 миллионов задач обработки и анализа данных с экспериментов на LHC, которые использовали 10.5 миллиардов часов процессорного времени в единицах HEPspec06. Рис.3 Каталоги данных Таблицы соответствия между первоначальными названиями файлов (Logical File Name, LFN), уникальными идентификационными номерами (Glbally Unique Identifier, GUID) и названиями файлов на конкретных сайтах (Site URL, SURL) Рис. 1. Распределение процессорного времени хранятся в каталоге LCG File Catalog проекта WLCG по странам за 2012 год до сентября. (www.gridpp.ac.uk/wiki/LCG_File_Catalog), объединяющем в себе функции файлового каталога На рис.1 показано распределение процессорного и каталога реплик. Сервис каталога файлов и реплик времени по странам WLCG, в котором: США - 36%, прослеживает наличие файлов с данными на разных Великобритания – 11%, Германия – 9%, Франция и ресурсах хранения данных и обеспечивает Италия – по 8%, Канада- 5%, Швейцария – 4%, сопоставление логических имен файлов (LNF) , под Испания и Нидерланды по 3%, Россия - 2 %. которыми к ним обращается пользователь, их уникальным в гриде универсальным именам (GUID), под которыми файлы (возможно в виде нескольких копий – реплик, SURL) хранятся в ресурсных центрах грид-инфраструктуры. Для организации хранения данных в среде грид используются различные системы и сервисы. Наиболее распространены следующие из них: Castor [5], dCache [6], DPM [7], для взаимодействия с которыми разработан специальный сервис SRM (Storage Resource Manager) [7]. За перемещение данных на физическом уровне отвечает GridFTP— Рис. 2. Распределение процессорного времени протокол, разработанный в проекте Globus [4]. проекта WLCG по российским грид-сайтам в течение 2012 Система dCache [6] ориентирована на хранение года: ОИЯИ (Дубна) – 46%, НИЦ «Курчатовский больших объёмов экспериментальной информации. институт» - 19%, ИФВЭ (Протвино) -16%, ПИЯФ (Гатчина) и ИЯИ (Троицк) – по 5%, ИТЭФ 4%, НИИЯФ Для доступа к файлам dCache используется МГУ – 3%, ФИАН-2% собственные протоколы (например, DCAP), gridFTP или любой протокол доступа к файлам. 69 Для обеспечения необходимой надежности, используются как локальными пользователями производительности и организации взаимодействия ОИЯИ, так и пользователями международных между остальными сервисами управления данными проектов распределенных вычислений, в первую был создан сервис передачи данных — FTS (File очередь экспериментов на Большом адронном Transfer Service) [11], основные обязанности кото- коллайдере (ATLAS, CMS, ALICE). Доступ к рого: обеспечение надежных и удобных механизмов данным обеспечивается программным обеспечением передачи файлов типа «точка-точка», контроль и dCache и Xrootd, которые обеспечивают доступ к мониторинг передач, распределение ресурсов сайта данным как локально, так и глобально для между различными организациями, управление пользователей виртуальных организаций WLCG. запросами пользователей. Ежедневно с помощью Созданы средства мониторинга [17], которые FTS между различными сайтами передаются сотни помогают решать задачу эффективного исполь- тысяч файлов, а объемы составляют сотни терабайт зования системы хранения и балансировки нагрузки в день. FTS предназначен для надежной пересылки на дисковые пулы. Все системы хранения построены файлов между крупными хранилищами данных, в с использованием аппаратного механизма RAID6. первую очередь, между центрами уровня Tier0 и Сотрудники ОИЯИ приняли активное участие в Tier1. На рис. 4 представлена схема функциони- развитии глобальных систем мониторинга и рования сервиса FTS управления распределенными хранилищами дан- Site1 Site2 ных. Представлены наиболее значимые проекты в Storage system Storage system этом направлении. FTS FTS CASTOR CASTOR 3.1. Система мониторинга сервиса передачи файлов FTS dCache SRM SRM dCache Была разработана системы мониторинга сервиса передачи файлов FTS [11]. Интерфейс системы Рис.DPM 4. Схема функционирования GridFTP сервисаDPM FTS состоит из нескольких модулей. У пользователей Большое развитие и распространение в грид- есть возможность начать свою работу с системой среде получила распределенная файловая система непосредственно из интересующего его модуля, Xrootd, направленная на высокопроизводительный, либо с главной страницы, на которой пред-ставлены масштабируемый и отказоустойчивый доступ к общие отчеты, позволяющие определить состояние хранилищам данных многих видов. сервиса и возможные источники проблем. Система предоставляет возможности получения широкого Доступ к данным основан на масштабируемой спектра отчетов, рейтингов, статисти-ческих архитектуре, протоколе связи, а также наборе выкладок и определения коэффициента корреляции плагинов и инструментов. Xrootd обеспечивает для пары ошибок. Практически все отчеты системы удобный для пользователя и быстрый доступ к мониторинга сервиса передачи данных снабжены данным любого вида. Данные должны быть органи- перекрестными ссылками, что очень удобно для зованны в виде иерархической файловой системы, детализации результатов. В системе реализован как пространства имен, основанные на концепции механизм оповещения при сбоях, позволяющий каталога. администратору сервиса соз-дать свои собственные Xrootd включает такие сложные функции, как наборы правил (триггеры), при срабатывании аутентификация/авторизация, интеграция с другими которых будут выполнены определенные действия системами, создание новых иерархий и федераций (отправлены сообщения посредством web- глобально распределенных данных. интерфейса, электронной почты, коротких 3. Развитие средств мониторинга и сообщений sms и т.д.). Триггеры можно создавать для каналов передачи, грид-сайтов, хостов и управления распределенными виртуальных организаций. Реализованы три типа системами хранения в ОИЯИ триггеров: (1) при превышении числа ошибок ОИЯИ активно участвует развитии европей-ской определенного уровня, (2) при изменении уровня и российской грид-инфраструктуры, в первую ошибок более, чем на заданную величину и (3) при очередь в проекте WLCG [13]. Ядром этой превышении процента неудачных передач инфраструктуры является Центральный информа- определенного уровня. Если пользователь работает ционно - вычислительный комплекса (ЦИВК) с триггерами типа 1 и 2, то он может указать ОИЯИ, базирующемся на распределенной модели идентификационный номер определенной ошибки, хранения и обработки данных. ЦИВК ОИЯИ чтобы отслеживать только ее развитие. При работе с организован как единый информационно-вычис- каналами, грид-сайтами и хостами, пользователь лительный ресурс, предназначенный для обеспе- может указать виртуальную организацию для чения всех направлений деятельности Института. В получения необходимых параметров. настоящее время вычислительный комплекс ЦИВК состоит из 2582 64-х битных процессоров и системы хранения данных общей емкостью 1800 Тбайт. Счетные ресурсы и ресурсы для хранения данных 70 Информационные таблицы операций в случае возникновения отказов. Разра- FTS BD Каналы Сайты ботка включала построение нового интерфейса Система опопвещения Триггеры между компонентами сервиса удаления (основан- Информация о сработавших Правила для системы Необработанная информаци ного на технологии веб-сервисов), создание новой правилах оповещения Удачные Неудачные схемы базы данных, перестройку ядра сервиса, передачи передачи Системные разработку интерфейсов с системами массового Экспертная система пакеты таблицы хранения, и развитие системы мониторинга работы Правила Знания сервиса. Сервис разработан, внедрен и поддержи- Состояния Действия Обработанная информация вается сотрудниками ОИЯИ. Данные эксперимента Ошибки на сайтах и Ошибки на каналах и для Общая информация о ATLAS распределены более, чем на 100 грид- хостах ВО каналах и ВО сайтах с общим объемом дискового пространства более 150 петабайт, в котором хранятся сотни Рис. 5 Модель данных системы мониторинга FTS миллионов файлов. Недельный объем удаляемых Информация о срабатывании триггера может данных составляет 2 Пб (20 000 000 файлов). быть получена из специальной таблицы, что Созданный сервис обеспечивает целостность существенно упрощает использование механизма хранения информации в географически распреде- оповещений. Благодаря механизму оповещений ленной среде. значительно упрощается работа администраторов 3.3. Система мониторинга центров уровня Tier3 сервиса. На рис. 5 представлена модель данных для анализа данных. системы мониторинга сервиса FTS Предоставляется следующая информация о Для анализа данных экспериментов БАК стали каналах передачи данных сервиса FTS с детали- использоваться разнообразные вычислительные зацией по грид-сайтам и виртуальным организациям ресурсы (серверы, кластеры, суперкомпьютеры) (выдаваемая информация относится к выбранному центров уровня Tier3, которые находятся вне пользователем промежутку времени): централизованного управления и планирования и на  количество передач файлов; которые не распространяются какие-либо единые  абсолютное и относительное число успеш- требования, касающиеся технических решений. Для ных и неуспешных передач; этих центров характерно большое разнообразие  выявленные причины возникающих ошибок систем хранения данных и систем пакетной обра- (несколько первых в цепочке) и их коли- ботки задач. Было выполнено исследование центров чественное соотношение в общем числе уровня Tier3 для систематизации и обеспечения ошибок; средств интеграции с центрами уровня Tier2. В результате этого исследования было выявлено около  средний размер переданных файлов; 40 различных вариантов конфигураций программно-  среднее время передачи; аппаратных комплексов Tier3. Необходимо было  средняя скорость передачи данных в канале; реализовать все варианты комплексов Tier3 для  объем переданных и полученных данных. создания дистрибутивов и внедрения системы 3.2. Развитие системы управления локального мониторинга для сбора информации о распределенными данными эксперимента функционировании каждого Tier3 центра [15,16]. ATLAS Для этой цели в ОИЯИ было разработана архитектура тестовой инфраструктуры на базе Система управления распределенными данными виртуальных кластеров, что позволило промоде- DQ2 коллаборации ATLAS отвечает за репликацию, лировать все возможные на данный момент доступ и учет данных на распределенных грид- конфигурации Tier3 центров и выработать реко- сайтах, обеспечивающих обработку данных колла- мендации по системе сбора информации для борации. Она также реализует политику управления глобального мониторинга Tier3-центров. данными, определенную в вычислительной модели Проект глобального мониторинга Tier3 центров ATLAS. (T3mon) направлен на разработку программного В 2010 году возникла необходимость разработать комплекса для мониторинга Tier3 сайтов, как с новую архитектуру сервиса удаления данных для точки зрения локального администратора сайта, так обеспечения целостности распределенного хранения и с точки зрения администратора виртуальной информации эксперимента ATLAS. Сервис организации АТLАS. удаления данных один из основных сервисов DQ2. Реализация этого проекта имеет огромное Этот распределенный сервис взаимодействует с значение для координации работ в рамках различным промежуточным программным обеспе- виртуальной организации, так как обеспечивается чением грид и DQ2 каталогами для обслуживания глобальный взгляд на вклад Tier3 сайтов в запросов на удаление [14]. Кроме того, сервис вычислительный процесс. Схема функционирования организует балансировку нагрузки, обеспечивая основных вариантов Tier3 центров и их масштабируемость и отказоустойчивость системы взаимодействие с системой глобального монито- DQ2, корректную обработку исключений, возника- ринга представлена на рис. 6. ющих в процессе работы, стратегию повтора 71 На рис. 7. представлена архитектура универсальной системы мониторинга передачи файлов в грид-среде проекта WLCG. Система позволяет полностью удовлетворить потребности в информации различных типов пользователей и администраторов инфраструктуры WLCG. 4 Эволюция модели компьютинга и хранения данных БАК Для обработки данных БАК требуется распреде- ленное управление данными и поддержка очень высоких скоростей передачи огромных массивов данных. В этом направлении постоянно совершен- ствуются сервисы и программные продукты. Происходит эволюция инфраструктуры и модели Рис. 6. Схема функционирования основных компьютинга экспериментов на БАК: вариантов Tier3 центров и их взаимодействие с - переход от иерархической структуры к сетевой, системой глобального мониторинга. а в идеале к полно-связной, где возможны связи между центрами всех уровней; - развитие средств распределенного управления 3.4. Глобальная система мониторинга передачи данными, поддержка очень высоких скоростей данных в инфраструктуре проекта WLCG. передачи огромных массивов данных; - создание мощных и разнообразных центров уровеня Tier3 для индивидуального анализа данных; - развитие и применение средств виртуализации и облачных вычислений (проект «Helix Nebula – научное облако») Изменяется и модель размещения данных – осуществлен переход к концепции динамического размещения данных и созданию дополнительных их копий и удалению не используемых копий. Эволюция распределенной инфраструктуры и модели компьютинга постоянно развивается в направлении конвергенции технологий. Рис. 7 Архитектура универсальной системы 4.1 Новые решения и перспективы в обработке мониторинга передачи файлов «Больших Данных» В рамках совместного проекта РФФИ-ЦЕРН «Глобальная система мониторинга передачи данных Постоянно растущие объёмы научных данных в инфраструктуре проекта WLCG», разработан ставят новые задачи перед технологиями распре- прототип универсальной системы мониторинга [18] делённых вычислений и Грид [20]. Набирающая передачи файлов, способной собирать подробную размах революция Больших Данных ведёт к информацию: открытиям в самых различных областях науки, - о каждой передаче файлов (около 1 Петабайта в включая нанотехнологии, астрофизику, физику день), высоких энергий, биологию и медицину. Недавнее - независимо от метода осуществления передачи открытие бозона Хиггса на БАК является наи- (несколько протоколов и сервисов передачи лучшим примером этого прогресса. Новые проекты файлов, FTS, Xrootd), и разработки преображают исследования, основан- - уровень ресурсного центра (Tier0, Tier1, Tier2, ные на данных, расширяя границы применения Tier3) Больших Данных и требуя массивной обработки - принадлежности данных определенной вирту- данных новыми методами. При обработке массивов альной организации; данных объемами порядка петабайтов, современные - передавать с высокой степенью надежности учёные имеют дело не с отдельными файлами, а с собранную информацию в центральное храни- наборами данных. В результате, единицей обработ- лище; ки петабайтного массива в системах Грид - обрабатывать собранные данные для предо- становится вычислительная задача, состоящая из ставления различным потребителям; многих подзадач. Разбиение обработки на отдель- - предоставлять пользовательские и программ- ные задачи ведёт к созданию контрольных точек с мные интерфейсы для получения данных. высокой степенью детальности, что подобно разбие- нию большого файла на небольшие пакеты TCP/IP при передаче по сетям. Передача больших файлов 72 маленькими пакетами обеспечивает отказоустой- Science and Education, GRID-2010», ISBN 978- чивость путём повторной пересылки утерянных 5-9530-0269-1, Dubna, 2010, p. 142-147. пакетов. Подобным же образом обеспечивается [14] D. Oleynik, A. Petrosyan, V. Garonne, S. Cam- отказоустойчивость обработки данных в системах pana, ATLAS DQ2 Deletion Service, труды Грид: прерванные в результате сбоев задания могут конференции CHEP’2012, Нью-Йорк, США, 21- быть автоматически перезапущены, чем достигается 25 мая 2012 качество обработки. С другой стороны, необходи- [15] J. Andreeva, D. Benjamin, S. Campana, A. Kli- мость повторного исполнения отдельных заданий mentov, V. Korenkov, D. Oleynik, S. Panitkin, A. ведёт к непредсказуемому снижению эффектив- Petrosyan Tier-3 Monitoring Software Suite ности использования вычислительного ресурса. (T3MON) proposal //ATL-SOFT-PUB-2011-001, Опыт компьютерной обработки данных на БАК CERN, 2011 позволяет изучить связь между отказоустойчивыми [16] S. Belov, I. Kadochnikov, V. Korenkov, M. решениями и эффективностью, и разработать новые Kutouski1, D. Oleynik, A. Petrosyan on behalf of масштабируемые подходы к применению техноло- the ATLAS Collaboration. VM-based infrastruc- гий Грид для обработки объемов данных, ture for simulating different cluster and storage превышающих сотни петабайт. solutions used on ATLAS Tier-3 sites // ATL- SOFT-PROC-2012-057, 2012. Литература [17] В. В. Кореньков, В. В. Мицын, П. В. [1] Ian Foster and Carl Kesselman, “The Grid: Blue- Дмитриенко Архитектура системы мониторин- print for a New Computing Infrastructure,” Mor- га центрального информационно-вычислитель- gan Kaufmann, 1999, http://www.mkp.com/grids ного комплекса ОИЯИ // Информационные [2] L. Robertson, J. Knobloch. LHC Computing Grid технологии и вычислительные системы, 2012, Technical Design Report.CERN-LHCC-2005- №3, стр. 3-14 023.[Электронный ресурс]. 2005. : [18] Портал по развитию грид-технологий в ОИЯИ http://cdsweb.cern.ch/record/840543/files/lhcc- http://grid.jinr.ru/ 2005-024.pdf [19] Observation of a new boson at a mass of 125 GeV [3] Worldwide LHC Computing Grid with the CMS experiment at the LHC Author(s) http://lcg.web.cern.ch CMS Collaboration 31 Jul 2012. - 59 p. Note [4] Проект Globus: Comments: Submitted to Phys. Lett. B http://www.globus.org In Press [5] Сайт проекта Castor: http:// www.castor.org [20] Сайт международной конференции GRID-2012 [6] Сайт проекта dCache : http:// www. dcache.org Доклад Ваняшина А. В. Advancements in big data processing [7] Сайт проекта DPM: http://grid2012.jinr.ru/docs/VaniachineBigData.pdf www.gridpp.ac.uk/wiki/Disk_Pool_Manager [8] Сайт проекта SRM (Storage Resource Manager) Using of grid-infrastructure for distributed (www.gridpp.ac.uk/wiki/SRM). processing and storage of enormous amount of data [9] В. Кореньков, Е. Тихоненко. Концепция GRID (hundred’s of PB) и компьютерные технологии в эру LHC // Физика элементарных частиц и атомного ядра, Vladimir Korenkov т. 32, вып.6, 2001, с.1458-1493. Joint Institute for Nuclear Research [10] В. Ильин, В. Кореньков, А.Солдатов. Российский сегмент глобальной A short review of the development of the global инфраструктуры LCG, Открытые системы // Grid-infrastructure within the WLCG project №1, 2003, с. 56-60. (Worldwide LHC Computing Grid or Worldwide Grid [11] В. Кореньков, А. Ужинский. Система монито- for the Large Hadron Collider) is presented. Particular ринга сервиса передачи данных (FTS) проекта attention is paid to the architecture of the distributed EGEE/WLCGВычислительные методы и storage of enormous data volumes. A brief information программирование: Новые вычислительные is given on the projects devoted to the development of технологии, том 10, 2009, с.96-100. tools of monitoring and management of the distributed [12] В. Ильин, В. Кореньков. Компьютерная грид- file systems performed at JINR: a system of monitoring инфраструктура коллаборации RDMS CMS// в the FTS file transfer service, development of the control сборнике «В глубь материи: физика ХХI века system for distributed data of the ATLAS experiment, a глазами создателей экспериментального system of monitoring the centers of Tier3 level for data комплекса на Большом адронном коллайдере в analysis, a global system of monitoring data transfer in Женеве» – М: Этерна, 2009, с. 361-372. the infrastructure of the project WLCG. Advanced [13] V. Korenkov. GRID ACTIVITIES AT THE solutions and perspectives in the processing of "Big JOINT INSTITUTE FOR NUCLEAR Data” are indicated. RESEARCH // in Proc. of the 4th Intern. Conf. «Distributed Computing and Grid-Technologies in 73