The article describes the key points of the service development process for the rapid automatic classification of seismic signals based on diagnostic templates. Software solutions are presented for preprocessing of the signal and algorithmization of parallel computing on a mathematical model for the generation of final conclusions using the rating voting base. The possibilities of integrating such solutions with the Apache Spark distributed computing system are shown. Performance tests of the classification algorithm for a set of daily signals in various software environments were conducted.
Copyright © 2019 for this paper by its authors. Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0).
ВЕБ-СЕРВИС КЛАССИФИКАЦИИ СЕЙСМИЧЕСКИХ СОБЫТИЙ НА БАЗЕ СИСТЕМЫ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ APACHE SPARK
C. Е. Попов, Р. Ю. Замараев Федеральное государственное бюджетное учреждение науки Институт вычислительных технологий Сибирского отделения Российской академии наук
г. Новосибирск
В статье описаны ключевые моменты процесса разработки сервиса для быстрой автоматической
классификации сейсмических сигналов на основе диагностических шаблонов. Представлены
программные решения для предварительной обработки сигнала и алгоритмизации параллельных
вычислений на математической модели выработки конечных заключений с использованием базы
рейтингового голосования. Показаны возможности интеграции таких решений с системой
распределенных вычислений Apache Spark. Проведены тесты производительности алгоритма
классификации для набора суточных сигналов в различных программных средах.
Веб-сервис, распределенные вычисления, Apache Spark, классификация сейсмических событий
Введение
Региональный мониторинг и анализ региональной геодинамической ситуации
характеризуется сложностью решаемых на этом направлении задач. Причина в том, что
наряду с мощными возмущениями из известных очаговых зон приходится анализировать и
классифицировать разнородный поток событий, среди которых промышленные взрывы
различной мощности и глубины заложения, региональные и местные сейсмические события.
В горнопромышленных регионах функционирует большое количество предприятий,
регулярно проводящих массивные взрывные работы. В общей сложности за год может
регистрироваться более 2,5 тысяч сейсмических событий. Накапливаются огромные массивы
информации, где только для одной станции недельный пул суточных записей составляет
около 150Мб (≈174 млн. отсчетов), с нескольких – более 1Гб (1 млрд отсчетов). Учитывая
данный фактор, процесс детектирования и классификации различных возмущений в наборе
даже суточных записей с нескольких станций требует значительных вычислительных
ресурсов и затрат времени. Что подтверждается анализом большинства исследований в
области обработки сейсмических сигналов [
Рассматривая программные средства информационно-аналитического обеспечения процессов регионального сейсмического мониторинга можно обозначить основные требования: стабильное поступление массивов актуальных сейсмических данных; их оперативная обработка; анализ и выработка экспертных заключений с использованием быстрых алгоритмов. В мировой практике насчитывается большое количество программных решений, реализующих различные функции обработки и анализа сейсмической информации [18-25].
Однако функциональные возможности существующих программных решений не поддерживают классификацию сейсмических событий, основанную на обработке множества реальных суточных записей, полученных с разных станций наблюдений. Обработка данных ведется в ручном режиме, с последовательной загрузкой файлов, и выделением мелких таймфреймов интересующего события. Интегрированные в такие программные средства алгоритмы классификации не поддерживают запуск в параллельном режиме обработки полного временного отрезка сигнала. В большинстве случаев программные решения представляют собой статические приложения, ориентированные на работу со специализированной аппаратной частью.
Учитывая выше изложенное, возникает актуальная задача разработки программного обеспечения для классификации сейсмических событий, поддерживающего высокопроизводительную обработку больших массивов данных и открытый доступом к ним на базе веб-технологий. Исходные данные и шаблоны
Источником сейсмических данных служит региональная сеть из 8 станций с международными кодами: (ASR1, ELT, BRCR, KEM, LUZB, NVS, SALR, TASR). Сигналы поступают в формате miniSEED, данные предоставляются по трем каналам (например, EHE, EHN, EHZ).
Суточная запись с каждого канала содержит около 8,5 млн отсчетов (замеров с датчиков) и время каждого отсчета, т.е. (24 часа) х (3600 сек в часе) х (100 количество отсчетов в секунде (sample rate)). Начальные записи в каналах могут быть сдвинуты относительно начала суток (00:00:00). Для их синхронизации выбирается самый поздний по времени начальный отсчет (по максимальному времени от начала), и от этого времени извлекаются все значения каждого канала. Далее, выбирается минимальная длина из получившихся массивов (по минимальному времени от конца сигнала), оставшиеся массивы «обрезаются справа» до этой длины. Таким образом получаем матрицу со значениями типа Double землетрясений EarthQuake (EarthQuake±S). Используя выражение ( ) = ( ⁄ 2) exp( − ⁄ ) + ( ), где
A, T, n числовые параметры (A=1
T=3800
n=44,
подбираются
индивидуально, для станций в зависимости от расстояния до очаговых зон, ( )-вектор
случайных чисел, соответствует статистическому распределению модели сигнала «Белый
шум» (WhiteNoise)) добавляются абстрактные шаблоны. Они показывают последовательное
прохождение сейсмического возмущения со сдвигом 100 отсчетов (1 сек.) через расчетное
окно. Таким образом получаем шаблоны со следующими названиями: на входе
«WaveFrontI», «WaveFront-II» и «WaveFront-III»; на выходе «WaveRear-I», «WaveRear-II» и
«WaveRearIII»; в середине окна со смещениями влево и вправо «WaveMiddle», «WaveLeft» и
«WaveRight» соответственно. Всего выделяется 16 шаблонов – матрица со значениями типа
Double ( , ∈ [0, 6144] ∈ Ζ, ∈ [
Алгоритм классификации Алгоритм классификации является оригинальной разработкой авторов [27]. Алгоритм позволяет анализировать полные трехкомонентные суточные сигналы.
На вход алгоритму подается сформированная матрица (1) (CH = { ℎ , ∈ [0, ℎ] ∈ Ζ, ∈ [0, 2] ∈ Ζ}). Задается скользящее окно размером в = 6145 отсчетов, с шагом сдвига
= 100 отсчетов. На каждом шаге формируется сейсмограмма в виде матрицы X = { , ∈ [0, ] ∈ Ζ, ∈ [0, 2] ∈ Ζ}, содержащая часть сигнала CH (1). Алгоритм определяет (классифицирует) тип сейсмограммы согласно шаблонам, следующим образом: Шаг 1. Компоненты матрицы = { } заменяем квадратами размахов , , что обеспечивает неотрицательность значений для дальнейших вычислений Шаг 2. Вычисляем матрицу весов (3) и, затем, матрица энтропий (4) , = ( , − +1, )2, ∈ [0, − 1], ∈ [0, 2].
, =
, ∑ =−01 ,
, ∈ [0, − 1], ∈ [0, 2]. , = − , ( , ) , ∈ [0, − 1], ∈ [0, 2].
= ,0 + ,1 + ,2, ∈ [0, − 1]. Шаг 3. Вычисляем вектор обобщенной информации по трем каналам измерений Шаг 4. Строим характеристическую функцию в расчетном окне (6). Данный процесс называется аккумулированием сигнала С = ∑ =0 , ∈ [0, − 1].
За счет аккумулирования три компоненты сигналов приводятся к одномерной стационарной форме [29].
Стационарность модели (6) обеспечивает хорошую аппроксимацию
по осредненным (сглаженным) данным (шаблонам с известными характеристиками).
Шаг 5. Добавляем справа к матрице , ∈ [0, 6144] ∈ Ζ, ∈ [
Согласно (6), все шаблоны находятся в одном метрическом пространстве. Полагая
шаблоны признаками, а отсчеты объектами (независимыми наблюдениями), можем
(2)
(3)
(4)
(5)
(6)
дополнить их набор выборочной характеристической функцией и вычислить аналог
диагностической матрицы по Байесу путем стандартизации в объектах
, = (С , − )⁄ , где = 1 ∑
=1 , и = √ ∑
шаблону из набора, как расстояние между двумя признаками (одномерными векторами). Для
этого фиксируем = 16, и для каждого , , ∈ [
Получаем матрицу расстояний = { , , ∈ [0,11], ∈ [
Таким образом, сдвигая окно от начала сигнала в конец, алгоритмом детектируются и идентифицируются согласно шаблону любые значимые возмущения суточного таймфрейма. Оптимизация алгоритма Для уменьшения времени работы программной реализации алгоритма и его адаптации к запуску в среде массово-параллельного исполнения заданий были проведены перечисленные далее действия (итерации). Получаем матрицу шага сдвига. Получаем массив _ _
, = _ ,0 = ∑ =−01 , −1 ± ∑1=000 , .
100 ± , , ∈ [1, 10ℎ0], где
, ∈ [0, ℎ − 1]. Заранее рассчитываем ∑ =−11 , (2) для каждого Массивы и _
являются общедоступными константами для всех заданий в среде Apache Spark, и передаются при помощи специального объекта Broadcast. Данная оптимизации позволит существенно сократить время расчета формул (2) и (3), т.к. на каждом сдвиге окна вычисляются суммы только предыдущих и последующих 100 элементов матрицы .
2. Для матрицы рассчитываем сумму
= ∑
=1 , .
объявляем
общедоступной константой (Broadcast). Тогда на каждом шаге выражение = 1 ∑
=1 , в
), что также позволяет
формуле (7) можно заменить на следующее = 1
( ,16 +
сократить количество операций с суммой элементов.
3. Используемые алгоритмы нахождения расстояний согласно [
Расчет корреляции через ковариацию, позволит получить выражения: ∑ ,162 , ∑ , 2, ∑ ,16 , , которые присутствуют в расчете евклидова и косинусного расстояний. Учитывая, что весовой коэффициент принимает значение 1 при двух третьих от общего количества итераций, а остальные значения равны нулю, то при расчете сумм в соответствующих расстояниях без весового коэффициента, необходимо зафиксировать значении суммы на номере итерации равном 2( − 1)/3, и использовать ее при получении значения расстояния с весовым коэффициентом. Т.е. если евклидово расстояние есть будет вычисляться также, только для ∈ [0, 2( − 1)/3].
4. Анализ алгоритма классификации (шаги 1-9) показал независимость расчетов на каждой итерации сдвига расчетного окна. Этот факт означает, что заключение классификации получается, как единичное абстрактное значение одного из признаков (см. шаг 9, раздел Алгоритм классификации). Таким образом, возможно разделить всю суточную запись длинной ℎ на части (partitions), и вычислять модель (2)-(10) параллельно. Назовем этот этап Map. Затем после завершения всех заданий Map, запускать процесс объединения полученных заключений, сортируя их по времени в начальном сигнале (получение карты классификаций). Данный этап назовем Reduce. Таким образом возможно организовать вычисления по классической схеме MapReduce.
Такого рода оптимизации позволяют значительно сократить время работы алгоритма, т.к. при каждом сдвиге приходится выполнять одни и те же вычислительные операции на одних и тех же наборах данных по нескольку раз. Учитывая количество шагов (в среднем ℎ ) и размер окна ( − 1 = 6144 отсчета) потери производительности могут быть
Технологический стек Вычислительное ядро сервиса (BACKEND), который предлагается в настоящей статье, реализовано на базе Apache Spark API (Java), менеджера ресурсов Apache YARN и сервиса удаленного запуска заданий Apache Livy. Система обработки HTTP-запросов пользователя (MIDDLEWARE) функционирует под управлением NodeJS, Chart.js (ECMAScript 6 (ES6)). Графический интерфейс сервиса построен с применением библиотек React+Redux, Plot.ly, Semantic UI (ES6) под управлением сервера Nginx (FRONTEND). Операции ввода/вывода BACKEND- и MIDDLEWARE-компонентов реализуются на базе распределенной файловой
BACKEND-компонент представлен java-классами, реализующими непосредственно расчетную часть алгоритма классификации и дополнительными классами, имплементирующими методы предварительной обработки сейсмического сигнала и работы с объектами Apache Spark API (рис .1). системы HDFS (ОС Ubuntu 16.04).
Описание веб-сервиса
Разработанный веб-сервис логически разделен на три составляющие: BACKEND, Рис. 1. Диаграмма объектов BACKEND-компонента
ClassificationProcessor основной класс, который отвечает за запуск процесса классификации (рис. 2). Содержит подкласс classify наследующий объект Function Spark API для передачи его в функцию map. Подкласс classify реализует программный алгоритм классификации (классы SignalProcessor и DistanceClassifier), адаптированный для работы в распределенном режиме на узлах кластера. Класс ClassificationProcessor обеспечивает настройку среды исполнения (Executor) заданий посредством объекта SparkContext. В ClassificationProcessor реализована процедура размещения неизменяемых объектов-констант (Broadcast), содержащих предварительно рассчитанные данные (см.
Оптимизация алгоритма) в классах TemplateProcessor и
доступны со всех узлов кластера в общей памяти текущего контекстного объекта. Данные шаблонов хранятся в HDFS в CSV-файле. Класс TemplateProcessor поддерживает методы чтения, обработки данных CSV и построение массива и ∑ =1 , для каждого -го отсчета, для добавления в пул общедоступных констант (Broadcast, см. Оптимизация алгоритма).
Класс MiniSEEDProcessor содержит методы работы с файлами miniSEED-формата при помощи библиотеки iris-WS.jar. Она позволяет открывать, декодировать и считывать данные из файлов каналов сейсмических записей. MiniSEEDProcessor реализует процедуру синхронизации каналов по времени и формирования константы Broadcast для матрицы CH (1), Так же в данном классе рассчитываются вспомогательные данные: длинна сигнала и метаинформация по каждому каналу (название, частота дискретизации, начальное/конечное время записи).
Рис. 2. Фрагмент кода настройки контекста Spark и запуска расчетного задания класса
Результатом работы метода classify является JSON-файл (рис. 3), хранящийся в HDFS, где каждая часть (выполненное задание) идентифицируется ключом partition, содержащим свойства того или иного заключения карты классификаций.
Рис. 3. Результат классификации суточной записи сейсмического сигнала в виде карты классификаций в формате JSON
MIDDLEWARE-компонент реализован на базе объектов языка ES6. Имплементирует методы программного каркаса библиотеки NodeJS API. Функционирует как прокси-уровень между FRONTEND и BACKEND, выступает в качестве обработчика пользовательских HTTP-запросов для вызовов их методов.
Для запуска задания на стороне BACKEND-компонента MIDDLEWARE-компонент использует объекты router и request, предоставляемые стандартной библиотекой NodeJS Express API. Данные объекты перенаправляют POST-запросы со стороны FRONTENDкомпонента сервису Apache Livy (URL-адрес: http://livy-server:8998/batches). POST-запрос содержит настройки параметров среды Apache Spark, менеджера ресурсов Apache YARN, параметров расчетного модуля и управляющей программы-драйвера (рис. 4). Рис. 4. JSON-объект (параметр body) в POST-запросе к сервису Apache Livy на удаленный запуск Spark-задания Ответом на POST-запрос является JSON-объект, состоящий из частей (partition) по количеству параллельно выполненных задач. Для их объединения используется метод getResultAsJSON (рис. 5).
Рис. 5. Фрагмент кода метода getResultAsJSON Для простоты взаимодействия объектов MIDDLEWARE-компонента с распределенной файловой системой HDFS, она монтируется, как обычная директория в операционной системе с использованием программного интерфейса FUSE (Filesystem in Userspace). Это позволиляет осуществлять операции ввода/вывода на базе методов объекта NodeJS FileSystem и обрабатывать соответствующие GET/POST-запросы со стороны FRONTEND непосредственно в MIDDLEWARE-компоненте.
FRONTEND-компонент представлен программными объектами-классами отвечающими за графический интерфейс и взаимодействие с пользователями веб-сервиса.
Основной функцией FRONTEND является удаленный запуск расчета алгоритма классификации в системе Apache Spark и визуализация результатов в виде карты классификаций (рис. 7). Программные объекты FRONTEND взаимодействуют с компонентами MIDDLEWARE через протокол HTTP, c помощью библиотеки axios-js (рис. 6).
Рис. 6. Фрагмент кода отправки задания в систему Apache Spark в компоненте FRONEND (SubmitButton.js) Веб-сервис (рис. 7.) поддерживает следующие функциональные возможности: добавление/удаление файлов каналов сейсмостанции в формате miniSEED (сохраняются в HDFS, доступны со всех узлов кластера) и формирование сейсмического сигнала; запуск процесса классификации для выбранного сигнала, получение результатов с сервера, удаление результата из HDFS; фильтрация отображения результата по времени; построение карты классификации выбранного результата; аутентификации на базе системы Apache Hue; просмотр данных каналов в соответствии с выбранным уровнем масштабирования карты классификаций; поддержка русского/английского языка интерфейса.
Рис. 7. Общий вид графического интерфейса веб-сервиса. Тест по оценке производительности Тест, направленный на оценку производительности системы, производился на примере запуска процесса классификации набора суточных записей со станции BRCR. Проведено 150 запусков. Файлы сигналов (3 канала) не повторялись. В таблице 2 указано среднее время работы алгоритма. Представлены 4 программные реализации алгоритма в средах Matlab, Java (консольное приложение) – локальный тест, Java, Python (Spark API приложение) – распределенный тест. Фиксировалось только время расчета от подачи входных параметров (файлы каналов, файл шаблонов, параметры настройки Spark и др.), до получения JSONфайлы карты классификаций.
Таблица 1. Тест производительности программной реализации представленного алгоритма классификации (время работы).
Программный код запускается параллельно на 30 вычислительных ядрах, с разбивкой на partitions
Программный код запускается последовательно, без применения
Apache Spark API Суточная запись Время работы 27 34 3574 801 (сек.) Время Недельный таймфрейм работы 224 283 25145 5599 (сек.) Примечание. Суточная запись, синхронизированная по каналам в среднем, составляла 8355839 отчетов с интервалом в 10 мс или 83558 сдвигов. Аппаратное обеспечение: 2 сервера (AMD Ryzen 1700 (8+8 cores (Simultaneous Multi-Threading)) 3.2 GHz, 16Gb RAM, 1Gb/s скорость передачи данных между серверами). Локальный тест проводился на одном сервере.
Авторами проведены сравнения с протоколами наблюдений службы геофизического мониторинга Кемеровской области. Полученные результаты в 95% случаев (выборка 2013 года, всего около 500 событий (промышленный взрыв), с двух станций) полностью совпадали по типам заключений.
Заключение Разработан веб-сервис для детерминирования и идентификации сейсмических событий с возможностью построения визуальных карт классификаций. Графическое представление элементов (заключений), распределенных во времени прохождения волны в заданном интервале, описывается классами возмущений сейсмического сигнала на базе характеристических функций (шаблонов). Алгоритм классификации, применяемый в вычислительном ядре сервиса успешно адаптирован для его запуска в распределенном режиме реализации на основе массово-параллельного исполнения заданий в среде Apache Spark. Проведенные тесты производительности показали, что предложенный подход к оптимизации математической модели и программной реализации алгоритма, позволяет применять его для потоковой обработки сигнала в виду очень малого времени выполнения программного кода.
В работе продемонстрированы механизмы интеграции современных веб-технологий построения интернет-приложений с элементами кластерной инфраструктуры. По мнению авторов, такой подход позволит разрабатывать подобные решения и в других областях научно-технической деятельности.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-07-00013 А.
ЛИТЕРАТУРА [1]. Scarpetta S., Giudicepietro F., Ezin E. C., Petrosino S., Del Pezzo E., Martini M., Marinaro M. Automatic Classification of Seismic Signals at Mt. Vesuvius Volcano, Italy, Using Neural Networks // Bulletin of the Seismological Society of America, 2005. Vol. 95, No. 1. P. 185196.
[2]. Benbrahim M., Daoudi A., Benjelloun K., Ibenbrahim A. Discrimination of Seismic Signals Using Artificial Neural Networks // Proceedings of world academy of science, engineering and technology. 2005. Vol. 4. P. 4-7.
[3]. Diersena S., Leeb E-J., Spearsc D., Chenb P., Wanga L. Classification of Seismic Windows Using Artificial Neural Networks // Procedia Computer Science. 2011. Vol. 4. P. 15721581.