Труды XIX Международной конференции «Аналитика и управление данными в областях с интенсивным использованием данных» (DAMDID/ RCDL’2017), Москва, Россия, 10–13 октября 2017 года эксплуатацию на основе Порядков и регламентов деятельности центров (Соглашений о предоставлении информации поставщиками данных в единую систему).
В период постоянной эксплуатации системы проведена оптимизация различных компонентов системы. Так для увеличения скорости обработки данных и уменьшения зависимости от состояния сетей используется кэширование данных c помощью базы интегрированных данных, ресурсы системы обновляются заранее, а не в момент запроса пользователя. Все процессы загрузки данных происходят автоматически. Shape-файлы и картографические сервисы стандарта WMS (Open Geospatial Consortium) строятся автоматически после каждого обновления данных. Для обеспечения актуальности данных применяются режимы планирования обновления данных за счет использования атрибутов метаданных – частоты обновления данных, временного разрешения данных, указанных в описании каждого ресурса, а также планировщиков обновления данных.
Качество работы операторов системы, связанное с эксплуатацией программного обеспечения (ПО) и поддержкой информационных ресурсов (ИР), отличается. Для оценки их работы вычисляются отдельные показатели – работоспособность аппаратно-программного комплекса (АПК) «Поставщик данных», нормативная доступность ИР и количество обращений к системе. По этим показателям очень трудно дать интегральную оценку работы каждого центра.
В статье описаны методика оценки функционирования распределенных центров данных (рейтинга), алгоритмы расчета показателей и отчеты об оценке функционирования центров ЕСИМО. 1 Методы и средства мониторинга работы информационных систем
Оценка работы государственных информационных систем находит все более широкое применение. Так, еще в 1986 г. был разработан ГОСТ 24.701–86, в котором была определена методика оценки надежности автоматизированных систем управления. Модели оценки надежности автоматизированных систем представлены в работах [2, 8].
В 2002 г. Минкомсвязи России подготовило руководящий документ РД 115.005-2002 [11], в котором предложено организовать мониторинг информатизации России. Задачами этого мониторинга являются: • сбор первичных данных о состоянии информатизации юридических и физических лиц; • оценка состояния информатизации физических и юридических лиц; • анализ результатов мониторинга информатизации Российской Федерации; • разработка предложений по государственному регулированию процесса информатизации; • прогноз развития информатизации в результате государственного регулирования; • мониторинг состояния и развития информатизации в результате реализации государственного регулирования; • анализ результатов реализации государственного регулирования; • оценка достоверности результатов мониторинга информатизации.
Наиболее известным результатом использования этого документа является разработка показателей и расчет рейтинга сайтов ФОИВ, высших исполнительных органов государственной власти субъектов РФ и администраций муниципальных образований.
В последние годы стали развиваться методы
оценки работы распределенных информационных
систем [1, 4, 9] и открытых данных [
Для организации мониторинга работы портала
панъевропейского проекта Sea Data Net [
При выборе наиболее экологически благоприятных мест также можно использовать оценку рейтингов мест проживания [4].
Наиболее продвинутая методика для оценки органов государственной власти при составлении рейтинга публикации информации в форматах открытых данных представлена в [7]. В этой методике выделены три группы показателей: • качество размещенных наборов данных, включающее актуальность опубликованных данных, корректность метаданных, пользовательскую оценку наборов данных; • востребованность наборов данных – количество скачиваний; • выполнение требований законодательства Российской Федерации (распоряжений Правительства, Федеральных органов исполнительной власти, органов исполнительных власти субъектов РФ, планов публикаций). Для оценки работы ЕСИМО используется система мониторинга ресурсов и сервисов (МРС). В этой компоненте заложены метрики, которые содействуют пониманию того, достиг ли центр требуемых значений показателей работы, например, уменьшения времени загрузки данных в базу данных до 60 мин. для самых объемных ресурсов, или повышения актуальности интегрированных данных (обновление данных происходит в соответствии с установленным в метаданных регламентом), или увеличения надежности работы АПК до 96.5%. При мониторинге работы системы для различных метрик используются пороговые или референтные значения, а также метод базовых линий.
Пороговые значения установлены в процентах для надежности работы АПК, доступности ИР. Для некоторых значимых метрик используются референтные значения, содержащиеся в рекомендациях производителей программного обеспечения и аппаратных средств, например, это касается наличия свободной оперативной памяти (не меньше 10%) или памяти на диске (не меньше 30%).
Метод базовых линий характеризует нормальную работу системы. Показатель получается путем обработки предыдущих результатов оценки, например, использования ИР. На основе полученных результатов выбираются три категории ИР (активно используемые, слабо используемые и плохо используемые). На сегодняшний день к первой категории относятся ресурсы, которые загружались больше 100 раз в месяц, ко второй – от 5 до 100, к третьей – меньше 5.
Эффективность любой информационной системы существенно зависит от правильности выбора пороговых значений метрик, характеризующих качество ИТ-сервисов. Соглашение об уровне сервиса – SLA (Service Level Agreements), составленное между поставщиком данных и технологическим центром по поддержке системы, включает именно такие показатели работы системы. В соглашении указывается компонент «Обратная связь», с помощью которого пользователь может обратиться в службу поддержки путем заполнения специальной формы с претензией.
Если ПО работает хорошо, а актуальность данных недостаточна (данные старые), то пользователь будет недоволен. Для измерения доступности ИР недостаточно пинговать оборудование и ПО, нужно определить, при каких значениях и каких метриках сервис работает хорошо, а при каких – не очень. В идеале система должна быть настроена таким образом, чтобы обеспечивалась ее способность к самовосстановлению в случае различных сбоев, аварий, выхода из строя отдельных узлов АПК.
Недостатками применяемых методик расчета показателей работы автоматизированных систем является отсутствие средств сравнения работы поставщиков данных. 2 Система мониторинга ресурсов и сервисов ЕСИМО
В соответствии с «Руководством по функционированию ЕСИМО» показателями работы единой системы являются техническая доступность (работоспособность) АПК центров; актуальность и доступность ИР, предоставляемых центрами данных; нормативная доступность ИР; посещаемость порталов. Чтобы повысить надежность работы инфраструктуры ЕСИМО и обеспечить координацию работы службы технической поддержки используются компоненты: МРС, включающий контроль работы АПК и доступности ИР; «Обратная связь», которая дает возможность подать замечания, предложения, сведения об ошибках; «Отчетность и статистика» – подготовка регулярных отчетов. Информация о работе ЕСИМО необходима как для внешней отчетности, так и для решения тактических вопросов управления системой.
Компонент МРС построен на основе инструмента Zabbix и реализует мониторинг АПК системы, работу сетей. Если раньше основными типами ошибок, влияющими на надежность системы, были сбои инструментальных средств (переполнение оперативной памяти при работе сервера приложений JBoss), аппаратных средств (отсутствие резервирования), то сейчас сбои происходят в основном на сетевом уровне. В случае резкого повышения числа запросов, система может не справиться с ними из-за отсутствия балансировки нагрузки.
Если базе интегрированных данных не хватает производительности, то загрузка ИР выстраивается в очередь. Для гарантированной доставки ресурсов запрос на доставку стоит в очереди, пока не будет выполнен. Для инициализации ПО на различных узлах системы созданы образы виртуальных машин, с помощью которых достаточно быстро перезагружается любой компонент. При работе компонентов иногда возникают ситуации, когда необходима перезагрузка всей системы (отключение электроэнергии, выход из строя сервера, операционной системы). Последовательность запуска компонентов и соответствующие задания заранее оформлены и запускаются автоматически.
Недостатком МРС является то, что инженер службы технической поддержки слишком поздно узнает о неисправности, он видит ситуацию, когда инцидент уже состоялся. Поэтому необходимо применение проактивной технологии мониторинга работы системы, когда прогнозируется возможный сбой до его наступления. Многое, что ранее было сферой ответственности оператора или администратора системы, теперь автоматически выполняет МРС: в реальном времени отслеживаются недостаток дискового пространства, использование процессора и оперативной памяти, проверяется статус серверов. Если в сети назревает проблема, то срабатывают предупреждения и появляется информация об инциденте. Если инцидент невозможно разрешить автоматически, на помощь приходят средства удаленного доступа к серверам.
Кроме оперативного применения результатов МРС необходимо отслеживать и долговременные тенденции изменения различных показателей, сравнить работу всех центров. И здесь уже отдельных показателей недостаточно, необходимо проведение интегральной оценки работы центров системы. 3 Система показателей функционирования ЕСИМО 3.1 Группы показателей
При разработке методики интегральной оценки функционирования центров данных ЕСИМО использован подход, представленный в «Методике оценки органов государственной власти при составлении рейтинга публикации информации в формате открытых данных» [7]. Целью разработки этой методики является сравнение работы центров данных, чтобы на основе интегральной оценки можно было по количеству полученных баллов определить, как они работают. Такая оценка позволяет центрам данных определить слабые места в своей работе. Для интегральной оценки функционирования определены следующие группы показателей: • работоспособность АПК центров; • актуальность ИР, предоставляемых центрами; • нормативная доступность ИР; • уровень информационного обслуживания пользователей; • обеспечение прав на доступ к ИР, отнесенным к информации, предоставляемой на условиях центра данных; • обратная связь с пользователями системы.
Наиболее важными группами показателей с точки зрения пользователей являются работоспособность АПК, актуальность ИР и уровень информационного обслуживания, поэтому этим показателям определен наибольший вклад в интегральную оценку работы центров единой системы, таблица 1. В дальнейшем, когда работоспособность АПК и актуальность ИР достигнут плановых значений, их вклад будет уменьшен, а будет увеличен вклад группы показателей по информационному обслуживанию пользователей. При реализации этой методики на программном уровне эти вклады можно будет устанавливать при настройке приложения. Таблица 1 Вклад каждой группы показателей Наименование группы
показателей Работоспособность АПК Актуальность ИР Нормативная доступность ИР Уровень информационного обслуживания пользователей Обеспечение прав на доступ к ИР Обратная связь с пользователями Обозначе Вклад ние К1 0.3 К2 0.3 К3 0.05 К4 0.25 К5 К6 Работоспособность АПК
Показателями работоспособности АПК центров данных в ЕСИМО являются: работоспособность АПК; время простоя АПК (в часах).
Работоспособность (или надежность) АПК (К1) – это относительная величина, характеризующая процент времени, когда ПО «Поставщик данных» и другие компоненты АПК центра данных были работоспособны. При этом необходимо исключать из расчетов период времени, затрачиваемый на профилактические работы (Тпроф). Общее время работы Поставщика данных (То) за отчетный период – это количество времени в часах (Кч) за отчетный период минус время профилактических работ, оно равно: То=Кч–Тпроф. Например, за сентябрь То=30*24–0=720 часов.
Время простоя (Тп) – это период времени, когда ПО «Поставщик данных» или другой компонент системы не работал (был не доступен). Информация о времени простоя берется из компонента МРС и готовится на основе следующего перечня объектов мониторинга и снимаемых значений метрик по проблемным событиям для виртуальных машин (закончилась свободная оперативная память, на диске закончилось свободное место, процесс JBoss исчерпал отведенную память); сетевая доступность (транспортная доступность административного интерфейса – закрыт порт 8081, недоступно сетевое соединение); прикладное приложение (не работает веб-интерфейс JBoss, нет дочерних Java-процессов, остановился процесс JBoss, не работает административный интерфейс ПО «Поставщик данных», нет доступности веб-сервиса). Каждая метрика имеет значение триггерной функции, равное единице, когда значение метрики находится в рабочих пределах, и нулю – в аварийных значениях. Если хотя бы одна из метрик имеет значение нуль, то вся система помечается как нерабочая. Время неработоспособности равно периоду времени существования проблемы на любом из компонентов поставщика данных. Общая сумма времени простоя складывается из выявленных диапазонов времени простоя. Компонентами, по которым ведется мониторинг на центральном, региональных и специализированных узлах, являются портал, геоинформационная система, сервисная шина, сервер интеграции и база интегрированных данных. Для центров системы компонент, по которому ведется мониторинг, – это Поставщик данных. По каждому компоненту ведется контроль следующих объектов: виртуальная машина, сеть, прикладное приложение. Для каждого объекта осуществляется контроль его составных частей и проблем, фиксированных для каждой части. В случае сетевой недоступности узла будет фиксироваться только проблема сетевой недоступности, поскольку остальные проблемы физически не могут быть зафиксированы. Работоспособность К1=(То–Тп)/То. 3.3 Актуальность информационных ресурсов Показателями ИР, предоставляемых центрами, являются их количество и актуальность.
Количество ИР (N) – это число описанных в виде структурированных файлов, или таблиц баз данных, или объектных файлов данных центра, представленных ими в ИР системы с помощью ПО «Поставщик данных». Этот показатель оценивается на основе ежедневной автоматизированной проверки количества единиц ресурсов и готовности источников данных предоставить информацию. Количество поддерживаемых ресурсов в конкретный момент времени можно определить в каталоге ИР по адресу http://esimo.ru/portal/portal/esimo-user/data и в административном разделе портала по справке «Показатели ИР» по адресу http://esimo.ru/portal/portal/ admin/stat/stat-provider.
Актуальность ИР (К2) – это соответствие обязательств центра по обновлению данных, объявленных в описании ресурса (атрибут «Частота обновления»), реальным дате и времени обновления в системе. В ЕСИМО все ИР обновляются от 10 мин. до одного раза в год. Для структурированных данных и таблиц баз данных этот показатель оценивается на основе ежесуточной автоматической проверки времени обновления ИР в сопоставлении со значением этого показателя, указанным (заявленным) при регистрации ресурса. Для объектных файлов актуальность оценивается на основе даты изменения файла, формируемой операционной системой или отражаемой в имени файла в соответствии с принятыми правилами именования файлов. Также необходима проверка времени обновления метаданных в случаях, если данные не содержат параметр «Дата и время» либо не включен или неправильно настроен планировщик актуализации. В результате проверки актуальности ИР ежедневно выявляется число актуальных ресурсов (Na). В дальнейшем предполагается оценивать этот показатель не только с точки зрения невыполнения регламента обновления данных, но и с точки зрения реального времени их опоздания. На данном этапе развития системы и отсутствия финансирования для поддержки ИР ужесточать требования по актуальности (учитывать время отставания по обновлению ИР) нецелесообразно.
Показатель актуальности (К2) – это удельный вес актуальных ресурсов в общем количестве ресурсов центра, он вычисляется как среднее отношение числа штатно обновляемых ресурсов к общему числу ресурсов за отчетный период по формуле К2=Nа/N. 3.4 Нормативная доступность информационных ресурсов
Нормативная доступность устанавливается обладателями информации в Порядках и регламентах деятельности центров ЕСИМО путем присвоения информации одной из категорий: «свободно распространяемая информация» (или открытая) и «информация, предоставляемая по договору – соглашению c обладателем информации».
Нормативная доступность (К3) оценивается как отношение числа ИР со «свободно распространяемой информацией» (Nд) к общему числу ресурсов на последний день отчетного периода: К3=Nд/N. 3.5 Уровень информационного обслуживания пользователей
При расчете показателя «Уровень информационного обслуживания пользователей ЕСИМО» (К4) учитываются составляющие: • количество обращений всех категорий пользователей (единиц) к ИР центра (К41); • число загрузок (единиц) ИР для просмотра или скачивания (К42); • число загрузок геосервисов (просмотров слоев), подготовленных по информации центра (К43); • количество доставок ИР по подписке (К44); • востребованность автоматизированных рабочих мест (АРМ) пользователей, находящихся в ведении центра (по числу обращений пользователей) (К45).
Количество обращений всех категорий пользователей (единиц) к ИР центра определяется за отчетный период по формуле К41=Кобр41/Кср41. Для оценки вклада центра применяется нормирование на среднее значение того или иного показателя (Кср) в целом для ЕСИМО.
Число загрузок ИР для просмотра или скачивания вычисляется на основе числа обращений к таблицам базы интегрированных данных с ресурсами центров по формуле К42=Кобр42/Кср42.
Число загрузок геосервисов (просмотров слоев) определяется на основе числа обращений к URLадресу сервиса из ГИС-вьювера OceanView, порталов, АРМов и других приложений: К43=Кобр43/Кср43.
Количество доставок ИР по подписке за выделенный период – это число востребованных ресурсов каждого центра: К44=Кобр44/Кср44. Если доставок нет, этот показатель не вычисляется.
Востребованность АРМов пользователей, находящихся в ведении центра, оценивается по числу обращений пользователей К45=Карм/Кармср. Если АРМов нет, то показатель не вычисляется.
Показатель уровня информационного обслуживания пользователей равен сумме его составляющих: К4=Кобр41+Кобр42+Кобр43+Кобр44+К45. 3.6 Обеспечение прав информационным ресурсам на доступ к Чтобы получить доступ к закрытым ИР, надо получить разрешение их обладателя посредством запроса в соответствующий центр. Предлагается ввести показатель обеспечения прав на доступ к ИР (К5) и вычислять его по формуле К5=Кнвып5/Кобщ5. Характеристиками обеспечения прав на доступ к ИР являются общее число запросов на получение разрешения (Кобщ5) и число невыполненных запросов (Кнвып5) на доступ к ИР. 3.7 Обратная связь с пользователями
Характеристиками функционирования ЕСИМО являются также число запросов, полученных через компонент «Обратная связь» с количеством установленных фактов ненадлежащего информационного обслуживания (Фнн6) и обоснованных замечаний относительно действий (бездействия) администраторов узлов (Фоз6). Удельный вес ресурсов, для которых была высказана негативная пользовательская оценка в общем количестве ресурсов (К6), вычисляется по формуле К6=Фоз6/Фнн6. 3.8 Расчет интегральной оценки
Интегральная оценка центра (Рцентра) ЕСИМО рассчитывается путем вычисления отношений значений каждого показателя (кроме К4) к среднему значению этого показателя в целом для ЕСИМО по следующей формуле с учетом веса каждой группы показателей: Рцентра=0.3К1/К1ср+0.3К2/К2ср+0.05К3/К3ср+ +0.25К4+0.05К5/К5ср+0.05К6/К6ср. 4 Формирование отчетов функционирования центров об оценке Отчет с показателями работы центров ЕСИМО размещен на портале в виде автоматически обновляемой страницы (http://portal.esimo.ru/portal/portal/ stat/), а также включен в качестве дополнительных разделов в общий отчет о функционировании системы, подготавливаемый ежеквартально, рассылаемый в центры системы и предоставляемый для рассмотрения в Межведомственную комиссию по ЕСИМО.
ПО компонента «Статистика и отчетность» обеспечивает автоматизированную подготовку и поддержку актуальности показателей, группируемых в виде: • оценки функционирования ЕСИМО (таблица 2); • интегральной оценки работы центров ЕСИМО – рейтинг центров (таблица 3); • оценки центров по показателю «Количество ресурсов и их востребованность» (таблица 4); • оценки качества ИР и негативных оценок этих ресурсов. Таблица 2 Общая статистика функционирования ЕСИМО в 2015–2016 гг.
Показатели
Разработана методика определения интегрального показателя по оценке функционирования центров ЕСИМО в виде рейтинга центров, которая, с одной стороны, расширяет принятый ранее состав показателей работы с целью детализации оценки работы единой системы, а, с другой стороны, позволяет выделить хорошо и плохо работающие центры. Впервые в этой работе предложен комплекс показателей для оценки функционирования центров ЕСИМО, некоторые из которых ранее рассматривались только отдельно или вообще не использовались в других системах (например, нормативная доступность и обеспечение прав на доступ к ИР). Модель позволяет сравнить любое количество центров системы. В настоящее время оценивается 28 из 37 центров (там, где установлены программные агенты компонента МРС).
Показатели работы центров включаются в ежеквартальные Отчеты о функционировании системы. Отчеты регулярно рассматриваются на заседаниях Межведомственной комиссии по ЕСИМО, при этом отмечаются плохо работающие центры и принимаются соответствующие решения в адрес ФОИВ, в ведении которых находятся эти центры. Использование результатов оценки функционирования центров позволило увеличить показатели их работы – работоспособность до 96.5%, актуальность – до 90%. В 2013 г. надежность работы ЕСИМО составляла 87%. Большинство центров уже сейчас имеет показатель работоспособности – 99.9%, а актуальность ИР – до 95%. Введение показателя «Нормативная доступность» позволило увеличить число открытых ИР с 50% до 70%.
Центр ЕСИМО Кол- Кол-во Уд. вес во ИР скачив скачанн аний ых ИР ФГБУ «ВНИИГМИ-МЦД» 1620 115945 0,41 РФоГсБсиУи«»Гидрометцентр 103 31919 0,65 ФГУП «ЦНИИ «Центр» 12 6225 1.0 ФГБУ «ДВНИГМИ» 334 13820 0,65 ФГБУ «ААНИИ» 284 10128 0,3 ФГУП «Морсвязьспутник» 18 274 0,94 ФКУ НЦУКС 22 1387 1.0 ФГБУ ЦСМС 20 148 0,64 НЦ ОМЗ ОАО «РКС» 69 4047 0,6 ……….. …. …. …... В целом ЕСИМО 2883 218048 0,66 Центр ЕСИМО сРоаббноотсотсьп,о%- пВрроесмтяоя,ч ФГБУ «ВНИИГМИ-МЦД» 99,84 3,59 ФГБУ «ДВНИГМИ» 98,33 36,41 ФГБУ «ААНИИ» 93,36 145,06 ……………….. В целом по ЕСИМО 96.5 500 Таблица 6 Показатели информационных ресурсов ЕСИМО 2016 г. Литература Пользователей, ед. Уникаль- Зарегистрированн ных ых 4005 36 4619 50 5015 50