THE EXPERIENCE OF DEVELOPMENT OF INFORMATION MONITORING SYSTEMS FOR REGIONAL, BRANCH AND SCIENTIFIC PURPOSES WITH REMOTE SENSING DATA Ivan V. Balashov, Mikhail A. Burtsev, Evgeny A. Loupian, Alexey A. Mazurov, Andrey A. Proshin, Vladimir A. Tolpin, Ivan A. Uvarov Space Research Institute, Russian Academy of Sciences, Moscow, Russia Abstract In the article there being reviewed information monitoring systems of various levels and directions made on the basis of IKI RAN technologies with remote sensing data base. The problems and issues that appeared during the process of implementation of such systems are discussed and possible perspective solutions are offered and evaluated. Keywords: remote sensing data, environmental monitoring systems, automatic data processing systems ОПЫТ СОЗДАНИЯ РЕГИОНАЛЬНЫХ, СПЕЦИАЛИЗИРОВАННЫХ, НАУЧНЫХ ИНФОРМАЦИОННЫХ СИСТЕМ МОНИТОРИНГА НА ОСНОВЕ ДАННЫХ ДЗЗ Балашов И.В., Бурцев М.А., Лупян Е.А., Мазуров А.А., Прошин А.А., Толпин В.А., Уваров И.А. Институт космических исследований РАН, Москва В работе приводится обзор информационных систем мониторинга различного уровня и направ- ления, созданных на основе технологий ИКИ РАН с использованием данных ДЗЗ. Обсуждаются про- блемы и сложности, возникающие при реализации таких систем, анализируются предлагаемые и воз- можные перспективные решения. Ключевые слова: автоматизированные информационные системы, спутниковые системы наблюдения Земли, системы мониторинга, технологии автоматизированной обработки данных, дан- ные дистанционного зондирования, распределенные информационные системы. Введение. Современный уровень развития систем ДЗЗ позволяет решать широкий круг научных и прикладных задач с использованием спутниковой информации. Широкий спектр, качество и количество приборов, размещенных на космических аппаратах (КА), раздвинули рамки применения данных ДЗЗ как для глобального непрерывного мониторинга земной по- верхности и атмосферы, так и для детального наблюдения различных объектов и явлений. В то же время стали свободно распространяться не только данные среднего разрешения, но и высокого как с зарубежных, так и с российских КА. Список решаемых задач с помощью дистанционного зондирования невозможно ограни- чить – это от мониторинга снегов и льдов до опустынивания, от наводнений до пожаров, от сельского хозяйства до промышленных объектов, мониторинг лесов и океана, и конечно за- дачи гидрометеорологии и метеопрогноза. При этом надо сказать, что в основном во многих решаемых задачах используются одни и те же исходные данные, только отличаются степень и уровни обработки, а также выходные продукты получаются на основе разных алгоритмов, разрабатываемых под конкретные за- дачи. Данные ДЗЗ конечно во многих случаях представляют интерес не только как разовые снимки, а как систематические оперативные или периодические глобальные, региональные или локальные наблюдения. Для решения таких различных задач создаются специализирован- ные системы дистанционного мониторинга (СДМ). При этом в отличие от настольного про- граммного продукта, располагаемого у конкретного пользователя, данные доступны посред- ством интернет браузеров. Работы по развитию технологий создания таких систем в России активно ведутся в Ин- ституте космических исследований Российской академии наук (ИКИ РАН) начиная с сере- дины девяностых годов прошлого века. Основные возможности созданных ИКИ РАН техно- логий представлялись в различных публикациях. Обзор их основных элементов представлен в работах (Лупян, Балашов и др., 2015). Следует отметить, что с использованием данных тех- нологий сегодня создано и развивается более десятка крупных СДМ (Барталев и др., 2010; Лупян и др., 2012, 2014; Ефремов и др., 2012; Лупян, Матвеев, 2012; Марченков и др., 2012, Толпин и др., 2014). Практическое использование разработанных в ИКИ РАН технологий и опыт эксплуатации и развития различных СДМ, созданных на их основе, позволили проана- лизировать тенденции развития таких систем, разработать и реализовать новые подходы и ин- струменты, необходимые для их создания и эксплуатации. В системах мониторинга составляющую часть, основанную на данных ДЗЗ, можно схе- матически представить в виде следующих элементов и блоков (Лупян, Балашов др., 2015):  подсистема получения и предварительной обработки данных;  подсистема тематической обработки данных;  подсистема ведения архивов данных и продуктов тематической обработки; 17  подсистема представления и анализа данных;  блок управления и контроля работоспособности. Подсистема получения и предварительной обработки данных. В этом блоке СДМ в последнее время произошли следующие изменения. В связи с ростом количества космических систем ДЗЗ, нет возможности иметь в структуре каждой СДМ собственный центр приема. Фактически всю информацию, прошедшую первичную обработку, т.е. как минимум калибро- ванную и географически привязанную, возможно получать из крупных специализированных Центров приема и обработки данных по сети интернет. Практически все поставщики данных как отечественных, так и зарубежных космических систем ДЗЗ предоставляют именно такую информацию, либо для приема и обработки данных прямого сброса – пакеты программ пред- варительной обработки. Практически все Центры предоставляют возможность автоматизации процесса оперативного скачивания данных по мере их поступления, а также из долговремен- ных архивов. Подсистема тематической обработки данных. Под тематической обработкой конечно понимается получение неких количественных характеристик исследуемых объектов или явле- ний. Тут надо отметить, что в данном случае мы остановимся только на обработке многовре- менных серий данных. Такие обработки характерны для анализа изменений растительности, повреждений, деградации наземного покрова, имеющих долговременный характер. Или слож- ные алгоритмы с применением дополнительной информации или требующие длительного рас- чета. Блоки тематической обработки разрабатываются для решения задач конкретных СДМ и носят специфическую направленность, не являясь в общем случае универсальными. В частности, в созданных в ИКИ РАН системах мониторинга, разработаны автоматиче- ские блоки создания многовременных композитов различного пространственного разрешения, блоки построения многодневных различных растительных индексов, блоки выделения гарей после лесных пожаров и др. Создание таких продуктов тематической обработки является ресурсоемкими процессами и выполняются процессы на специализированных комплексах автоматической обработки дан- ных (Кобец и др., 2015). Это также приводит к выводу что создание таких продуктов жела- тельно проводить на мощностях крупных Центров, получая в СДМ результаты обработки (Лу- пян, Пошин и др., 2015). Подсистема ведения архивов данных и продуктов тематической обработки. Одним из ключевых элементов любой СДМ является подсистема архивации данных. Фактически, эта система является связующим звеном всех блоков СДМ. Основным фактором, определяющим сегодня выбор подходов и методов построения архивов СДМ, как отмечалось выше, является быстрый рост объемов спутниковой информации. Это приводит к тому, что в конечном итоге при построении СДМ приходится отказываться от традиционного пути использования данных ДЗЗ - получения (сбор) всевозможных данных из различных источников и помещения их в собственные архивы СДМ. Такой путь приводит к тому, что либо СДМ приходится суще- ственно ограничивать в составе используемых данных, либо создавать и поддерживать соб- ственные огромные и дорогостоящие мощности хранения. И тот, и другой путь имеет очевид- ные недостатки. На наш взгляд, наиболее разумным выбором является использование распре- деленных систем хранения данных, возможность работы с которыми сегодня предоставляют многие поставщики информации и центры приема, обработки и архивации данных ДЗЗ (Про- шин, Лупян и др., 2016). В этом случае СДМ подписывается не на возможность получения всего необходимого потока данных, а на возможность online получения информации из архи- вов поставщиков в любой момент времени, когда это необходимо СДМ и ее пользователям. При таком подходе СДМ может сосредоточиться на ведении только своих собственных спе- циальных архивов данных, получаемых в результате специальной тематической обработки, создаваемой в своих интересах. Еще одним существенным фактором схемы построения архивов данных СДМ является то, что сегодня активно развиваются новые технологии анализа данных ДЗЗ и результатов их 18 обработки. В частности, появляются возможности создания достаточно сложных инструмен- тов обработки и анализа данных ДЗЗ (см., например, Кашницкий и др., 2015; Кобец и др., 2015, Балашов и др., 2009), а также активно внедряются методы, позволяющие "на ходу" формиро- вать и представлять пользователям различные информационные продукты (см., например (Кашницкий и др. 2015). Все это требует такой организации архивов данных ДЗЗ, которая могла бы обеспечить возможность быстрого доступа к данным как из пользовательских ин- терфейсов, так и для процедур обработки данных. Следует также отметить, что во многих слу- чаях СДМ становятся не только потребителями различной информации, но и поставщиками ее в другие СДМ, поэтому создающиеся архивы данных должны обеспечивать возможность работы с хранящейся в них информацией как для своих внутренних пользователей конкретной СДМ, так и для внешних пользователей. Для эффективной работы с данными, системы архивации сегодня должны обеспечивать хранение и работу не только с самими данными и устоявшимся сопровождающим набором метаданных (калибровки, качество, где и когда получены и т.д.), но и с информацией о том, какие продукты (в том числе и "виртуальные", т.е. получаемые налету на мощностях СДМ) могут быть получены на основе этих данных, в том числе с описанием схем (алгоритмов) по- лучения таких продуктов. Такой подход получения легких по вычислениям продуктов в не- сколько раз освобождает объемы хранения данных. Однако, конечно, несколько удлиняет время работы интерфейсов. Тем не менее, в данном случае не стоит ожидать внезапного мас- сового поступления запросов к серверу, и по критерию системы со временем можно понять насколько надо увеличить вычислительные мощности СДМ для уверенной работы без значи- тельных задержек. Подсистема представления и анализа данных. В настоящее время можно выделить несколько основных факторов, наиболее сильно влияющих на технологии создания и развития этих подсистем. Первым фактором, безусловно является то, что одним из основных инструментов для обеспечения работы с данными пользователям являются web-интерфейсы (Толпин и др., 2011). С одной стороны, это накладывает некоторые ограничения на функциональность ра- боты с данными, а с другой стороны, дает неоспоримое преимущество перед традиционно ис- пользуемыми настольными приложениями. Такие преимущества связаны в первую очередь с простотой их актуализации и отсутствии необходимости закупать и поддерживать значитель- ное количество лицензий, обычно необходимых для создания и работы настольных приложе- ний (например, ГИС). Вторым фактором, который во многом позволяет снять недостатки, связанные с исполь- зованием в СДМ web-интерфейсов как базового решения, является то, что в последние годы активно ведутся работы по созданию подходов, позволяющих разрабатывать достаточно сложные инструменты распределенного анализа данных с использованием различных интер- нет-технологий (см., например, (Кашницкий и др., 2015; Acker. Leptoukh, 2007; Moore, Hansen, 2011)). Следует ожидать, что в ближайшие годы большинство СДМ практически полностью перейдет на использование web-интерфейсов для обеспечения представления пользователям доступа к различной информации и проведения ее анализа. Третьим существенным фактором является то, что в последние годы достаточно быстро совершенствуются технические возможности, позволяющие обеспечить online-доступ к дан- ным внешних информационных систем, в том числе и к ресурсам поставщиков данных ДЗЗ. Это позволяет работать в интерфейсах конкретных СДМ с информацией, получаемой из раз- ных источников на момент запроса. Вследствие развития подобных технологий сами СДМ имеют сегодня достаточно большие возможности предоставления формируемой ими специа- лизированной информации различным внешним пользователями. Таким образом, СДМ сами могут оказывать услуги по предоставлению различных информационных сервисов. Можно ожидать, что направление предоставления специализированной информации, полученной на основе данных ДЗЗ, будет достаточно быстро развиваться в ближайшие годы. 19 Блок управления и контроля работоспособности. В связи с тем, что, в последние годы действительно достаточно сильно эволюционировали подходы к созданию и развитию СДМ, новые задачи и функции возникли и у технологий, направленных на построение блоков управ- ления и контроля работоспособности СДМ. Фактически, инфраструктура большинства СДМ стала распределенной, увеличилось число используемых источников информации и архивов данных, а также процедур обработки и представления данных. Все это, безусловно, требует повышения уровня автоматизации процессов контроля работоспособности, а также создания технологий автоматизированного выявления и диагностирования сбойных ситуаций (Сычугов и др., 2014). Работа выполнена при финансовой поддержке Минобрнауки России (контракт 14.607.21.0122, уникальный идентификатор ПНИЭР RFMEFI60715X0122). ЛИТЕРАТУРА [1] Лупян Е.А., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Кашницкий А.В., Кобец Д.А., Краше- нинникова Ю.С., Мазуров А.А., Назиров Р.Р., Прошин А.А., Сычугов И.Г., Толпин В.А., Уваров И.А., Флитман Е.В. Создание технологий построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 53-75. [2] Кобец Д.А., Матвеев А.М., Мазуров А.А., Прошин А.А. Организация автоматизированной мно- гопотоковой обработки спутниковой информации в системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т.12. № 1. С.145-155. [3] Прошин А.А., Лупян Е.А., Балашов И.В., Кашницкий А.В., Бурцев М.А. Создание унифициро- ванной системы ведения архивов спутниковых данных, предназначенной для построения совре- менных систем дистанционного мониторинга// Современные проблемы дистанционного зонди- рования Земли из космоса. 2016. Т. 13. № 3. С. 9-27. DOI: 10.21046/2070-7401-2016-13-3-9-27. [4] Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашниц- кий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современ- ные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263-284. [5] Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Толпин В.А. Построение систем, обес- печивающих динамическое формирование комплексных информационных продуктов на основе данных дистанционного зондирования // Современные проблемы дистанционного зондирования Земли из космоса. 2009. Т. 6. № 2. С. 513 -520. [6] Балашов И.В., Ефремов В.Ю., Мазуров -мл. А.А., Мамаев А.С., Матвеев А.М., Прошин А.А. Особенности организации контроля и управления распределенных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 3. С.161-166. [7] Барталев С.А., Ершов Д.В., Коровин Г.Н., Котельников Р.В., Лупян Е.А., Щетинский В.Е. Основ- ные возможности и структура информационной системы дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ Рослесхоз) // Современные про- блемы дистанционного зондирования Земли из космоса. 2010. Т.7. № 2. С.97-105. [8] Ефремов В.Ю., Гирина О.А., Крамарева Л.С., Лупян Е.А., Маневич А.Г., Мельников Д.В., Мат- веев А.М., Прошин А.А., Сорокин А.А., Флитман Е.В. Создание информационного сервиса "Ди- станционный мониторинг активности вулканов Камчатки и Курил" // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т.9. № 5. С.155-170. [9] Кашницкий А.В., Балашов И.В., Лупян Е.А., Толпин В.А., Уваров И.А. Создание инструментов для удаленной обработки спутниковых данных в современных информационных системах // Со- временные проблемы дистанционного зондирования Земли из космоса. 2015. Т.12. № 1. С.156-170. 20 [10] Лупян Е.А., Барталев С.А., Толпин В.А., Жарко В.О., Крашенинникова Ю.С., Оксюкевич А.Ю. Использование спутникового сервиса ВЕГА в региональных системах дистанционного монито- ринга // Современные проблемы дистанционного зондирования Земли из космоса. 2014. Т. 11. №. 3. С.215-232. [11] Лупян Е.А., Матвеев А.М., Уваров И.А., Бочарова Т.Ю., Лаврова О.Ю., Митягина М.И. Спутни- ковый сервис See the Sea - инструмент для изучения процессов и явлений на поверхности оке- ана // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 2. С.251-262. [12] Лупян Е.А., Милехин О.Е., Антонов В.Н., Крамарева Л.С., Бурцев М.А., Балашов И.В., Толпин В.А., Соловьев В.И. Система работы с объединенными информационными ресурсами, получае- мыми на основе спутниковых данных в центрах НИЦ “ПЛАНЕТА” // Метеорология и гидроло- гия. 2014. № 12. С.89-97. [13] Марченков В.В., Пырков В.Н., Черных В.Н., Солодилов А.В., Ермаков В.В. Перспективы ком- плексного использования современных спутниковых, информационных и коммуникационных технологий для решения задач отраслевой системы мониторинга рыболовства // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 3. С.299-306. [14] Сычугов И.Г., Прошин А.А. Детектирование и документация сбоев в работе распределённых ин- формационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2014. Т. 11. №. 3. С.233-245. [15] Толпин В.А., Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Уваров И.А., Флитман Е.В. Создание интерфейсов для работы с данными современных систем дистанционного мони- торинга (система GEOSMIS) // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 3. С.93-108. [16] Толпин В.А., Лупян Е.А., Барталев С.А., Плотников Д.Е., Матвеев А.М. Возможности анализа состояния сельскохозяйственной растительности с использованием спутникового сервиса «ВЕГА» // Оптика атмосферы и океана. 2014. Т. 27. № 7 (306). С.581-586. [17] Acker J. G., Leptoukh G. Online analysis enhances use of NASA earth science data // Eos, Transactions American Geophysical Union, 2007. Vol. 88. No. 2. P. 14-17. [18] Moore R. T., Hansen M. C. Google Earth Engine: a new cloud-computing platform for global-scale earth observation data and analysis // AGU Fall Meeting Abstracts, 2011. Vol. 1. P.2. [19] Ramapriyan H. K. Development, Operation and Evolution of EOSDIS – NASA’s major capability for managing Earth science data. Presented at CENDI/NFAIS Workshop on Repositories in Science & Technology: Preserving Access to the Record of Science November 30. 2011. 21