В работе приводится обзор информационных систем мониторинга различного уровня и направления, созданных на основе технологий ИКИ РАН с использованием данных ДЗЗ. Обсуждаются проблемы и сложности, возникающие при реализации таких систем, анализируются предлагаемые и возможные перспективные решения.
Ключевые слова: автоматизированные информационные системы, спутниковые системы наблюдения Земли, системы мониторинга, технологии автоматизированной обработки данных, данные дистанционного зондирования, распределенные информационные системы.
Введение. Современный уровень развития систем ДЗЗ позволяет решать широкий круг научных и прикладных задач с использованием спутниковой информации. Широкий спектр, качество и количество приборов, размещенных на космических аппаратах (КА), раздвинули рамки применения данных ДЗЗ как для глобального непрерывного мониторинга земной поверхности и атмосферы, так и для детального наблюдения различных объектов и явлений. В то же время стали свободно распространяться не только данные среднего разрешения, но и высокого как с зарубежных, так и с российских КА.
Список решаемых задач с помощью дистанционного зондирования невозможно ограничить – это от мониторинга снегов и льдов до опустынивания, от наводнений до пожаров, от сельского хозяйства до промышленных объектов, мониторинг лесов и океана, и конечно задачи гидрометеорологии и метеопрогноза.
При этом надо сказать, что в основном во многих решаемых задачах используются одни и те же исходные данные, только отличаются степень и уровни обработки, а также выходные продукты получаются на основе разных алгоритмов, разрабатываемых под конкретные задачи.
Данные ДЗЗ конечно во многих случаях представляют интерес не только как разовые снимки, а как систематические оперативные или периодические глобальные, региональные или локальные наблюдения. Для решения таких различных задач создаются специализированные системы дистанционного мониторинга (СДМ). При этом в отличие от настольного программного продукта, располагаемого у конкретного пользователя, данные доступны посредством интернет браузеров.
Работы по развитию технологий создания таких систем в России активно ведутся в Институте космических исследований Российской академии наук (ИКИ РАН) начиная с середины девяностых годов прошлого века. Основные возможности созданных ИКИ РАН технологий представлялись в различных публикациях. Обзор их основных элементов представлен в работах (Лупян, Балашов и др., 2015). Следует отметить, что с использованием данных технологий сегодня создано и развивается более десятка крупных СДМ (Барталев и др., 2010; Лупян и др., 2012, 2014; Ефремов и др., 2012; Лупян, Матвеев, 2012; Марченков и др., 2012, Толпин и др., 2014). Практическое использование разработанных в ИКИ РАН технологий и опыт эксплуатации и развития различных СДМ, созданных на их основе, позволили проанализировать тенденции развития таких систем, разработать и реализовать новые подходы и инструменты, необходимые для их создания и эксплуатации.
В системах мониторинга составляющую часть, основанную на данных ДЗЗ, можно схематически представить в виде следующих элементов и блоков (Лупян, Балашов др., 2015): подсистема получения и предварительной обработки данных; подсистема тематической обработки данных; подсистема ведения архивов данных и продуктов тематической обработки; подсистема представления и анализа данных; блок управления и контроля работоспособности.
Подсистема получения и предварительной обработки данных. В этом блоке СДМ в последнее время произошли следующие изменения. В связи с ростом количества космических систем ДЗЗ, нет возможности иметь в структуре каждой СДМ собственный центр приема. Фактически всю информацию, прошедшую первичную обработку, т.е. как минимум калиброванную и географически привязанную, возможно получать из крупных специализированных Центров приема и обработки данных по сети интернет. Практически все поставщики данных как отечественных, так и зарубежных космических систем ДЗЗ предоставляют именно такую информацию, либо для приема и обработки данных прямого сброса – пакеты программ предварительной обработки. Практически все Центры предоставляют возможность автоматизации процесса оперативного скачивания данных по мере их поступления, а также из долговременных архивов.
Подсистема тематической обработки данных. Под тематической обработкой конечно понимается получение неких количественных характеристик исследуемых объектов или явлений. Тут надо отметить, что в данном случае мы остановимся только на обработке многовременных серий данных. Такие обработки характерны для анализа изменений растительности, повреждений, деградации наземного покрова, имеющих долговременный характер. Или сложные алгоритмы с применением дополнительной информации или требующие длительного расчета. обработки. В частности, появляются возможности создания достаточно сложных инструментов обработки и анализа данных ДЗЗ (см., например, Кашницкий и др., 2015; Кобец и др., 2015, Балашов и др., 2009), а также активно внедряются методы, позволяющие "на ходу" формировать и представлять пользователям различные информационные продукты (см., например (Кашницкий и др. 2015). Все это требует такой организации архивов данных ДЗЗ, которая могла бы обеспечить возможность быстрого доступа к данным как из пользовательских интерфейсов, так и для процедур обработки данных. Следует также отметить, что во многих случаях СДМ становятся не только потребителями различной информации, но и поставщиками ее в другие СДМ, поэтому создающиеся архивы данных должны обеспечивать возможность работы с хранящейся в них информацией как для своих внутренних пользователей конкретной СДМ, так и для внешних пользователей.
Для эффективной работы с данными, системы архивации сегодня должны обеспечивать хранение и работу не только с самими данными и устоявшимся сопровождающим набором метаданных (калибровки, качество, где и когда получены и т.д.), но и с информацией о том, какие продукты (в том числе и "виртуальные", т.е. получаемые налету на мощностях СДМ) могут быть получены на основе этих данных, в том числе с описанием схем (алгоритмов) получения таких продуктов. Такой подход получения легких по вычислениям продуктов в несколько раз освобождает объемы хранения данных. Однако, конечно, несколько удлиняет время работы интерфейсов. Тем не менее, в данном случае не стоит ожидать внезапного массового поступления запросов к серверу, и по критерию системы со временем можно понять насколько надо увеличить вычислительные мощности СДМ для уверенной работы без значительных задержек.
Подсистема представления и анализа данных. В настоящее время можно выделить несколько основных факторов, наиболее сильно влияющих на технологии создания и развития этих подсистем.
Первым фактором, безусловно является то, что одним из основных инструментов для обеспечения работы с данными пользователям являются web-интерфейсы (Толпин и др., 2011). С одной стороны, это накладывает некоторые ограничения на функциональность работы с данными, а с другой стороны, дает неоспоримое преимущество перед традиционно используемыми настольными приложениями. Такие преимущества связаны в первую очередь с простотой их актуализации и отсутствии необходимости закупать и поддерживать значительное количество лицензий, обычно необходимых для создания и работы настольных приложений (например, ГИС).
Вторым фактором, который во многом позволяет снять недостатки, связанные с использованием в СДМ web-интерфейсов как базового решения, является то, что в последние годы активно ведутся работы по созданию подходов, позволяющих разрабатывать достаточно сложные инструменты распределенного анализа данных с использованием различных интернет-технологий (см., например, (Кашницкий и др., 2015; Acker. Leptoukh, 2007; Moore, Hansen, 2011)). Следует ожидать, что в ближайшие годы большинство СДМ практически полностью перейдет на использование web-интерфейсов для обеспечения представления пользователям доступа к различной информации и проведения ее анализа.
Третьим существенным фактором является то, что в последние годы достаточно быстро совершенствуются технические возможности, позволяющие обеспечить online-доступ к данным внешних информационных систем, в том числе и к ресурсам поставщиков данных ДЗЗ. Это позволяет работать в интерфейсах конкретных СДМ с информацией, получаемой из разных источников на момент запроса. Вследствие развития подобных технологий сами СДМ имеют сегодня достаточно большие возможности предоставления формируемой ими специализированной информации различным внешним пользователями. Таким образом, СДМ сами могут оказывать услуги по предоставлению различных информационных сервисов. Можно ожидать, что направление предоставления специализированной информации, полученной на основе данных ДЗЗ, будет достаточно быстро развиваться в ближайшие годы. [10] Лупян Е.А., Барталев С.А., Толпин В.А., Жарко В.О., Крашенинникова Ю.С., Оксюкевич А.Ю. Использование спутникового сервиса ВЕГА в региональных системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2014. Т. 11. №. 3. С.215-232. [11] Лупян Е.А., Матвеев А.М., Уваров И.А., Бочарова Т.Ю., Лаврова О.Ю., Митягина М.И. Спутниковый сервис See the Sea - инструмент для изучения процессов и явлений на поверхности океана // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 2. С.251-262. [12] Лупян Е.А., Милехин О.Е., Антонов В.Н., Крамарева Л.С., Бурцев М.А., Балашов И.В., Толпин В.А., Соловьев В.И. Система работы с объединенными информационными ресурсами, получаемыми на основе спутниковых данных в центрах НИЦ “ПЛАНЕТА” // Метеорология и гидрология. 2014. № 12. С.89-97. [13] Марченков В.В., Пырков В.Н., Черных В.Н., Солодилов А.В., Ермаков В.В. Перспективы комплексного использования современных спутниковых, информационных и коммуникационных технологий для решения задач отраслевой системы мониторинга рыболовства // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 3. С.299-306. [14] Сычугов И.Г., Прошин А.А. Детектирование и документация сбоев в работе распределённых информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2014. Т. 11. №. 3. С.233-245. [15] Толпин В.А., Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Уваров И.А., Флитман Е.В. Создание интерфейсов для работы с данными современных систем дистанционного мониторинга (система GEOSMIS) // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 3. С.93-108. [16] Толпин В.А., Лупян Е.А., Барталев С.А., Плотников Д.Е., Матвеев А.М. Возможности анализа состояния сельскохозяйственной растительности с использованием спутникового сервиса «ВЕГА» // Оптика атмосферы и океана. 2014. Т. 27. № 7 (306). С.581-586. [17] Acker J. G., Leptoukh G. Online analysis enhances use of NASA earth science data // Eos, Transactions
American Geophysical Union, 2007. Vol. 88. No. 2. P. 14-17. [18] Moore R. T., Hansen M. C. Google Earth Engine: a new cloud-computing platform for global-scale earth observation data and analysis // AGU Fall Meeting Abstracts, 2011. Vol. 1. P.2. [19] Ramapriyan H. K. Development, Operation and Evolution of EOSDIS – NASA’s major capability for managing Earth science data. Presented at CENDI/NFAIS Workshop on Repositories in Science & Technology: Preserving Access to the Record of Science November 30. 2011.