=Paper=
{{Paper
|id=Vol-2033/19_paper
|storemode=property
|title=Удаленный анализ и обработка данных ДЗЗ, предоставляемых сверхбольшими распределенными системами архивации
(Remote Analysis and Processing of Remote Sensing Data Provided by Big Distributed Archiving Systems)
|pdfUrl=https://ceur-ws.org/Vol-2033/19_paper.pdf
|volume=Vol-2033
|authors=Alexandr V. Kashnitskii,Evgeny A. Loupian
}}
==Удаленный анализ и обработка данных ДЗЗ, предоставляемых сверхбольшими распределенными системами архивации
(Remote Analysis and Processing of Remote Sensing Data Provided by Big Distributed Archiving Systems)==
https://ceur-ws.org/Vol-2033/19_paper.pdf
REMOTE ANALYSIS AND PROCESSING OF REMOTE SENSING DATA
PROVIDED BY BIG DISTRIBUTED ARCHIVING SYSTEMS
Alexandr V. Kashnitskiy, Evgeny A. Loupian
Space Research Institute, Russian Academy of Sciences, Moscow, Russia
Abstract
This work is about approaches to working with very big remote sensing data archives that were
established in the Space Research Institute of the Russian Academy of Sciences. These approaches
increase the efficiency of work with satellites data and provide analytical tools to the remote users. The
work describes the developed technology for creating tools for analyzing and processing remote sensing
information, the used approaches to build up the very big archives of satellite data. Also the work
describes several examples to use developed approaches in active remote monitoring informational
systems.
Keywords: remote sensing, satellite data, information systems, satellite data processing, remote
analysis of satellite data, web interfaces, ERS information archives, very big archives, data processing
technologies
УДАЛЕННЫЙ АНАЛИЗ И ОБРАБОТКА ДАННЫХ ДЗЗ, ПРЕДОСТАВЛЯЕМЫХ
СВЕРХБОЛЬШИМИ РАСПРЕДЕЛЕННЫМИ СИСТЕМАМИ АРХИВАЦИИ
Кашницкий А.В., Лупян Е.А.
Институт космических исследований РАН, Москва
Доклад посвящен созданным в ИКИ РАН подходам к работе с информацией ДЗЗ из сверх-
больших распределенных постоянно пополняющихся архивов. Эти подходы повышают эффек-
тивность работы со спутниковыми данными и предоставляют удаленным исследователям разви-
тые средства их обработки и анализа. В докладе рассказано о разработанной технологии созда-
ния инструментов анализа и обработки информации ДЗЗ, применяемых подходах к построению
архивов спутниковых данных, а также приведены примеры использования этих наработок в дей-
ствующих информационных системах.
Ключевые слова: дистанционное зондирование, спутниковые данные, информационные си-
стемы, обработка спутниковых данных, удаленный анализ спутниковых данных, web-интер-
фейсы, архивы информации ДЗЗ, сверхбольшие архивы, технологии работы с данными.
Введение. Постоянно возрастающая потребность в данных космической съемки и раз-
витие технологий в последнее десятилетие привели к появлению большого количества высо-
кокачественных спутников дистанционного зондирования Земли (ДЗЗ). При этом в последние
годы объемы получаемой с них информации увеличиваются намного быстрее возможностей
по ее усвоению, обработке и анализу с применением традиционных подходов к работе со спут-
никовыми данными. Все это требует создания новых информационных технологий и подходов
к организации работы с данными дистанционного зондирования. “Традиционные” подходы
предполагают сначала выбор необходимых наборов данных из архивов, создание их локаль-
ных копий у конкретного пользователя (исследователя), а потом проведение их обработки и
анализа. Как показано в работах (Лупян, Мазуров и др., 2011), (Лупян, Саворский и др., 2012),
(Лупян, Балашов и др., 2015) такой путь в условиях быстро развивающихся спутниковых си-
стем наблюдения становится все менее эффективным, а в перспективе и нереализуемым, из-за
необходимости использования в различных проектах значительных вычислительных и ком-
муникационных ресурсов. Поэтому в последние годы стали создаваться и развиваться си-
стемы, предоставляющие возможности доступа к архивам спутниковых данных и результатам
их обработки одновременно со средствами, обеспечивающими проведение их обработки и
анализа (Лупян, Саворский и др., 2012). Данные в таких системах могут находиться в терри-
ториально распределенных архивах, а их обработка и анализ, которыми управляет пользова-
тель, обычно производится на вычислительных средствах, расположенных в тех же центрах, в
которых физически осуществляется хранение данных. Это позволяет избежать передачи боль-
ших объемов информации и обеспечивает возможность эффективной работы со сверхболь-
шими объемами данных. С развитием информационных технологий в последние годы стало
возможным создание web-интерфейсов, обеспечивающих не только доступ к данным и их ви-
зуализацию, но и управление процессами их обработки. Во многих случаях такие системы по
функциональности могут не уступать настольным приложениям, ориентированным на обра-
ботку спутниковой информации, обеспечивая при этом возможность непосредственной ра-
боты с огромными распределенными массивами информации с любого компьютера без ис-
пользования сложных локальных приложений, требующих значительных вычислительных ре-
сурсов и мощностей, обеспечивающих хранение и работу с данными. Настоящий доклад по-
священ разработке методов и подходов, с помощью которых возможна реализация подобных
систем. Аналогичные работы сейчас выполняются во многих организациях, как в России (Шо-
кин и др., 2012), (Шокин и др., 2013) (Шокин и др., 2015), (Левин и др., 2008), (Бабяк и др.,
2012), (Недолужко и др., 2012), так и за рубежом (Moore, Hansen, 2011), (Gorelick, 2013), (Acker
J. G., Leptoukh G., 2007), (Koubarakis M. et al., 2012). Разработка предлагаемых методов и под-
102
ходов распределенной работы со сверхбольшими архивами данных дистанционных наблюде-
ний Земли позволит существенно расширить возможности использования технологий дистан-
ционного зондирования для решения различных научных и прикладных задач.
Архивы данных, поддерживаемые в ИКИ РАН. В различных центрах и системах хра-
нения на сегодня уже накоплены гигантские объемы спутниковых данных. Любая вновь со-
здаваемая технология, связанная с обработкой этих данных, должна учитывать существующее
состояние дел и особенности такого хранения. В частности, подходы, разработанные в данной
работе, в первую очередь ориентированы на существующую инфраструктуру центров и си-
стем хранения, поддерживаемых в ИКИ РАН, в том числе архивы спутниковых данных, накоп-
ленных в центре коллективного пользования "ИКИ-Мониторинг" (далее ЦКП "ИКИ-Монито-
ринг") (Лупян, Прошин и др., 2015), Объединенной системе архивов данных центров НИЦ
"Планета" (Бурцев и др., 2012), (Лупян, Милехин и др., 2014), а также архивы данных, поддер-
живаемых в рамках отдельных проектов и систем дистанционного мониторинга, например,
Информационной системы дистанционного мониторинга лесных пожаров Федерального
агентства лесного хозяйства "ИСДМ-Рослесхоз" (Барталев С. А. и др., 2010), системы мони-
торинга активности вулканов Камчатки и Курил "VolSatView" (Гордеев и др., 2016) и других.
В этих архивах имеется уникальное для отечественных ресурсов пространственное и времен-
ное покрытие спутниковой информацией. Суммарно область покрытия включает всю терри-
торию Северной Евразии и ряд локальных областей в Америке, Африке и Азии. Важным мо-
ментом является наличие долговременных однородных рядов данных за последние десятиле-
тия по сегодняшний день, например, рядов снимков группировки LANDSAT, начиная с 1984
года, информации с прибора MODIS с 2000 года и так далее. Имеются радарные данные, ги-
перспектральные данные, данные оптических систем самого разного назначения от получен-
ных с геостационарных спутников и аппаратов метеорологического назначения до снимков
высокого разрешения. Общий объем архивов уже сегодня заметно превышает один петабайт,
причем общий объем продолжает стремительно увеличиваться. Это увеличение можно оце-
нить на момент 2017 года в цифрах порядка 1 Тб в сутки. Информация из описываемых архи-
вов высокого востребована как при решении научных задач различной направленности, так и
в разнообразных коммерческих проектах. Например, в работе (Лупян, Прошин и др., 2015)
указывается, что информация из этих архивов используется более чем в двадцати научных
организациях и группах. Имеющиеся архивы данных являются распределенными с центрами
хранения, физически находящимися в разных городах, от центра во Франкфурте в Германии
до центра в Петропавловске-Камчатском в России. Таким образом, архивы данных ЦКП
"ИКИ-Мониторинг" и объединенной системы архивов центров НИЦ "Планета" выступают в
качестве хорошей площадки для создания и отработки новых технологий работы со спутни-
ковыми данными из сверхбольших распределенных архивов.
Технология создания инструментов для удаленного анализа сверхбольших объемов
данных дистанционного зондирования Земли. В докладе рассказывается про разработан-
ную архитектуру системы удаленного анализа и обработки спутниковых данных дистанцион-
ного зондирования Земли, предоставляемых большими распределенными системами архива-
ции. Основные ее особенности были опубликованы в работах (Кашницкий, Лупян и др. 2016),
(Кашницкий, Балашов и др., 2015). На базе такой архитектуры возможно создание различных
инструментов анализа и обработки данных ДЗЗ из больших распределенных архивов. Таким
образом, авторами была разработана технология создания инструментов для удаленного ана-
лиза сверхбольших объемов данных дистанционного зондирования Земли. Созданная техно-
логия обеспечивает быструю и удобную обработку и анализ спутниковых данных из сверх-
больших распределенных архивов и позволяет создавать "on-line" инструменты. В соответ-
ствии с данным подходом удаленные пользователи управляют процедурами обработки через
web-браузер, без установки сложного программного обеспечения. При работе с такими ин-
струментами важно отсутствие жесткой привязки к месту и времени работы, так как создава-
емые на базе технологии инструменты позволяют проводить все операции по обработке и ана-
лизу на вычислительных ресурсах самих центров хранения. Все это снимает требования к
103
наличию у исследователей в конкретном проекте каких-либо ресурсов и позволяет им полу-
чить максимально мощные средства для работы со спутниковыми данными только с исполь-
зования обычного компьютера. Также обеспечивается возможность реализовывать инстру-
менты максимально простыми, предъявляющими минимальные требования к знаниям и навы-
кам пользователей в области обработки спутниковых данных и геоинформационных техноло-
гий. То есть, при их использовании, прежде всего, необходимо понимание задачи и наличие
знаний в предметной области. Технология учитывает инфраструктуру и особенности суще-
ствующих центров и систем хранения, в частности, поддерживаемых в ИКИ РАН центра кол-
лективного пользования "ИКИ-Мониторинг", Объединенной системы архивов данных цен-
тров НИЦ "Планета", а также архивы данных, поддерживаемых в ИКИ РАН в рамках отдель-
ных проектов и систем дистанционного мониторинга. Разработанную технология и инстру-
менты на ее основе удалось легко внедрить в различные действующие информационные си-
стемы, поддерживаемые в ИКИ РАН. В докладе также приводятся примеры созданных ин-
струментов обработки данных.
Подходы к построению сверхбольших распределенных архивов спутниковых дан-
ных. В докладе также рассказывается, как для обеспечения возможности работы инструмен-
тов удаленного анализа в соответствии с предложенной архитектурой необходимо организо-
вать хранение информации ДЗЗ. Реализация предложенных в данном разделе подходов при-
менительно к описанным выше архивам, поддерживаемым в ИКИ РАН, была описана в статье
(Прошин и др., 2016). Разработанный подход к построению системы ведения архивов спутни-
ковых данных заключается в разделении базы данных на часть, хранящую сами данные, и
часть, хранящую всю вспомогательную информацию. В докладе описываются связанные с та-
ким подходом блоки получения полной информации, необходимой для унифицированного
проведения процедур обработки и анализа. Это позволяет однотипно использовать в процеду-
рах обработки совершенно разнородные данные из архивов. Также в докладе рассказано о по-
лучаемой на основе предложенного подхода возможности построения виртуальных продуктов
в момент их запроса. Под термином виртуальный продукт подразумевается тематический ин-
формационный продукт, являющихся результатом преобразования спутниковых данных, и по-
лучаемый только в момент его запроса "на лету" программными средствами путем комбини-
рования, вычисления или применения различных правил преобразования физически храня-
щихся данных. Такое получение продуктов "на лету" имеет целый ряд преимуществ, в част-
ности, позволяет легко описывать и модифицировать предоставляемые исследователям вир-
туальные информационные продукты на основе спутниковых данных без проведения предва-
рительных сложных процедур обработки и переобработки архива. Также существенным плю-
сом является то, что предложенный подход позволяет избежать хранения в архивах всех тре-
буемых производных продуктов и тем самым существенно уменьшить объем физически хра-
нимых данных возможно создание виртуальных продуктов, требующих проведение различ-
ных вычислений, в том числе над разновременными и разнородными данными. В докладе при-
водятся примеры различных виртуальных информационных продуктов и схем их формирова-
ния.
Заключение. Изложенные подходы и инструменты высоко востребованы при изучении
явлений и процессов, происходящих в самых разных областях жизнедеятельности. Примеры
их применения были описаны в большом количестве работ, например (Кашницкий, Лупян и
др., 2015), (Рыбалко и др., 2016), (Саворский и др., 2016), (Гордеев и др., 2016). В докладе
приводится несколько примеров практического применения разработанных подходов при по-
строении блоков обработки и анализа данных в информационных системах дистанционного
мониторинга различного назначения. Примеры демонстрируют использование созданных ин-
струментов анализа данных для изучения динамики растительного покрова, мониторинга за-
грязнений и опасных природных явлений, в том числе изучения вулканической активности.
Работа выполнена при финансовой поддержке Минобрнауки России
(контракт 14.607.21.0122, уникальный идентификатор ПНИЭР RFMEFI60715X0122).
104
ЛИТЕРАТУРА
[1] Кашницкий А.В., Балашов И.В., Лупян Е.А., Толпин В.А., Уваров И.А. Создание инструментов
для удаленной обработки спутниковых данных в современных информационных системах // Со-
временные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1.
С. 156-170.
[2] Кашницкий А.В., Лупян Е.А., Балашов И.В., Константинова А.М. Технология создания инстру-
ментов обработки и анализа данных сверхбольших распределенных спутниковых архивов // Оп-
тика атмосферы и океана. 2016. Т. 29. № 9. С. 772-777. DOI: 10.15372/AOO20160908.
[3] Прошин А.А., Лупян Е.А., Балашов И.В., Кашницкий А.В., Бурцев М.А. Создание унифициро-
ванной системы ведения архивов спутниковых данных, предназначенной для построения совре-
менных систем дистанционного мониторинга // Современные проблемы дистанционного зонди-
рования Земли из космоса. 2016. Т. 13. № 3. С. 9-27. DOI: 10.21046/2070-7401-2016-13-3-9-27.
[4] Гордеев Е.И., Гирина О.А., Лупян Е.А., Сорокин А.А., Крамарева Л.С., Ефремов В.Ю., Кашниц-
кий А.В., Уваров И.А., Бурцев М.А., Романова И.М., Мельников Д.В., Маневич А.Г., Королев
С.П., Верхотуров А.Л. Информационная система VOLSATVIEW для решения задач монито-
ринга вулканической активности Камчатки и Курил // Вулканология и сейсмология. 2016. № 6.
С. 1-16. DOI: 10.7868/S0203030616060043. Кашницким А.В. созданы инструменты обработки и
анализа спутниковых данных, применявшиеся для дистанционного мониторинга вулканической
активности.
[5] Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашниц-
кий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров
И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых
данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современ-
ные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263-284.
[6] Лупян Е.А., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Кашницкий А.В., Кобец Д.А., Краше-
нинникова Ю.С., Мазуров А.А., Назиров Р.Р., Прошин А.А., Сычугов И.Г., Толпин В.А., Уваров
И.А., Флитман Е.В. Создание технологий построения информационных систем дистанционного
мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015.
Т. 12. № 5. С. 53-75.
[7] Бурцев М.А., Антонов В.Н., Ефремов В.Ю., Кашницкий А.В., Крамарева Л.С., Лупян Е.А., Ма-
зуров А.А., Матвеев А.М., Милехин О.Е., Прошин А.А., Соловьев В.И. Система работы с рас-
пределенными архивами результатов обработки спутниковых данных центров приема НИЦ
"Планета" // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т.9.
№ 5. С. 55-76. Кашницким А.В. разработаны подходы к организации сверхбольших распределен-
ных архивов спутниковых данных, применяемые в архивах центров центров приема
НИЦ "Планета".
[8] Лупян Е.А., Милехин О.Е., Антонов В.Н., Крамарева Л.С., Бурцев М.А., Балашов И.В., Толпин
В.А., Соловьев В.И. Система работы с объединенными информационными ресурсами, получае-
мыми на основе спутниковых данных в центрах НИЦ “ПЛАНЕТА” // Метеорология и гидроло-
гия, 2014. № 12. С.89-97.
[9] Барталев С.А., Ершов Д.В., Коровин Г.Н., Котельников Р.В., Лупян Е.А., Щетинский В.Е. Основ-
ные возможности и структура информационной системы дистанционного мониторинга лесных
пожаров Федерального агентства лесного хозяйства (ИСДМ Рослесхоз) // Современные про-
блемы дистанционного зондирования Земли из космоса, 2010. Т.7. № 2. С. 97-105.
[10] Лупян Е.А., Мазуров А.А., Назиров Р.Р., Прошин А.А., Флитман Е.В., Крашенинникова Ю.С.
Технологии построения информационных систем дистанционного мониторинга // Современные
проблемы дистанционного зондирования Земли из космоса, 2011. Т.8. № 1. С.26-43.
[11] Лупян Е.А., Саворский В.П., Шокин Ю.И., Алексанин А.И., Назиров Р.Р., Недолужко И.В., Па-
нова О.Ю. Современные подходы и технологии организации работы с данными дистанционного
зондирования Земли для решения научных задач // Современные проблемы дистанционного зон-
дирования Земли из космоса, 2012. Т.9. № 5. С.21-44.
[12] Шокин Ю.И., Антонов В.Н., Добрецов Н.Н., Кихтенко В.А., Лагутин А.А., Смирнов В.В., Чуба-
ров Д.Л., Чубаров Л.Б. Распределенная система приема и обработки спутниковых данных Си-
бири и Дальнего Востока. Текущее состояние и перспективы развития // Современные проблемы
дистанционного зондирования Земли из космоса, 2012. Т. 9. №. 5. С. 45-54.
105
[13] Шокин Ю.И., Добрецов Н.Н., Кихтенко В.А., Смирнов В.В., Чубаров Д.Л., Чубаров Л.Б. О рас-
пределенной инфраструктуре системы оперативного спутникового мониторинга ЦКП ДДЗ СО
РАН // Вычисл. технологии. 2013. Т. 18. С. 86–94.
[14] Шокин Ю.И., Добрецов Н.Н., Мамаш Е.А., Кихтенко В.А., Воронина П.В., Смирнов В.В., Чуба-
ров Д.Л. Информационная система приема, обработки и доступа к спутниковым данным и ее
применение для решения задач мониторинга окружающей среды // Вычислительные технологии.
2015. Т. 20. № 5. С. 157-174.
[15] Acker J. G., Leptoukh G. Online analysis enhances use of NASA earth science data //Eos, Transactions
American Geophysical Union. – 2007. – Т. 88. – №. 2. – С. 14-17.
[16] Недолужко И. В. и др. Инфраструктура приёма, распределённой обработки и поставки спутни-
ковых данных в Центре коллективного пользования Регионального спутникового мониторинга
ДВО РАН //Современные проблемы дистанционного зондирования Земли из космоса. – 2012. –
Т. 9. – №. 3. – С. 324-331.
[17] Бабяк П. В., Недолужко И. В. Подход к хранению и обработке данных в Центре коллективного
пользования регионального спутникового мониторинга окружающей среды ДВО РАН //Матери-
алы научной конференции" Интернет и современное общество". – 2012. – С. 16-22.
[18] Левин В. А. и др. Состояние дел и перспективы развития ЦКП регионального спутникового мо-
ниторинга окружающей среды ДВО РАН в области современных информационных и телеком-
муникационных технологий //Открытое образование. – 2008. – №. 4.
[19] Moore R. T., Hansen M. C. Google Earth Engine: a new cloud-computing platform for global-scale
earth observation data and analysis // AGU Fall Meeting Abstracts, 2011. Vol. 1. P.2.
[20] Gorelick N. Google Earth Engine //EGU General Assembly Conference Abstracts. – 2013. – Т. 15. –
С. 11997.
[21] Koubarakis M. et al. TELEIOS: a database-powered virtual earth observatory //Proceedings of the
VLDB Endowment. – 2012. – Т. 5. – №. 12. – С. 2010-2013.
[22] Кашницкий А.В., Лупян Е.А., Барталев С.А., Барталев С.С., Балашов И.В., Ефремов В.Ю., Сты-
ценко Ф.В. Оптимизация интерактивных процедур картографирования гарей в информационных
системах дистанционного мониторинга природных пожаров // Современные проблемы дистан-
ционного зондирования Земли из космоса. 2015. Т. 12. № 4. С. 7-16.
[23] Рыбалко Е.А., Баранова Н.В., Лупян Е.А., Толпин В.А., Кашницкий А.В., Уваров И.А., Краше-
нинникова Ю.С., Иванченко В.И. Организация работы с данными наземных и дистанционных
наблюдений для решения задач дистанционного мониторинга виноградников // Современные
проблемы дистанционного зондирования Земли из космоса. 2016. Т. 13. № 1. С. 79-92. DOI:
10.21046/2070-7401-2016-13-1-79-92.
[24] Саворский В.П., Кашницкий А.В., Константинова А.М., Балашов И.В., Крашенинникова Ю.С.,
Толпин В.А., Маклаков С.М., Савченко Е.В. Возможности анализа гиперспектральных индексов
в информационных системах дистанционного мониторинга семейства «Созвездие-Вега» // Со-
временные проблемы дистанционного зондирования Земли из космоса. 2016. Т. 13. № 3. С. 28-
45. DOI: 10.21046/2070-7401-2016-13-3-28-45.
[25] Гордеев Е.И., Гирина О.А., Лупян Е.А., Сорокин А.А., Мельников Д.В., Маневич А.Г., Романова
И.М., Крамарева Л.С., Ефремов В.Ю., Кобец Д.А., Кашницкий А.В., Верхотуров А.Л., Бурцев
М.А. ИС «VolSatView»: комплексный анализ данных об эксплозивных извержениях вулканов
Камчатки // Вестник Дальневосточного отделения Российской академии наук. 2016. № 5.
С. 397-410.
106