The work considers some features of the development of software and technological support tools for loading, processing and publishing of remote sensing data. Described batch processing mechanisms of incoming data and features of preparing data before publishing them in a web application. Methods are proposed for reducing the size of the intermediate data archive for the operation of this web application, the structure of the web application and the technologies and standards used.
В работе рассматриваются некоторые особенности разработки программных инструментальных средств для загрузки, обработки и публикации данных дистанционного зондирования. Описаны механизмы пакетной обработки поступающих данных и особенности их подготовки перед публикацией в веб-приложении. Предложены методы по снижению размера архива промежуточных данных для работы этого веб-приложения, структура веб-приложения и используемые технологии и стандарты. Ключевые слова: данные дистанционного зондирования, веб-картография, ГИС, геопортал, геопространственные данные.
Красноярский край обладает рядом географических и экономических особенностей, такими как протяженная территория, множество труднодоступных и слабо освоенных зон и их удаленность от мест концентрации промышленного производства и населения и др. Доступность регулярных данных дистанционного зондирования Земли (ДДЗ) высокого разрешения позволяет эффективно решать задачи во многих областях хозяйственной деятельности Красноярского края. Внедрение данных ДДЗ для края в тематических ГИС позволит решать задачи в области оперативного мониторинга чрезвычайных ситуаций и экологической обстановки, эффективности использования природных ресурсов и экономического мониторинга, а также в задачах лесного и сельского хозяйства.
Для решения задачи по обеспечению эффективного использования результатов космической деятельности в Красноярском крае в мае 2017 года был введен в эксплуатацию новый спутниковый приемный комплекс Федерального исследовательского центра «КНЦ СО РАН» (ФИЦ КНЦ СО РАН) на базе Единого регионального центра дистанционного зондирования Земли Красноярского края (ЕРЦ ДЗЗ) (http://ksc.krasn.ru/news/2017-05-12/). Приемный комплекс построен на основе приемной станции Сканекс УниСкан-3.7. В настоящее время с его помощью осуществляется прием спутниковых данных с космических аппаратов (КА) Terra, Aqua, Suomi NPP, NOAA-20 и FENG-YUN. Использование данных Suomi NPP и NOAA-20 позволяет существенно расширить возможности систем дистанционного мониторинга с привлечением новых данных повышенного пространственного разрешения и радиометрической чувствительности. Дополнительно для информационного обеспечения решаемых задач в ЕРЦ ДЗЗ началась работа по формированию локального архива актуальных снимков КА Landsat и Sentinel на территорию Красноярского края. В рамках работ, проводимых при взаимодействии с Сибирским региональным центром ДЗЗ в Железногорске, были выполнены работы по созданию архива спутниковых данных c отечественного аппарата Метеор-М2.
Для доступа к данным приемного комплекса и созданным архивам разработан каталог
спутниковых данных, сформирован комплекс инструментов для обработки исходных данных
и подготовки их для быстрого отображения посредством веб-браузера. Перед разработкой
программного обеспечения были проанализированы существующие на сегодняшний день
инструменты каталогизации спутниковых данных в мире и России [
В результате анализа существующих продуктов было решено создать сервис доступа к каталогу спутниковых данных на территорию, охватываемую нашей приемной станцией в виде комбинации инструментов из двух рассмотренных групп. В настоящее время нашему приемному центру доступно файловое хранилище объемом порядка 100 Тб, что недостаточно для хранения всего спектра готовых продуктов. Для решения проблемы с ограниченным размером файлового хранилища, предварительно формируется архив из снимков с ограниченным числом каналов для визуализации и анализа спутниковых данных. Дополнительной задачей являлась разработка технологии для публикации в онлайн режиме данных из каталога снимков, т.к. внутренняя структура существующих решений слабо представлена в публикациях и Интернет.
Выбран подход, который позволяет экономить дисковое пространство и позволяет
получить приемлемый результат. На основе исходных снимков ежедневно формируется два
«базовых продукта» для данных с приборов MODIS КА Terra и Aqua, VIIRS КА Suomi NPP и
NOAA-20 и данных загруженных архивов для прибора MSI КА Sentinel-2A и данные с КА
Landsat-8:
‒ Многоканальное изображение с неполным набором каналов в отличие от исходного
снимка, но достаточным списком каналов для создания основных продуктов с
изображением в искусственных цветах. Для всех доступных в каталоге данных с космических
аппаратов формируются такие комбинации, как цветосинтезированное изображение в
«естественных цветах», комбинация каналов снимка, наиболее подходящая для
обнаружения пожаров и огня и комбинация, используемая для отображения снега и льда.
Дополнительно новое изображение содержит каналы для расчета индексов NDVI
(нормализованный относительный индекс биомассы, Normalized Difference Vegetation
Index) [
Разработан набор программ для создания небольших обзорных цветных изображений в естественных цветах в формате png для просмотра нескольких снимков одновременно. Такие изображения позволяют получить общую картину за сутки или несколько дней в области приема комплекса. Для дневных сцен используется определенный набор каналов для каждого прибора в диапазоне от 0 до 100% альбедо с гаммой 1,8. В ночное время используется одноканальное изображение сна основе одного канала в диапазоне от 220К до 300К с гаммой 0.5 в негативе.
Для прибора MODIS при создании обзорных изображений используется комбинация каналов 7-2-1, для многоканальных изображений используются следующие наборы каналов: ‒ 1-4-3 естественные цвета; ‒ 7-2-1 для обнаружения пожаров комбинация; ‒ 3-6-7 для отображения снега и льда комбинация; ‒ 31 температура поверхности; ‒ 1 и 2 для расчета индекса NDVI.
Для прибора VIIRS при создании обзорных изображений используется комбинация каналов M11-I2-I1, для многоканальных изображений используются следующие наборы каналов, наиболее близкие к прибору MODIS: ‒ I5-M4-M3 естественные цвета; ‒ M11-I2-I1 для обнаружения пожаров комбинация; ‒ M3-I3-M11 для отображения снега и льда комбинация; ‒ I5 температура поверхности; ‒ I1 и I2 для расчета индекса NDVI.
Для прибора MSI КА Sentinel-2A при создании обзорных изображений используется комбинация каналов 12-8-4, для многоканальных изображений используются следующие наборы каналов, наиболее близкие к прибору MODIS: ‒ 4-3-2 естественные цвета; ‒ 12-8-4 для обнаружения пожаров комбинация; ‒ 2-11-12 для отображения снега и льда комбинация; ‒ 4 и 8 для расчета индекса NDVI.
Температура поверхности для Sentinel-2A не использовалась.
В результате для быстрого просмотра обзорных изображений используются файлы в формате png, построенные на основе многоканальных изображений. В этой части разрабатываемая система работает, как представитель большинства существующих систем каталогизации спутниковых снимков. Для анализа спутниковых снимков в веб-браузере также используется многоканальное изображение, которое позволяет комбинировать в онлайн режиме разные доступные каналы. Дополнительно формируются продукты в виде одноканальных снимков, требующие расчета. Например, индекс NDVI, рассчитывающийся из данных красного (1 канал для MODIS, I1 канал для VIIRS, 4 канал для MSI) и инфракрасного каналов (2 канал для MODIS, I2 канал для VIIRS, 8 канал для MSI) по формуле (2-1)/(2+1) для прибора MODIS, (I2-I1)/(I2+I1) для прибора VIIRS, (8-4)/(8+4) для прибора MIS. Или температура, приведенная в градусы Цельсия из яркости пикселей соответствующего канала (рис. 1).
Рис. 1. Комбинации слоев (естественные цвета, пожары, снег и лед, температура, NDVI).
При формировании цветных изображений используется LUT (Look Up Table), это
своеобразная «таблица поправок» для внесения изменений в каждый из трех каналов [
Перед отображением снимков в веб-интерфейсе выполнялась настройка гаммы для программного обеспечения MapServer для 16 битных изображений с помощью таблиц LUT для 10 опорных точек. Без этих изменений растры выглядели намного темнее, приходилось использовать автоматический расчет гистограммы растра для каждого снимка, что в свою очередь приводило к некоторым артефактам при просмотре снимков в веб-интерфейсе и общая контрастность всех снимков отличалась, так как автоматический расчет выполнялся для каждого растра независимо.
Обзорные изображения в формате png создаются с помощью библиотеки gdal с преобразованием формата и размера изображения. Применяется нелинейное масштабирование с помощью степенной функции для изменения яркости и контрастности снимка. Операция выполняется инструментом gdal_translate, предназначенным для преобразования растровых данных между различными форматами:
gdal_translate -of png -a_nodata 0 -co worldfile=yes -outsize xsize ysize -b b1 -b b2 -b b3 exponent exp_val -scale 0 65535 0 255 file1 file2
Дополнительно для веб-интерфейса были созданы альтернативные карты подложки с применением проекции, более подходящей для территории Красноярского края. В частности, использовалась азимутальная равновеликая проекция Ламберта (код EPSG:3576) [5]. Эта же проекция используется для генерации «базовых продуктов», с целью исключить ресурсоемкую операцию перепроектирования при просмотре таких снимков.
В результате работы для быстрого и удобного поиска в каталоге спутниковых данных, для минимизации нагрузки на серверное программное и аппаратное обеспечение подготовлен набор серверных приложений для предварительной обработки спутниковых данных, включающих следующие этапы обработки: 1. Преобразование исходных растровых данных в формат GeoTiff с преобразованием исходной проекции в азимутальную равновеликую проекцию Ламберта. 2. Создание базового цветного изображения для разных масштабов отображения, состоящего из нескольких спектральных каналов. Такие изображения будут использоработанные программные средства для анализа пространственных данных в среде геопортала Института вычислительного моделирования СО РАН с использованием технологий, предлагаемых международной организацией OGC (Open Geospatial Consortium) и программного обеспечения MapServer и MapProxy. MapProxy используется для создания карты из фрагментов. Спутниковые снимки для веб-приложения формируются с использованием программного обеспечения MapServer и GDAL. Набор инструментов для предварительной обработки снимков разработан с использованием языка Python 3 и процессора BASH в среде Unix. Основными модулями для приложений на Python выступали библиотеки GDAL и NumPy. Пример веб-интерфейса каталога спутниковых снимков представлен на рисунке 2.
Рис. 2. Веб-интерфейс каталога спутниковых снимков.
Разработанная платформа для каталога спутниковых снимков обеспечивает пользователя современными инструментами для работы со спутниковыми данными и навигацией среди них в рамках приемного комплекса регионального центра в Красноярском крае и соседних регионах. Возможности создаваемого программного продукта позволяют комбинировать любые сочетания каналов, доступных в изображении без дополнительной настройки серверного программного обеспечения, что выделяет созданную систему среди подобных систем каталогизации спутниковых данных. Разработанные технологии и алгоритмы позволяют внедрять элементы системы для других архивов спутниковой информации. В ближайшем будущем разработанная платформа позволит создавать новые специализированные продукты на основе спутниковых данных в сотрудничестве с другими институтами Сибирского отделения РАН, которые могут быть использованы для анализа и мониторинга различных процессов.