A typical problem arising in the thematic processing of hyperspectral images due to redundancy of spectral information is the "curse of dimensionality". The solution of this problem consists in selecting the most informative spectral ranges. These ranges can be significantly different for various classification tasks. A similar statement can be made about recognition methods of different complexity. A method for combining basic classifiers based on boosting and some results of the coding theory is proposed. Some examples of thematic processing of hyperspectral images are given for test areas with the presence of ground information.
КОМПЛЕКСИРОВАНИЕ КЛАССИФИКАТОРОВ В ЗАДАЧЕ ТЕМАТИЧЕСКОЙ ОБРАБОТКИ ГИПЕРСПЕКТРАЛЬНЫХ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ Дмитриев Е.В.(1), Дементьев А.О.(1), Козодеров В.В.(2) 1 Институт вычислительной математики Российской академии наук, Москва 2 Московский государственный университет имени М.В. Ломоносова, Москва Характерной проблемой, возникающей при тематической обработке гиперспектральных изображений вследствие избыточности спектральной информации, является "проклятие размерности". Решение данной проблемы состоит в выделении наиболее информативных спектральных диапазонов. Для различных задач классификации эти диапазоны могут существенно различаться. Подобное утверждение можно сделать и относительно методов распознавания различной сложности. Предлагается методика комплексирования базовых классификаторов, основанная на методах бустинга и некоторых результатах теории кодирования. Приводятся примеры тематической обработки гиперспектральных изображений тестовых участков с наличием наземной информации.
Ключевые слова: дистанционное зондирования, гиперспектральные изображения, распознавание образов, тематическая обработка, классификация.
Введение. Современные гиперспектральные системы аэрокосмического зондирования позволяют получать изображения обследуемых территорий в сотнях достаточно узких спектральных каналах, полностью покрывающих некоторый выбранный диапазон. Обработка такого рода изображений направлена на решение новых, более сложных задачи мониторинга природных и техногенных объектов. Гиперспектральные измерения находят широкое применение при мониторинге земель, лесных и водных ресурсов, поиске месторождений полезных ископаемых, оценке экологической обстановки, контроле геотехнических сооружений (трубопроводов, линий электропередач, гидрологических объектов и др.). Особенности решения экологических задач связаны с рассмотрением стрессового состояния растительности при наличии загрязнений почвенного покрова. Значительная часть исследований разных видов растительности традиционно сосредоточена в видимой и ближней инфракрасной области (0.41.1 мкм). При обработке гиперспектральных измерений возникают технические сложности, связанные с накоплением больших объемов и коррелированностью данных.
Важным этапом тематической обработки гиперспектральных изображений является распознавание изучаемых объектов по специфическим особенностям спектральных характеристик отражательной способности. Точность такого распознавания зависит от многих факторов: прозрачность атмосферы и наличие облачности, характеристики измерительной аппаратуры, качество предварительной обработки, точность геопривязки дистанционных и наземных данных. При достаточно высоком качестве измерений и коррекции возникает необходимость построения эффективного алгоритма классификации, который обеспечивал бы высокую точность и скорость вычислений.
Существуют различные методы, которые могут быть использованы для распознавания наземных объектов по гиперспектральным аэрокосмическим изображениям. В последние годы был опубликован ряд работ по сравнительному анализу различных классификаторов. Так, например, в работе [1] представлены результаты распознавания видового состава тропических лесов на основе гиперспектральных изображений Hyperion/EO-1. Для обработки применялись классификаторы на основе метода спектрального угла, искусственных нейронных сетей и метода опорных векторов. Было обнаружено, что последние два метода показали наилучшие результаты для восьми рассматриваемых классов растительности. Также было показано, что метод опорных векторов оказался существенно менее подвержен негативному влиянию избыточности спектральной информации. В работе [2] метод опорных векторов сравнивался с методом случайных лесов. В качестве тестовой территории был выбран участок, расположенный на севере Карлсруэ в федеральном штате Баден-Вюртемберг в Германии и содержащий древостои характерные для Центральной Европы. В работе [2] было отмечено, что оба 82 указанных классификатора можно использовать для распознавания породного состава, однако метод случайных лесов имеет некоторые преимущества.
В данной работе рассматриваются возможности построения комплексных многоклассовых классификаторов, построенных на основе комбинирования базовых классификаторов различной сложности: метрические классификаторы, байесовские классификаторы, метод опорных векторов. Для этого используются методы линейного комбинирования классификаторов и некоторые результаты теории кодирования. Для проведения численных экспериментов используются модельные данные и гиперспектральные изображения тестовых участков с наличием наземной информации.
Методика классификации. На сегодняшний день создано большое количество различных алгоритмов классификации с обучением, которые могут быть рассмотрены в качестве базовых классификаторов. Однако в данной работе мы ограничимся рассмотрением лишь тех основных методов, которые получили наибольшее практическое применение и существенно отличаются постановкой задачи и скоростью работы [3].
Наиболее простыми и быстрыми являются метрические классификаторы, которые реализуются в предположении того, что каждому распознаваемому объекту может быть поставлена в соответствие некоторая эталонная спектральная характеристика отражательной способности. Для обучения необходимо выбрать метрику в пространстве признаков, на основе обучающей выборки для каждого класса рассчитать положения центроидов (средних значений соответствующих признаков) и для каждого класса задать или оценить по обучающей выборке определить максимально возможное расстояние до центроида. В процессе классификации рассчитываются расстояния между классифицируемыми признаками и центродидами рассматриваемы классов. Признак ставится в соответствие классу, расстояние до центроида которого минимально в смысле выбранной метрики.
Получаемые в процессе гиперспектральной съемки спектральные характеристики излучения, отраженного от распознаваемых объектов могут быть представлены как совокупность элементарных оптически однородных компонент. Поскольку на практике нет точной информации о процентном соотношении элементарных компонент и их взаимном пространственном расположении, то можно считать, что спектральные признаки являются случайными величинами. В этом случае для распознавания с обучением можно использовать байесовский классификатор, общий вид которого представляется выражением
a(x) arg myaYx Py py (x) , где x – классифицируемый вектор признаков, Py – априорная вероятность класса y , а py (x) – функция плотности вероятности для данного класса. Обучение классификатора состоит в получении оценок Py и py (x) на основе обучающей выборки. Признаки, находящиеся далеко от значений в обучающей базе данных скорее всего будут относиться к некоторой иной, неизвестной группе объектов. Таким образом необходимо использовать только поверхности, ограничивающие некоторую конечную область в признаковом пространстве. Для этого в алгоритме дополнительно применяется условие минимально возможной апостериорной вероятности для каждого класса. В этом случае квадратичный нормальный классификатор будет использовать только гиперэллипсоиды в качестве дискриминантных поверхностей.
При точно известных априорных вероятностях классов и распределений признаков внутри классов, байесовский классификатор является оптимальным, поскольку обеспечивает наименьшую полную вероятность ошибки. При использовании оценок статистических параметров оптимальность алгоритма нарушается. Классификаторы, основанные на байесовском принципе, подразделяются на параметрические (например, дискриминантный анализ) и непараметрические (метод парзеновского окна). Многие используемые алгоритмы классификации, при построении которых не используется предположение о случайности распределения признаков по сути являются частным случаем байесовской классификации. Так, например, метод k-наиближайших соседей можно считать непараметрическим байесовским классификатором. Метод опорных векторов представляет собой бинарный классификатор, обучение которого состоит в поиске параметров максимально удаленных параллельных гиперплоскостей (w, xi ) w0 1, разделяющих заданную пару классов, проходящих через область граничных точек (опорных векторов) распределения признаков этих классов. Оптимизационная задача имеет вид 1 N (w, w) Ci min 2 i1 w,w0, yi ((w, xi ) w0 ) 1i , i 1,..., N где параметры i 0 представляют собой штрафы за ошибочную классификацию граничных точек. Метод опорных векторов легко обобщается на случай нелинейных разделяющих поверхностей с помощью замены скалярного произведения на полиномиальное или гауссовское ядро.
Многоклассовый алгоритм [4] строится на основе решения серии из L различных задач бинарной классификации, которые формируются на рассматриваемом множестве классов таким образом, чтобы как минимум в одной из них разделялись любые два класса из этого множества. Схема группировки исходных классов бинарные задачи записывается в виде кодовой матрицы, содержащей из чисел 1 (целевой объект), –1 (альтернатива) и 0 (объекты, не участвующие в классификации). Таким образом, строки кодовой матрицы являются уникальными кодами исходных классов. Ошибки классификации в каждой из этих L задач можно охарактеризовать введением функции потерь g( y, s(x)) для каждого класса из исходного списка. Функция s(x) указывает на удаленность измерения x от дискриминантной поверхности в область класса 1. Таким образом, конечный многоклассовый алгоритм можно записать в виде L ckj g( y, s j (x)) a(x) arg min j1 , y
L ckj j1 где ckj – элементы кодовой матрицы. При работе данного алгоритма для классифицируемого вектора признаков x выбирается класс y , соответствующий минимальным в среднем потерям.
Сравнение описанных выше базовых классификаторов и их модификаций рассматривалось в различных работах [5]. Нелинейные классификаторы как правило имеют преимущество по точности, однако проигрывают в скорости и устойчивости результатов обучения. Кроме этого следует отметить, что при добавлении новых реализаций в обучающую выборку соотношение между точностями алгоритмов могут меняться. Для объединения базовых классификаторов в единый многоклассовый алгоритм можно использовать метод адаптивного бустинга.
Последовательность действий для T базовых классификаторов может быть описана следующим образом. Пусть обучающая выборка содержит N пар признак-класс. Зададим начальное распределение весов для каждой такой пары как wi1 1 / N , где i 1,..., N . Далее организуем цикл по индексу t 1,...,T . В цикле мы обучаем базовые классификаторы bt и выбираем из них тот, который соответствует минимуму средневзвешенной ошибки t N wit[bt (xi ) yi ], вычисляем t 12 ln 1 t t , обновляем и нормализуем веса объектов: i1 wit1 wit eet,t ,еессллииbbt(t(xxi)i)yyii , wit1 N i , i 1,.., N .
wt1 wtj1 j1 По завершении цикла мы получаем алгоритм классификации на основе комбинации базовых классификаторов
T a(x) arg max t[bt (x) y] .
y i1 Таким образом, в процессе обучения алгоритм адаптивного бустинга вызывает базовые классификаторы и находит среди них наилучший при заданном распределении весов. После каждого вызова формируются вес выбранного классификатора и обновляется распределение весов элементов обучающего множества, таким образом, что в случае успешного распознавания соответствующего элемента его вес уменьшается в et раз и увеличивается в et в случае ошибки базового классификатора. Представленная процедура адаптивного изменения весов объектов позволяет сфокусировать алгоритм на плохо разделяемых объектах.
Численные эксперименты. Для отработки методики использовались данные авиационной гиперспектральной съемки территории Савватьевского лесничества. Наземная информация по распределению породного и возрастного состава представлена стандартными табличными и картографическими данными лесотаксации. Для построения обучающего ансамбля в первую очередь использовались однородные древостои с сомкнутым пологом. Однако такие участки можно найти не для всех имеющихся пород и возрастов. Для расширения обучающего набора данных мы использовали также выделы со смешанным породным и возрастным составом древостоев.
В качестве признаков использовались нормализованные значения спектральной яркости. Из исходных 87 объединенных каналов гиперспектрометра были выбраны 7 каналов, соответствующих следующим длинам волн: 451 нм, 553 нм, 582 нм, 719 нм, 764 нм, 790 нм, 930 нм. На рис. 1 показано распределение тестовых объектов (ольха- 2545 элементов, береза – 5656 элементов, сосна – 1807 элементов) на основе показателей их спектральной яркости в двух последних каналах, соответствующих длинам волн в 790нм и 930 нм. Ошибка разделения на классы вычислялась как отношение числа неверно распознанных объектов к общему количеству объектов. Наилучший результат показал адаптивный бустинг классификаторов на основе метода опорных векторов с гауссовским ядром. Ошибка составила 9%.
На рис. 2 показаны результаты распознавания породного состава древостоев на тестовом участке, состоящем из 13 выделов. Размер исходного изображения 1200х500 пикселей. Отображаются 2 породы, сосна и береза, которые доминируют на данном тестовом участке. Белыми линиями обозначены границы выделов, цифры внутри выделов обозначают их номера и соответствующие лесотаксационные данные по породному составу с точностью 10%. Так, например, выдел 10 содержит 80% березы, 10% сосны и 10% осины. Рис. 1. Классификация таксонов (1 – ольха, 2 – береза, 3 – сосна) на основе адаптивного бустинга при различных базовых классификаторах: а – исходное распределение, б – бустинг нормального байесовского классификатора, в – бустинг метода опорных векторов с гауссовским ядром. Рис. 2. Распознавание породного состава (13 выделов) по данным высокого пространственного разрешения с учетом градаций освещенности полога (1 – полностью затененные, 2 – полузатененные, 3 – полностью освещенные участки). Цифрами приведены номера выделов и лесотаксационные данные по породному составу с точностью 10% (С – сосна, Б – береза, Е – ель, ОС – осина). При распознавании породного состава древостоев учитываются существенные различия формы спектров пикселей, относящихся к освещенным верхушкам кроны, полностью затененного межкронового пространства и частично освещенных участков. Такое различие возникает вследствие того, что затененные части лесного полога освещаются диффузным излучением неба и излучением, отраженным от соседних фитоэлементов, спектр которых существенно отличается по форме от спектра прямого солнечного излучения. Различие спектральных характеристик полностью затененных и полностью освещенных участков может быть достаточно сильным, сравнимым с различием между спектральными характеристиками отдельных пород. Таким образом, учет степени освещенности позволяет повысить точность классификации. Распознаваемые градации освещенности обозначены различными градациями яркости тона, выбранного для данной породы. Черным цветом обозначены прочие объекты.
Можно видеть хорошее соответствие между данными лесотаксации и результатами распознавания породного состава. Наилучшие результаты соответствуют чистым сосновым выделам 2, 3, 9 и выделам 11, 13 со смешанным породным составом. Для них характерны ошибки распознавания в диапазоне 3-7%, что выше точности наземной лесотаксации. Для березовых древостоев характерны более высокие ошибки, порядка 15-20%. Основная часть ошибок классификации расположена на границе выделов. Наибольшие ошибки, порядка 30% характерны выделов с малой площадью (4 и 7).
Анализируя результаты классификации для тестового участка, мы пришли к выводу, что основная часть несоответствия данных дистанционного зондирования и наземных данных связана с неточным положением границ выделов. Также следует учесть большой временной интервал, 16 лет, между проведением наземных обследований и дистанционными измерениями. Средневзвешенная ошибка классификации составила 12%.
Работа выполнена при финансовой поддержке Российского Научного Фонда (проект № 16-11-00007) и РФФИ (проект № 16-01-00107).