Фаворская М.Н., Пахирка А.И., Зотин А.Г., Буряченко В.В. Сибирский государственный университет науки и технологий им. академика М.Ф. Решетнева, г. Красноярск Предложен метод создания панорамного аэрофотоснимка из набора последовательных псевдопланарных изображений местности, полученных с беспилотного летательного аппарата, на основе параметров гомографии. Используется дополнительная стадия глобального выравнивания панорамного снимка с применением аффинной обработки. Особое внимание уделяется сшивке изображений с применением технологии многополосного смешивания, что обеспечивает качественную визуализацию в местах сшивки панорамного снимка.
Ключевые слова: панорамный аэрофотоснимок, параметры гомографии, многополосное смешивание.
Введение. Создание композитного снимка из последовательных изображений, полученных с беспилотного летательного аппарата (БПЛА), является частным случаем построения панорамного снимка из набора произвольных изображений заданной местности. Условия задачи таковы, что можно построить последовательность псевдо-планарных изображений в соответствии с траекторией полета БПЛА. Линейка БПЛА представляет широкий класс устройств с различными летными и нагрузочными характеристиками. Чем ниже такие характеристики, чем БПЛА более подвержен влиянию воздушных потоков, что приводит к нестационарности съемки, наличию размытых кадров, а бюджетная съемочная аппаратура означает наличие изображений низкого разрешения. Разрабатываемый метод включает отбор изображений, локальное совмещение изображений, глобальное выравнивание сцены, и устранение визуальных артефактов в местах сшивки.
Отбор изображений для панорамного снимка. Сведения о траектории полета БПЛА позволяют определить, какие изображения должны быть задействованы на текущем этапе создания панорамного снимка. Примем, что моменты начала и окончания съемки с целью получения панорамного снимка указываются пользователем. Строится граф пронумерованных изображений, и на текущем этапе создания панорамного снимка используются все имеющиеся соседние изображения. Такая процедура позволяет избавиться от дорогостоящего сопоставления случайных пар неотсортированных изображений.
Также следует проводить обязательную проверку на размытость изображений для устранения размытости или удаления размытого изображения из набора сшиваемых изображений (при сильной степени размытости). В работе [9] предложен усовершенствованный метод устранения размытия, позволяющий оценивать четкость изображения на основе градиентной информации по всему текущему изображению относительно имеющихся изображений и заданному порогу размытия. Нахождение границ объектов на изображении выполняется оператором Собела. Для детализированных регионов следует применять анизотропный фильтр Гаусса для сглаживания негативных эффектов размытия, при этом сохраняя информацию о границах в неизменном виде. Используется анизотропный фильтр Гаусса с переменным ядром. Для гладких регионов применяется алгоритм нерезкого маскирования, основанный на вычитании размытого изображения из четкого изображения. В результате формируется изображение с частично или полностью устраненными эффектами размытия.
Локальное совмещение изображений. Совмещение изображений, которые в общем случае, получены при различных углах наклона камеры, является одной из основных процедур создания панорамного снимка. Известны два основных подхода: непосредственное совмещение изображений и совмещение с использованием точечных дескрипторов. Считается, что первый подход обеспечивает большую точность совмещения, однако имеет ограничения по параметрам съемки (они должны быть практически такими же, как параметры съемки исходного снимка). Более общим является подход на основе точечных дескрипторов (Speeded-Up Robust Feature (SURF) [1], Features from Accelerated Segment Test (FAST), FAST Enhanced Repeatability (FAST-ER)) или стабильных областей (Affine Invariant Intensity Extrema, Maximally Stable Extremal Region (MSER)) [7]. Помимо классических подходов, в последние годы развиваются быстрые методы построения панорамных снимков, например, основанные расширенном фильтре Калмана и методе одновременной локализации и сопоставления (Simultaneous Localization and Mapping (SLAM)) [3].
В данной работе параллельно рассчитываются быстрые дескрипторы FAST и FAST-ER, предназначенные для обнаружения углов, и дескриптор SURF, учитывающий фактор масштабирования. В дескрипторе FAST проверка пиксела p на то, является ли он углом, осуществляется сравнением значения его яркости со значениями яркостей 16 пикселов {x1, x2, …, x16} с радиусом 3 вокруг проверяемого пиксела p (рисунок 1). Для ускорения алгоритма вначале рассматриваются пикселы с номерами 1, 5, 9 и 13. Если, по крайней мере, три их четырех пикселов удовлетворяют пороговому критерию, то пиксел p считается углом. Если, по крайней мере, три из четырех значений находятся ниже порогового значения Ip + TFAST, то пиксел p не является точкой интереса и отбрасывается. В противном случае проверяются все 16 значений окружающих пикселов в виде вектора Spx, принимающего соответственно темное, подобное и светлое значения в соответствии с выражением (1):
где Ix -яркость пиксела на окружности вокруг проверяемого пикселя; Ip -яркость проверяемого пикселя; TFAST -пороговое значение для дескриптора FAST, например, 20% значения яркости. Далее строятся подмножества Pd, Ps, Pb и определяется переменная Kp, которая в соответствии с классификатором дерева решений [5] определяет, является ли проверяемый пиксел углом или нет. Для снижения влияния шумов на результат работы алгоритма перед его применением рекомендуется произвести размытие изображения фильтром Гаусса.
Для идентификации особой точки в дескрипторе SURF строится массив из 64 (в расширенной версии 128) чисел. При этом размер окна для поиска дескриптора равен 20 s, где sмасштаб, в котором была найдена особая точка. Дескриптор содержит описание градиентов для 16 квадрантов вокруг особой точки. Далее, квадрат разбивается на 16 более мелких квадрантов. В каждом квадранте берется регулярная сетка 5×5 и для каждой точки сетки ищется градиент с помощью фильтра Хаара. Размер фильтра Хаара берется равным 2 s, и для первой октавы составляет 4×4. Следует отметить, что при расчете фильтра Хаара, изображение не поворачивается, фильтр рассчитается в обычных координатах изображения. Затем полученные координаты градиента (dX, dY) поворачиваются на угол, соответствующий ориентации квадрата. Также, для описания точки используется знак следа матрицы Гессе. Для светлых точек на темном фоне след отрицателен, а для темных точек на светлом фоне след положителен. Таким образом, SURF различает светлые и темные пятна. На рисунке 2 представлен пример обнаружения особых точек на изображении с применением алгоритмов FAST, FAST-ER и SURF. Одним из самых распространенных способов оценки параметров модели является алгоритм RANSAC (RANdom SAmple Consensus) [4]. Концепция данного алгоритма основана на разделении всех исходных данных на выбросы (outliers) и попадания (inliers). Выбросами являются ложные точки, шумы, случайные включения в исходные данные, т. е. такие точки, на основании которых нельзя построить требуемую модель. Попаданиями называются точки, удовлетворяющие модели. Данный алгоритм выполняется итеративно. У алгоритма RANSAC имеется ряд недостатков, которые иногда не позволяют получить требуемый результат за приемлемое время. Одним из недостатков является отсутствие верхней границы времени, необходимого для вычисления параметров модели. В настоящее время разработаны, реализованы и протестированы модификации данного алгоритма. Одним из таких модификаций является алгоритм MLESAC [6]. Данный алгоритм вычисляет вероятность гипотезы, представляя распространение ошибки как смешивание моделей. Для одновременного вычисления параметров модели и доли выбросов применяется схема максимизации ожидания. Для сшивки изображений требуется подобрать четыре наилучших сопоставления точечных особенностей, координаты которых используются для вычисления коэффициентов матрицы гомографии:
где h1,…, h9 -коэффициенты матрицы, (xi, yi) и (xj, yj) -координаты соответствующих точек.
При проективном преобразовании, h9 =1, выражение (2) принимает вид:
Тогда пара соответствующих точек связана соотношениями (4): Многополосное смешивание. Бесшовное смешивание изображений, как правило, является необходимым после построения панорамного снимка в связи с возникающими локальными артефактами освещенности, рассогласования текстурной мозаики т.д. Известны четыре категории методов, а именно, дискретные цветовые методы, методы на основе пирамиды изображений, градиентные методы и многополосное смешивание [8]. Многополосное смешивание относится к высокоэффективным, но наиболее затратным методам устранения артефактов сшивки. Идея метода, предложенного в 1983 г. [2], заключается в смешивании низких частот по большому пространственному диапазону, а высоких частот -по малому пространственному диапазону. Результатом многополосного смешивания является суммирование изображений по всем поддиапазонам.
Экспериментальные результаты. Для проведения экспериментов использовался набор изображений Swiss dataset [10], полученный дроном eBee RTK, имеющим следующие характеристики: масштаб: 4 см/px, область: 0.18 км 2 , высота полета: 169 м, число изображений 32. Пример создания панорамного аэрофотоснимка на основе многополосного смешивания для набора из 32 изображений представлен на рисунке 3.
Тестирование проводилось на компьютере со следующей конфигурацией: процессор AMD Athlon II X3 3.2GHz, оперативная память 8GB DDR3 1333Mhz, видео карта NVIDIA GeForce GTX 650. В таблице 1 представлена скорость работы алгоритма нахождения особых точек, преобразования и сопоставления изображений с разными разрешениями на основе FAST, SURF, FASTER. Скорость работы алгоритмов расчета матрицы гомографии при сопоставлении изображений с разрешением 1280×720 пикселов приведена в таблице 2.
Рис. Полученные данные показывают, что использование алгоритма MLESAC позволяет повысить точность сопоставления особых точек в среднем на 5%, по сравнению с алгоритмом RANSAC, при этом скорость работы алгоритма уменьшается в среднем на 15%.
Заключение. Применение алгоритмов FAST и FAST-ER позволяет организовать сопоставление изображений (с разрешением до1920×1080 пикселов) для формирования панорамного снимка в реальном режиме времени, а слияние изображений с применением технологии многополосного смешивания обеспечивает качественную визуализацию в местах сшивки. Основным недостатком рассмотренных алгоритмов является использование в расчетах яркостной составляющей пиксела, что может приводить к некорректным результатам сшивки при наличии на изображениях областей с повышенной яркостью или больших фрагментов, содержащих блики.
Работа выполнена при финансовой поддержке РФФИ (грант № 16-07-00121-а).
ЛИТЕРАТУРА