METHOD OF CREATING PANORAMIC AERIAL IMAGES BASED ON MULTI-BAND BLENDING Margarita N. Favorskaya, Andrey I. Pakhirka, Alexander G. Zotin, Vladimir V. Buryachenko

Abstract

Method of creating the panoramic aerial image from a set of successive quasi-planar landscape images obtained from an unmanned aerial vehicle based on the homography parameters is developed. The additional stage of global alignment of a panoramic aerial image using affine processing is implemented. A special attention is paid to the stitching of images using the techniques of multi-band blending that provides the high quality visualization in the stitching places of a panoramic aerial image.

Keywords

• panoramic aerial image
• homography parameters
• multi-band blending

-

параметрам съемки (они должны быть практически такими же, как параметры съемки исходного снимка). Более общим является подход на основе точечных дескрипторов (Speeded-Up Robust Feature (SURF) [ 1 ], Features from Accelerated Segment Test (FAST), FAST Enhanced Repeatability (FAST-ER)) или стабильных областей (Affine Invariant Intensity Extrema, Maximally Stable Extremal Region (MSER)) [ 7 ]. Помимо классических подходов, в последние годы развиваются быстрые методы построения панорамных снимков, например, основанные расширенном фильтре Калмана и методе одновременной локализации и сопоставления (Simultaneous Localization and Mapping (SLAM)) [ 3 ].

В данной работе параллельно рассчитываются быстрые дескрипторы FAST и FAST-ER, предназначенные для обнаружения углов, и дескриптор SURF, учитывающий фактор масштабирования. В дескрипторе FAST проверка пиксела p на то, является ли он углом, осуществляется сравнением значения его яркости со значениями яркостей 16 пикселов {x1, x2, …, x16} с радиусом 3 вокруг проверяемого пиксела p (рисунок 1).

а б в Рис. 1. Нахождение углов: а) исходное изображение; б) увеличенный фрагмент;

в) уголковый детектор FAST.

Для ускорения алгоритма вначале рассматриваются пикселы с номерами 1, 5, 9 и 13. Если, по крайней мере, три их четырех пикселов удовлетворяют пороговому критерию, то пиксел p считается углом. Если, по крайней мере, три из четырех значений находятся ниже порогового значения Ip + TFAST, то пиксел p не является точкой интереса и отбрасывается. В противном случае проверяются все 16 значений окружающих пикселов в виде вектора Spx, принимающего соответственно темное, подобное и светлое значения в соответствии с выражением (1): d , I px  I p  TFAST  S px  s , I p  TFAST  I px  I p  TFAST , (1)  b, I p  TFAST  I px где Ix – яркость пиксела на окружности вокруг проверяемого пикселя; Ip – яркость проверяемого пикселя; TFAST – пороговое значение для дескриптора FAST, например, 20% значения яркости.

Далее строятся подмножества Pd, Ps, Pb и определяется переменная Kp, которая в соответствии с классификатором дерева решений [ 5 ] определяет, является ли проверяемый пиксел углом или нет. Для снижения влияния шумов на результат работы алгоритма перед его применением рекомендуется произвести размытие изображения фильтром Гаусса.

Для идентификации особой точки в дескрипторе SURF строится массив из 64 (в расширенной версии 128) чисел. При этом размер окна для поиска дескриптора равен 20 s, где s – масштаб, в котором была найдена особая точка. Дескриптор содержит описание градиентов для 16 квадрантов вокруг особой точки. Далее, квадрат разбивается на 16 более мелких квадрантов. В каждом квадранте берется регулярная сетка 5×5 и для каждой точки сетки ищется градиент с помощью фильтра Хаара. Размер фильтра Хаара берется равным 2 s, и для первой 162 октавы составляет 4×4. Следует отметить, что при расчете фильтра Хаара, изображение не поворачивается, фильтр рассчитается в обычных координатах изображения. Затем полученные координаты градиента (dX, dY) поворачиваются на угол, соответствующий ориентации квадрата. Также, для описания точки используется знак следа матрицы Гессе. Для светлых точек на темном фоне след отрицателен, а для темных точек на светлом фоне след положителен. Таким образом, SURF различает светлые и темные пятна. На рисунке 2 представлен пример обнаружения особых точек на изображении с применением алгоритмов FAST, FAST-ER и SURF.

а б в Рис. 2. Нахождение особых точек: а) алгоритм FAST, б) алгоритм FAST-ER, в) алгоритм SURF.

Одним из самых распространенных способов оценки параметров модели является алгоритм RANSAC (RANdom SAmple Consensus) [ 4 ]. Концепция данного алгоритма основана на разделении всех исходных данных на выбросы (outliers) и попадания (inliers). Выбросами являются ложные точки, шумы, случайные включения в исходные данные, т. е. такие точки, на основании которых нельзя построить требуемую модель. Попаданиями называются точки, удовлетворяющие модели. Данный алгоритм выполняется итеративно. У алгоритма RANSAC имеется ряд недостатков, которые иногда не позволяют получить требуемый результат за приемлемое время. Одним из недостатков является отсутствие верхней границы времени, необходимого для вычисления параметров модели. В настоящее время разработаны, реализованы и протестированы модификации данного алгоритма. Одним из таких модификаций является алгоритм MLESAC [ 6 ]. Данный алгоритм вычисляет вероятность гипотезы, представляя распространение ошибки как смешивание моделей. Для одновременного вычисления параметров модели и доли выбросов применяется схема максимизации ожидания. Для сшивки изображений требуется подобрать четыре наилучших сопоставления точечных особенностей, координаты которых используются для вычисления коэффициентов матрицы гомографии: 1  x j  h1 h2 h3  xi         y j   h4 h5 h6   yi  , h7 h8 h9  1  где h1,…, h9 – коэффициенты матрицы, (xi, yi) и (xj, yj) – координаты соответствующих точек. При проективном преобразовании, h9 =1, выражение (2) принимает вид: x j  h1xi  h2 yi h3 , y j  h4 xi  h5 yih6 .

h7 xi  h8 yi  1

h7 xi  h8 yi  1 Глобальное выравнивание сцены. Сшивка изображений на основе матриц гомографии означает локальное выравнивание панорамного снимка. Для глобального выравнивания должны одновременно использоваться все матрицы гомографии, что невозможно выполнить в реальном времени. В этом случае можно воспользоваться частичным выравниванием сшитых изображений на основе аффинных преобразований с использованием метода наименьших квадратов или применить эвристические алгоритмы поиска геометрических примитивов с артефактами сшивки для последующего выравнивания.

Многополосное смешивание. Бесшовное смешивание изображений, как правило, является необходимым после построения панорамного снимка в связи с возникающими локальными артефактами освещенности, рассогласования текстурной мозаики т.д. Известны четыре категории методов, а именно, дискретные цветовые методы, методы на основе пирамиды изображений, градиентные методы и многополосное смешивание [ 8 ]. Многополосное смешивание относится к высокоэффективным, но наиболее затратным методам устранения артефактов сшивки. Идея метода, предложенного в 1983 г. [ 2 ], заключается в смешивании низких частот по большому пространственному диапазону, а высоких частот – по малому пространственному диапазону. Результатом многополосного смешивания является суммирование изображений по всем поддиапазонам.

Экспериментальные результаты. Для проведения экспериментов использовался набор изображений Swiss dataset [ 10 ], полученный дроном eBee RTK, имеющим следующие характеристики: масштаб: 4 см/px, область: 0.18 км2, высота полета: 169 м, число изображений 32. Пример создания панорамного аэрофотоснимка на основе многополосного смешивания для набора из 32 изображений представлен на рисунке 3.

Тестирование проводилось на компьютере со следующей конфигурацией: процессор AMD Athlon II X3 3.2GHz, оперативная память 8GB DDR3 1333Mhz, видео карта NVIDIA GeForce GTX 650. В таблице 1 представлена скорость работы алгоритма нахождения особых точек, преобразования и сопоставления изображений с разными разрешениями на основе FAST, SURF, FASTER. Скорость работы алгоритмов расчета матрицы гомографии при сопоставлении изображений с разрешением 1280×720 пикселов приведена в таблице 2. Рис. 3. Панорамный аэрофотоснимок на основе многополосного смешивания. Таблица 2. Время работы алгоритмов RANSAC и MLESAC.

Алгоритм FAST, мс FAST-ER, мс SURF, мс RANSAC 2 1 3

MLESAC 2 1 4 Полученные данные показывают, что использование алгоритма MLESAC позволяет повысить точность сопоставления особых точек в среднем на 5%, по сравнению с алгоритмом RANSAC, при этом скорость работы алгоритма уменьшается в среднем на 15%.

Заключение. Применение алгоритмов FAST и FAST-ER позволяет организовать сопоставление изображений (с разрешением до1920×1080 пикселов) для формирования панорамного снимка в реальном режиме времени, а слияние изображений с применением технологии многополосного смешивания обеспечивает качественную визуализацию в местах сшивки. Основным недостатком рассмотренных алгоритмов является использование в расчетах яркостной составляющей пиксела, что может приводить к некорректным результатам сшивки при наличии на изображениях областей с повышенной яркостью или больших фрагментов, содержащих блики.

Работа выполнена при финансовой поддержке РФФИ (грант № 16-07-00121-а).

References

Разрешение , пиксел SURF , мс FAST -ER, мс FAST , мс 640×360 535 22 13 852×480 782 33 19 1280×720 1380 65 29 1600×900 1965 90 34 1920×1080 2844 132 43

[1] Bay H. , Ess A. , Tuytelaars T. , Van Gool L. Speeded-up robust features (surf) // Computer Vision and Image Understanding. 2008 . V. 110 , no. 3, P. 346- 359 .

[2] Burt P.J. , Adelson E.H. A multiresolution spline with application to image mosaics / / ACM Transactions on Graphics. 1983 . V. 2 , no. 4, P. 217- 236 .

[3] Civera J. , Davison A.J. , Magallón J.A. , Montiel J.M. Drift-free realtime sequential mosaicing // International Journal on Computer Vision . 2009 . V. 81 , no. 2, P. 128- 137 .

[4] Fischler M.A. , Bolles R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography // Communications of the ACM . 1981 . Vol. 24 , N 6, P. 381- 395 .

[5] Quinlan J.R. Induction of decision trees // Machine Learning . 1986 . V. 1, P. 81- 106 .

[6] Torr P.H.S. , Zisserman A . MLESAC: A New Robust Estimator with Application to Estimating Image Geometry // Computer Vision and Image Understanding. 2000 . V. 78, P. 138 - 156 .

[7] Tuytelaars T. , Van Gool L.J. Matching widely separated views based on affine invariant regions // International Journal of Computer Vision . 2004 . V. 59 , no. 1, P. 61- 85 .

[8] Favorskaya M.N. , Buryachenko V.V. , Zotin A.G. , Pakhirka A.I. Video completion in digital stabilization task using pseudo-panoramic technique // Int . Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2/W4 . 2017 . P. 83 - 90 .

[10] Example Datasets . https://www.sensefly.com/drones/example-datasets. html (дата обращения 07.06 . 2017 ).