This paper describes the implementation of a parameterizable lens distortion effect technique running at 1000+ FPS on CPU. Different image resolutions were used to validate the implemented technique and the visual result obtained showed to be very satisfactory. Resumo. Este artigo descreve a implementação de uma técnica de efeito de distorção de lentes parametrizáveis com desempenho superior a 1000 FPS em CPU. Diferentes resoluções de imagem foram utilizadas na validação da técnica implementada e o resultado visual obtido mostrou-se bastante satisfatório.
conclusões acerca do projeto e indica possíveis caminhos a serem traçados como trabalhos futuros.
Todos os trabalhos relacionados são voltados para distorção de lente e/ou calibração de câmera, e podem ser categorizados quanto à finalidade:
Em [Tsai 1987, Weng et al. 1992,
Distorções de lente são causadas pelo formato da lente utilizada, e pelo efeito de
refração da luz na mesma. Tais distorções podem ser descritas e parametrizadas
matematicamente. Distorções radiais são distorções que apresentam uma variação da
distorção de acordo com a distância radial em relação a algum centro. São distorções
radiais: Barrel Distortion e Pincushion Distortion, ambas ilustradas na Figura 1
[
O algoritmo proposto leva em consideração apenas a distorção radial, desconsiderando a distorção tangencial, utilizando as seguintes equações:
e representam as coordenadas na imagem original, e r é o valor do raio calculado. é dado em função da seguinte equação:
Uma vez que o valor do raio não é utilizado nas equações listadas anteriormente, apenas é necessário calcular os valores de , e , evitando assim a realização de operações de raiz quadrada, o que melhora o desempenho e a precisão do algoritmo. Com base nas equações iniciais, é necessária a definição de três coeficientes ( para o cálculo da distorção radial. Cada um deles atua sobre uma parte específica do polinômio. Sendo assim, a entrada da solução é dada pela imagem juntamente com os parâmetros definidos.
As coordenadas x e y da imagem original devem ser convertidas para coordenadas canônicas, no intervalo , considerando que a origem está localizada no centro da imagem, com o valor de invertido (diminui de cima para baixo, contrariamente ao que acontece na biblioteca OpenCV). Para isso, são usadas as seguintes equações:
Nas equações anteriores, e indicam as coordenadas dos pixels nas imagens representadas pela biblioteca OpenCV. Como o mapeamento é realizado do espaço de imagem no OpenCV para o espaço de imagem no OpenCV, deve-se realizar agora o processo inverso, para que se tenha como resultado as coordenadas finais e já transformadas. Para isso, são usadas as seguintes equações:
O primeiro par de equações é responsável por converter as coordenadas de volta, considerando a origem deslocada e a reflexão no eixo . O segundo par de equações aplica um fator de escala nas coordenadas encontradas, proporcional aos valores de altura (rows) e largura (cols) da imagem resultante.
Caso as coordenadas finais encontradas estejam fora do intervalo de pixels da imagem, pode-se preencher aquele pixel com informação de uma cor estática. No nosso caso, foi escolhida a cor preta como cor de fundo.
A solução desenvolvida foi implementada usando a linguagem de programação C++, incluindo a biblioteca padrão (STL) do C++11. Utilizou-se a biblioteca OpenCV para fins de carregamento das imagens/videos de entrada (arquivos ou webcam) e exibição do resultado em tempo real em janelas (resultado da distorção). Além disso, apenas a estrutura Mat foi utilizada, o que torna todo o código desenvolvido compatível com as versões 2.4 e 3 da biblioteca. A IDE de desenvolvimento utilizada foi o Microsoft Visual Studio 2015 Community. O desempenho da solução foi otimizado com paralelismo para um processador multicore através da biblioteca OpenMP em dois momentos: criação dos endereços de mapeamento da transformação e cópia dos valores da imagem original para a imagem transformada. O trecho de código responsável por calcular o mapeamento entre imagem original e imagem distorcida, ou seja, os novos endereços para cada posição de pixel na imagem original é descrito na Figura 2:
Na Figura 3 está presente o trecho de código responsável por realizar a cópia dos pixels da imagem original para a imagem distorcida, seguindo os endereços calculados previamente, é dado a seguir:
Apresentamos nesta seção os resultados obtidos, em imagens originais e distorcidas, e gráficos comparativos de desempenho. Utilizamos duas fontes diferentes de imagem, uma delas foi uma webcam integrada ao computador utilizado, e outra foi de vídeo, e três resoluções distintas. Dados de desempenho, além de sua análise, são detalhados.
Foram selecionadas três resoluções para realização dos testes de efeito visual e de desempenho, sendo estas: 480p, 720p e 1080p. O uso de tais resoluções se justifica pelo fato das mesmas serem comumente utilizados tanto na indústria cinematográfica/televisiva, quanto em computadores pessoais.
Os vídeos utilizados como entrada para o algoritmo foram: A: Webcam, resolução 640x480 (480p, VGA) B: Steve Jobs - The Man In The Machine (2015), resolução 1280x720(720p, HD) C: Inside Out (2015), resolução 1920x1080(1080p, Full HD) A seguir estão as configurações utilizadas dos parâmetros k1, k2, k3, juntamente com os resultados obtidos.
Originais: k1 = 0, k2 = 0, k3 = 0. (Sem distorção)
A Distorção 1: k1 = 0, k2 = 0, k3 = -12.
A Distorção 2: k1 = 0, k2 = 0, k3 = 12.
Para validar o desempenho observado, foram realizados vários conjuntos de testes de performance em um notebook. Temos como método para medição o uso de média aritmética simples de 1000 (mil) amostras de desempenho, ou seja, afere-se o tempo gasto no cálculo de cada etapa, Cálculo de endereços e Cópia, e para cada etapa é calculada uma média dessas 1000 (mil) amostras. Executamos o procedimento descrito anteriormente 10 (dez) vezes para realizar uma média da replicação do procedimento e utilizar como valor final para análise de desempenho, sendo até aqui o conjunto de teste. Foi realizado um conjunto de teste para diferentes quantidades de threads, sendo as mais significativas nas quantidades 1, 2, 4 e 8 threads (acima de 8 threads houve queda de desempenho, possivelmente devido ao processador utilizado na realização dos testes). As especificações do notebook utilizado nos testes são: ASUS S46C, Intel(R) Core(™) i7-3537U @ 2.00 GHz (2,5GHz máximo), 2 núcleos físicos, 4 processadores lógicos, 4MB cache L3, 512KB cache L2, 128KB cache L1, 8GB RAM(2x4GB) DDR3. Sistema operacional: Microsoft Windows 8.1 Single Language. Prioridade do processo: Normal.
Constatou-se que o desempenho, medido em quadros por segundo, variava de acordo com a quantidade de threads e de pixels (resolução) da imagem. Observou-se também que o comportamento do desempenho acompanhava o crescimento da quantidade de threads, no entanto com uma diferença de desempenho cada vez menor entre os números consecutivos, como pode ser visto a seguir nas Figuras 4 e 5.
Temos que a limitação de FPS será dada pelo processo que for mais lento, ou seja, o que possui menor FPS. Sendo assim, para uma execução em tempo real com a distorção sendo modificada a cada quadro, o desempenho de todo o processo de distorção é limitado pelo cálculo do endereço (Figura 5). No caso de uma distorção ser aplicada e fixada ao longo da execução, o desempenho segue o desempenho de cópia (Figura 4). De acordo com os testes realizados conseguimos executar o cálculo de endereço com FPS acima de 30 com as resoluções A e B para todas as quantidades de threads utilizadas. Com a resolução C (1080p), a única a não apresentar esse comportamento, conseguimos executar a o cálculo de endereço com FPS acima de 30 quando a quantidade de threads foi 4 e 8, havendo pouca diferença entre os dois.
Este artigo apresentou a possibilidade de realizar efeitos de distorções de lentes com três parâmetros em tempo real em formatos comuns de reprodução, mostrando o potencial para efeitos de pós-processamento da imagem, ou para correção de distorção da imagem em tempo real.
Como trabalhos futuros tem-se a implementação de distorção de múltiplos centros, neste trabalho foi utilizado para testes apenas o centro da imagem como centro de distorção de lente, a disponibilização de uma API pública com as técnicas implementadas e uma versão da distorção implementada em GPU ao invés de CPU, utilizando o poder de processamento paralelo massivo dessa plataforma.
YING Xiang-Hua e HU Zhan-Yi. (2003) “Fisheye Lense Distortion Correction Using
Spherical Perspective Projection Constraint”, Chinese Journal Of Computers. Juyang Weng, Paul Cohen, e Marc Herniou. (1992) "Camera Calibration with Distortion Models and Accuracy Evaluation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14, No. 10.
Andrew W Fitzgibbon. (2001) "Simultaneous linear estimation of multiple view geometry and lens distortion", IEEE Computer Vision and Pattern Recognition 2001 (CVPR 2001).
Shishir Shah, J. K. Aggarwal. (1996) "Intrinsic parameter calibration procedure for a (high-distortion) fish-eye lens camera with distortion model and accuracy estimation", Vol. 29, No. 11., Pages 1775-1788.