The publication of reply in images on digital social networks is increasingly commonplace. These images carry texts, phrases, thoughts or subjective visual features that may have meaning through context or user interpretation. This research provides a process for the extraction of semantic features of images posted as comments and feeds in the online social network Facebook, and through the integration of Facebook GraphAPI and Google Search, create a model of recovery and treatment of meanings traits. The validation of assumptions and inferences of the research was conducted through case studies.
INTRODUÇÃO São inúmeros os pressupostos de que uma imagem carrega uma grande riqueza de significados e que expressar essa semântica através de representações textuais pode ser um trabalho complexo [Wang et. al. 2009]. Recentemente, vimos o volume de dados de redes sociais on-line (RSO), como Facebook, crescer consideravelmente [Facebook 2015]. Este volume crescente de informação é consequência dos diversos incentivos à inclusão digital e da mudança de canais de comunicação em massa, permitindo que as RSO se tornassem palco de debates, conversas e grandes praças para modelos de publicidade.
Nas RSO existem muitos modelos de arranjo e agrupamento de usuários, seja por interesses comuns ou amizades. No Facebook, por exemplo, os usuários podem se reunir em grupos com temáticas variadas, páginas de um produto, serviço, pessoa ícone, eventos sociais ou mesmo em interações nas chamadas timelines (linha do tempo), que são estruturas hierárquicas, organizadas por cronologia invertida, onde o usuário publica um feed 1a qualquer momento sobre qualquer ideia ou pensamento. Hoje têm-se muitos perfis de pessoas públicas, onde em suas timelines registram-se grandes debates, através de interações por 1 Padrão de dados usado em formas de comunicação com conteúdo atualizado frequentemente WAIHCWS’16 was held as part of IHC’16, organized by the Brazilian Computing Society (SBC). October 04, 2016, São Paulo/SP, Brazil. Copyright 2016 © for this paper by its authors. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted for private and academic purposes. comentários que qualquer usuário pode fazer em postagens públicas.
No Facebook, é possível que os usuários façam publicações nas timelines e comentários utilizando imagens, vídeos ou anexando arquivos, além de publicações textuais. O suporte a mídias como imagem e vídeo pelas redes sociais on-line foi o pontapé inicial para a difusão e propagação de memes na Web.
O conceito de meme deriva das pesquisas de Dawkins R. (1976) em seu livro The Selfish Gene [Dawkins 1976], e pode ser entendido como traços culturais passados entre pessoas, utilizando mecanismos similares aos que genes utilizam no processo evolutivo e com restrições semelhantes aos mecanismos de seleção natural. Os memes aparecem na Web como representações gráficas utilizadas para descrever um conceito, muitas vezes de forma caricata e cômica.
Devido à adoção de mecanismos de publicação de conteúdo multimídia nas RSO, as postagens começaram a ganhar um novo formato e muitos comentários não trazem nenhuma marcação textual, mas somente uma imagem anexa [Inocencio e Lopes 2014]. Recuperar os traços semânticos de uma imagem, saber contextualizá-la em uma conversa e trocas de mensagens anteriores, torna-se essencial para a recuperação da informação e monitoramento das mídias sociais. Sem este tipo de tratamento, um diálogo pode se tornar ilegível.
Essa pesquisa tem por objetivo apresentar um modelo de extração semântica para imagens de memes postadas na rede social on-line Facebook.
Inicialmente apresentamos o contexto da pesquisa e uma descrição das expectativas e resultados. No tópico de trabalhos relacionados será relatado todo o referencial teórico que serviu de base a esta pesquisa, seguindo com a metodologia utilizada para extração e análise dos dados. Apresentaremos a ferramenta SemanticImage for Facebook, desenvolvida com o objetivo de apoiar essa pesquisa na coleta de dados. Logo após teremos o conjunto de experimentos realizados, a análise dos dados coletados e processados e no último tópico o estudo apresenta as conclusões e propostas de trabalhos futuros. TRABALHOS RELACIONADOS Existem diversos trabalhos nas áreas de recuperação da informação e processamento digital da imagem com propósitos de extração de significado de imagens. Essa pesquisa se apoiou em trabalhos da área de recuperação da informação, uma vez que a revisão de literatura apontou que modelos baseados em processamento digital da imagem podem ser demorados e custosos de se operacionalizar em um grande volume de dados.
Rattenbury et al. (2007) apresentam uma abordagem para extrair semântica de imagens do Flickr2 utilizando padrões de rótulos aplicados em imagens. Como diferencial, o presente trabalho apresenta um modelo para identificação de memes enquanto o trabalho supracitado tem como objetivo a determinação de eventos e lugares. Uma abordagem combinando as duas técnicas pode ser adequada quando um meme é relacionado a uma localidade ou quando ele é relativo a um evento, por exemplo, um festival de música.
Singh et. al. [2012] apresentam uma técnica de recuperação de imagens utilizando elementos semânticos de baixo nível, como formas, textura e cor. A técnica apresentada nesse trabalho possui semelhança com o presente trabalho devido à utilização de imagens como elemento de consulta ao invés de consultas em linguagem natural. Devido a seu propósito genérico, a técnica de recuperação proposta obtém apenas imagens que apresentem características semânticas de baixo nível, não retornando elementos de semântica de mais alto nível, como por exemplo, o contexto onde as imagens foram aplicadas.
No trabalho de Gao [2013] é feita a integração de técnicas de recuperação de imagens em RSO utilizando características morfológicas dessas imagens para estimar a importância das anotações aplicadas, tentando assim, generalizar um conjunto de anotações que melhor as representam. Apesar da efetividade apresentada por esse método, as avaliações foram realizadas em um cenário controlado, com apenas 307 imagens. Dado a diversidade de informações nas RSO e ao grande volume de imagens produzidas em pequenos intervalos de tempo, esse método pode não atender às necessidades da análise de redes sociais online. A abordagem proposta nesse estudo, por utilizar mecanismos com alta disponibilidade providos por serviços terceiros (Google e Facebook) consegue contornar esse problema. 2 O Flickr é um serviço web de compartilhamento de fotos (e eventualmente de outros tipos de documentos, como desenhos e ilustrações), além de permitir novas maneiras de organizar esses arquivos.
O trabalho de Sawant et. al. [2011] é um survey que apresenta abordagens e técnicas que fazem uso de anotações produzidas em RSO para classificar imagens, essas abordagens e técnicas servem como alternativa as anotações produzidas por especialistas. Uma vez anotadas, as imagens podem ser recuperadas. Apesar do grande número de trabalhos apresentado no survey, um total de 202 trabalhos, os autores afirmam que é uma área com vários problemas em aberto, incluindo a aplicações de recuperação de imagens utilizando semântica de alto nível como proposto nesse trabalho.
Trabalho Presente trabalho Gao Rattenbury et al.
Singh et. al.
Altadisponibilidade
Independente de Domínio SIM NÃO SIM NÃO
SIM NÃO NÃO NÃO
Depende de uma
base de referência
NÃO SIM NÃO NÃO Tabela 1: Comparação dos trabalhos encontrados na literatura com o presente trabalho Como destacado na Tabela 1, as principais diferenças e contribuições deste trabalho para o estado da arte, podem ser descritas como: Capacidade de processar grandes bases de imagens; Independência de domínio de aplicação, atendendo assim a maior parte dos cenários de Análise de Redes Sociais Online; Alta disponibilidade, por utilizar plataformas de software de grandes empresas (Google e Facebook); METODOLOGIA Essa pesquisa iniciou com um processo de observação dos dados publicados no Facebook durante o mês de janeiro de 2015. Observou-se que era recorrente o uso de memes para comentar postagens, principalmente com temas públicos como: política, religião, manipulação em massa, estética, novelas, dentre outros.
O objetivo do trabalho surgiu com a questão da pesquisa: como extrair uma referência semântica para imagens postadas no Facebook? Derivada desse questionamento emergiu a necessidade de sistematizar um processo automatizado para a coleta dos traços semânticos. A metodologia utilizada nessa pesquisa seguiu então os passos: 1. Observação e inferência do impacto dos memes em postagens da rede social: nesse processo, a pesquisa elencou temáticas para monitorar os memes nos comentários de perfis de pessoas públicas. As temáticas escolhidas foram: política, religião e novelas. Essas temáticas foram escolhidas baseadas no volume de dados das redes, que foi aferido através dos serviços de trending topics do aplicativo Twitter, no período de fevereiro a março de 2015 uma vez que o Facebook não possui um serviço público de métricas de postagens; 2. Revisão de literatura e estudo de casos: a busca de estudos correlatos foi realizada na ferramenta Google Scholar3, utilizando os termos: imagens AND semântica AND memes; tanto em inglês quanto em português, no período de 2012 a 2014. Os resultados forneceram a pesquisa o instrumento teórico para o processo de coleta e inferência de dados. O modelo escolhido para esse trabalho foi baseado em técnicas de recuperação da informação. Todo traço semântico inferido para a imagem é um resultado de uma pesquisa na web por referências à imagem. No estudo de caso, foram testadas algumas ferramentas on-line para extração de significado para entender os fundamentos tecnológicos relevantes a uma ferramenta de extração. As ferramentas utilizadas foram: TinEye4, Yandex5 e Karmadecay6, com esses testes foi possível observar o funcionamento de buscadores de imagens, nenhum dos sistemas testados utiliza dados coletados em redes sociais, fazendo somente uma busca reversa na web. A ferramenta desenvolvida nessa pesquisa utiliza uma representação da informação semelhante ao Yandex; 3. Desenvolvimento de abordagem para extração automatizada: um dos passos mais importantes da pesquisa foi criar uma ferramenta que sistematizasse a coleta e extração de significado de imagens com memes. Para isso, a pesquisa desenvolveu uma ferramenta web, baseada nos serviços Facebook Graph API7 e Google Search8, que é capaz extrair os dados da RSO e apresentar um conjunto de possibilidades textuais para a imagem. Essa ferramenta recebeu o nome de SemanticImage for Facebook e será disponibilizada a pesquisadores que pretendem trabalhar com a extração de significado em
https://developers.facebook.com/docs/graph-api API
https://developers.google.com/custom-search/ Search imagens ou extração de comentários em postagens da rede social Facebook; 4. Análise de dados e conclusões: com os dados coletados na ferramenta SemanticImage a pesquisa elencou quais pressupostos iniciais foram atendidos, as falhas, vantagens e desvantagens do uso da técnica. O conjunto de dados foi resumido no tópico de conclusão dessa pesquisa.
Na próxima seção, discutiremos os detalhes sobre a ferramenta desenvolvida.
FERRAMENTA SEMANTICIMAGE FOR FACEBOOK Para criar um processo sistematizado e automatizado de coleta e extração de significado essa pesquisa desenvolveu uma ferramenta chamada SemanticImage for Facebook. O aplicativo é uma ferramenta web, acessada no navegador, que consome dados do Facebook e envia ao Google para rastrear informações, por fim a ferramenta estrutura a representação da informação para o usuário. Na figura 1 temos a arquitetura do sistema:
Figura 1. Arquitetura da ferramenta SemanticImage A ferramenta pode ser dividida em quatro operações básicas que serão apresentadas detalhadamente nos próximos tópicos.
Módulo de front-end O módulo de front-end, ou camada de apresentação, é o nível mais alto onde a interação com o usuário é realizada.
Nesse módulo o usuário faz o login em sua conta Facebook, insere o id da consulta e visualiza os resultados. Na figura 2 é possível observar o workflow do usuário até receber o dado processado.
Figura 2. Workflow do front-end da ferramenta SemanticImage for Facebook Na figura dois o usuário segue o seguinte fluxo para processar uma publicação: 1. Faz o login com sua conta Facebook; 2. Faz a autorização do aplicativo na sua conta de usuário e clica em “Iniciar Aplicativo”; 3. Digita o ID da publicação que será processada; 4. Clica em “Realizar Busca” e visualiza os resultados processados; As linguagens e tecnologias utilizadas nesse módulo são: HTML e CSS para estruturação dos elementos, combinados com a framework visual Bootstrap 3, javascript para as regras de negócio, validação de dados e integração com a Graph API e com o webservice PHP.
Integração com a Facebook Graph API e Web Service PHP Para comunicação com o Facebook, a ferramenta utiliza a API (Application Programming Interface) pública chamada Graph API. Com ela é possível sistematizar consultas a dados públicos do Facebook e os dados são retornados ao aplicativo, estruturados no formato JSON (JavaScript Object Notation), conhecido por ser um formato leve e simples para a troca de dados entre requisições POST e GET. Na figura 3 temos um exemplo do modelo de consulta a Graph API e um exemplo de dado retornado à aplicação no formato JSON: Figura 3. Exemplo de consulta e retorno na Graph API
do Facebook Para essa etapa o grande problema identificado durante a pesquisa é que o Facebook restringe as possibilidades de acesso ao dado para evitar que robôs de crawler fiquem varrendo dados para fora da rede social. Para contornar o problema encontrado foi desenvolvido um webservice na linguagem PHP que recebia do front-end as imagens (byte/byte) em uma requisição POST de base64 e enviava para o serviço Google Search.
Integração com a Google Search O Google Search pode ser considerado como o elemento chave desse trabalho, pois é a responsável pela pesquisa e comparação de imagens, devolvendo os resultados principais e também a sugestão textual da imagem. O Google Search pode ser consumido por duas técnicas de recuperação da informação: a primeira e mais comum, por scraping e crawler, técnicas de extração e rastreamento de dados que simulam a navegação e dados legíveis a humanos geralmente por requisições comum de HTTP, e a segunda técnica através da Google Search API, que é uma API pública para acesso as consultas Google. O grande problema do segundo modelo, é que as requisições possuem limites diários que quando ultrapassados travam o acesso a API ou utilizam uma tarifação para acesso. Essa pesquisa utilizou o primeiro modelo para acesso aos dados do Google Search.
Representação e visualização da informação Depois de processadas as requisições da Graph API e do Google Search a ferramenta gera uma visualização da informação de forma hierárquica, das postagens mais antigas para as mais novas. Sempre que uma postagem é uma imagem, ao lado temos a “sugestão textual” e as origens no campo “referências na web”, como mostra a figura 4. Para imagens na qual o Google Search não consegue inferir a referência textual ou as referências na web o front-end coloca uma mensagem “Não foi possível inferir uma sugestão de texto para essa imagem!”.
Figura 4. Representação visual da sugestão textual do
meme – Elaborado pelo autor Os dados são apresentados no formato de tabela, e podem ser copiados para qualquer ferramenta de escritório. Nessa versão da ferramenta ainda não foram implementados a possibilidade da persistência dos dados de forma estruturada em um banco de dados ou mesmo a exportação em formatos conhecidos como CSV, XLS e XML.
EXPERIMENTOS REALIZADOS Para validar a ferramenta e os pressupostos da pesquisa foram utilizadas temáticas recorrentes nos trending topics do aplicativo Twitter nos meses de fevereiro e março de 2015, com o objetivo de coletar assuntos com grande volume de dados que pudessem ser submetidos à ferramenta.
As temáticas escolhidas foram: política, religião e novelas.
Os perfis, grupos e páginas de Facebook analisados são: Dilma Bolada9, Política no Face II10, Revoltados ON LINE11, TV Revolta12, Religião se discute13, Um Sábado Qualquer14, ATEA.ORG.BR15, Ateus d'AZ16, Babilônia17, Novela Boogie Oogie18.
A escolha para os grupos e páginas foi baseada nos resultados apresentados pelo Facebook como relevantes, quando utilizado as palavras chaves: política, religião e novela nos critérios de busca, como mostra a Tabela 2.
Tabela 2. Métricas das consultas realizadas nas amostras É importante ressaltar que dados de postagens são muito voláteis e sofrem alterações constantemente, ou seja, reproduções desse experimento em datas diferentes podem apresentar outros resultados.
Além da coleta e extração de dados dos grupos e páginas citados, essa pesquisa testou a ferramenta SemanticImage for Facebook em grupos e páginas de Facebook com 9 Dilma Bolada - https://www.facebook.com/DilmaBolada 10 Política no Face II https://www.facebook.com/politicanoface2 11 Revoltados ON LINE https://www.facebook.com/revoltadosonline 12 TV Revolta - https://www.facebook.com/tvrevolta 13 Religião se Discute https://www.facebook.com/religiaosediscute 14 Um Sábado Qualquer https://www.facebook.com/umsabadoqualqueroficial 15 ATEA.org.br https://www.facebook.com/ATEA.ORG.BR 16 Ateus d'AZ https://www.facebook.com/groups/AteusdAZ 17 Babilônia - https://www.facebook.com/BabiloniaGshow 18 Novela Boogie Oogie https://www.facebook.com/groups/boogieoogie postagens de memes famosos e com tempo mínimo de existência de um ano. A restrição de tempo foi definida, pois acredita-se que grupos mais maduros possuem maior quantidade de interações e consequentemente melhor seriam os resultados da inferência textual.
Para essa coleta foram utilizadas postagens com memes famosos da internet, demonstrados na figura 4 e o resultado foi: 734 postagens visitadas; 253 imagens processadas; 189 imagens com referência semântica corretas; ~75% de acerto da base;
Figura 5. Memes famosos em postagens mais antigas –
Adaptado pelo autor O processo de validação da assertividade semântica nos dois instrumentos de coleta foi realizado manualmente, verificando se a imagem correspondia à referência textual.
ANÁLISE DOS RESULTADOS Como é possível observar nos experimentos realizados, existem temáticas e fatores, como tempo de existência da postagem, que podem ter caráter fundamental para o sucesso desse método de extração automatizada. Nos primeiros experimentos, utilizando grupos e páginas com as temáticas de política, religião e novela, podemos observar uma taxa de assertividade de 30,5% da base total de imagens processadas. Quando dividimos cada uma das temáticas temos valores diferentes, sendo: 26,5% para política, 52,4% para religião e 30% para novelas. A tabela 3 demonstra os índices de acerto por área e totais.
Tabela 3. Porcentagens de acertos individuais e totais Observando as postagens, em um processo manual, para interpretação dos resultados, observamos que a área de política tem uma alta frequência de atualização e postagens de imagens de vídeos, recortes de jornais, trechos de entrevista e acervos pessoais, que em muitas situações não estavam indexados no Google Search, impossibilitando qualquer tentativa de estimativa semântica. Um efeito contrário ao que acontece com a temática de religião, onde observamos diversos memes com figuras de Jesus, igrejas, padres e pastores, esse item também tinha postagens mais antigas, e com baixa frequência de atualização, o que melhorou a base de acertos para 52,4%.
Como houve muita variação nas comparações entre as temáticas, esse estudo aplicou a ferramenta SemanticImage for Facebook em grupos e páginas de Facebook especializados em memes clássicos da internet e foram selecionadas postagens com no mínimo um ano de existência. Esse experimento trouxe uma base de assertividade de 75,8% do total de imagens, o que demonstrou que a metodologia de coleta e extração pode ser aplicada para segmentos específicos de temáticas e tempo.
CONCLUSÕES E TRABALHOS FUTUROS Essa pesquisa apresentou um método para extração de significado semântico em memes do Facebook, a revisão de literatura e estudos de casos levaram ao desenvolvimento de uma ferramenta que foi utilizada para a extração e processamento dos dados de imagens do Facebook. Os dados coletados e processados foram submetidos a uma análise individualizada e manual pra inferir se o conteúdo do meme correspondia a referencia textual apresentada pela ferramenta, gerando assim as taxas de erros e acertos apresentados na seção de análise de resultados.
Após análise dos dados resultantes dessa pesquisa, podemos afirmar que a metodologia de recuperação de traços semânticos para memes não pode ser utilizada como fonte única para extração de significados de imagens. A técnica apoia-se em dados pré-processados da web, o que dá um grande ganho produtivo ao processamento das requisições.
No entanto o modelo apresenta um índice promissor quando utilizado em postagens mais antigas e com memes famosos, devido ao alto repertório de referencias na web que as imagens passam a ter.
A metodologia apresentada nessa pesquisa apresentou em uma média geral um índice de acerto de 30% nas pesquisas formais realizadas. Esse dado reforça o pressuposto inicial da pesquisa, de que o traço semântico de um meme pode ser obtido através de técnicas de recuperação da informação, embora essa técnica deva ser combinada a outros formatos de recuperação, reconhecimento e processamento de imagens, com o objetivo de gerar mais fidelidade ao conceito.
Algumas conclusões pontuais levantadas por esse estudo estão elencadas como vantagens e limitações, essas considerações são imprescindíveis para o sucesso e/ou falha na utilização da metodologia apresentada. Algumas das vantagens que podem ser observadas com o uso da ferramenta são: maior significado às postagens uma vez que o dado passa a ser textual; em projetos de acessibilidade ou big data representa um grande avanço porque dados em imagens geralmente são desprezados; arquitetura de fácil implementação para ser utilizada como serviço em outros projetos; ideal para bases de dados mais antigas com baixa volatilidade de informações; mais rápido que outras metodologias baseadas em processamento digital de imagem.
Contudo também foram observadas algumas limitações da técnica as quais citamos: alto custo de processamento, uma vez que as redes sociais impedem o funcionamento de robôs autônomos, obrigando o uso de técnicas de scraping e web crawling; postagens novas não possuem um grau de assertividade alto; interpretação das imagens é restrita a base Google Search, uma vez que o processo feito é uma recuperação de informação e não um processamento digital de imagem; é recomendado que o uso dessa metodologia fosse combinado a outras técnicas de extração de significado em imagens.
Acredita-se que a metodologia e ferramenta apresentadas nessa pesquisa possam ser utilizadas como trabalhos futuros de pesquisadores da área de big data, acessibilidade e recuperação da informação. Na revisão de literatura poucos trabalhos referenciam a utilização das plataformas Facebook e Google para a extração semântica de dados em imagens. Estuda-se lançar novos módulos para o aplicativo SemanticImage for Facebook gerando integração com outras redes sociais como Google+, além de disponibilizalo para a comunidade científica.
AGRADECIMENTOS Essa pesquisa agradece ao incentivo e apoio dos órgãos CNPQ e FAPERJ.
REFERENCIAS BIBLIOGRÁFICAS