Investigando o uso de gamificação para aumentar o engajamento em sistemas colaborativos

Abstract

The engagement of users in collaborative systems is essential so that users achieve their goals more easily. In this way, this paper aims to investigate the use of gamification to increase engagement of users in collaborative systems. Thus, four systems were selected, and we examined which techniques were used and the results obtained from this. The results suggest that the use of gamification raises the engagement and user experience in collaborative systems.

-

Palavras-chave Gamificação, colaboração, engajamento/envolvimento. ACM Classification Keywords H.5.3 Group and Organization Interfaces: Collaborative computing.

INTRODUÇÃO Sistemas colaborativos são sistemas projetados para auxiliar um grupo de pessoas na resolução de uma tarefa em Copyright © by the paper's authors. Copying permitted only for private and academic purposes. In: Proceedings of the V Workshop sobre Aspectos da Interação Humano-Computador na Web Social (WAIHCWS'13), Manaus, Brazil, 2013, published at http://ceur-ws.org. comum. Diversos tipos de sistemas, tais como e-learning, e-commerce e colaborativos, necessitam aumentar o envolvimento de seus usuários, o que se torna peça fundamental para que os usuários atinjam seus objetivos com o sistema (seja de aprendizado, a realização de compras, a conclusão de tarefas, etc.). Com o objetivo de aumentar o engajamento dos usuários com os sistemas, uma série de técnicas chamadas de gamificação (do inglês gamification) têm se mostrado uma alternativa promissora [ 16 ]. A gamificação utiliza elementos de design de jogos em diferentes contextos não relacionados a jogos. A ideia é tornar o sistema mais atrativo para o usuário, de modo que ele se torne mais envolvido com a aplicação e possa ter um maior engajamento durante a utilização do sistema. Este artigo faz a investigação do uso de gamificação para aumentar o engajamento do usuário em sistemas colaborativos. Para tanto, este trabalho realiza uma fundamentação teórica sobre os sistemas colaborativos e suas características, bem como o entendimento sobre o conceito de gamificação e de seus diferentes elementos para melhoramento do engajamento do usuário. Também são levantados os trabalhos relacionados, sistemas colaborativos que utilizam gamificação para melhoria do envolvimento dos usuários e uma análise comparativa sobre esses sistemas é apresentada.

SISTEMAS COLABORATIVOS Sistemas colaborativos (groupware) são definidos como sistemas computacionais que permitem que dois ou mais usuários realizem uma tarefa comum, fornecendo uma interface para o ambiente compartilhado. Um dos objetivos deste ambiente é auxiliar na comunicação, cooperação e coordenação das atividades [1]. Segundo Roth [ 2 ], estas aplicações permitem que pessoas distribuídas geograficamente possam colaborar em uma mesma tarefa, sem que exista um atraso significativo na comunicação. Ellis [1] salienta que é importante diferenciar os sistemas colaborativos de softwares que possuem multiusuários. Os softwares multiusuários permitem que vários usuários utilizem o mesmo aplicativo, no entanto estes usuários possuem a visão dedicada do sistema, não existe a noção do que os outros usuários estão fazendo. Em contrapartida os sistemas colaborativos procuram fornecer o máximo de informações sobre todos os usuários que estão utilizando o sistema, procurando manter um contexto comum entre os participantes. apresenta as quatro classificações de sistemas colaborativos quanto sua função do espaço e tempo.

A seguir algumas características dos sistemas colaborativos:    

Comunicação: refere-se à troca de informações entre os usuários do sistema. Segundo Fuks [ 3 ] a comunicação “dá suporte às interações entre os participantes, podendo gerenciar as transições de estados, os eventos de diálogo e os compromissos de cada participante”. Coordenação: para que as tarefas sejam realizadas com sucesso, é necessário que haja coordenação dentro do sistema. Existem várias maneiras de manter o ambiente coordenado, algumas citadas por Ellis [1] são: permitir visualizar as suas ações, assim como as ações relevantes de outros participantes; gerar avisos e alertas automáticos, entre outras. Sem coordenação corre-se o risco de haver conflito de atividades ou a realização de ações repetidas.

Cooperação: segundo Fuks [ 3 ], “cooperação é a operação conjunta dos membros do grupo no espaço compartilhado visando a realização das tarefas gerenciadas pela coordenação”.

Percepção (do inglês awareness): Procura fornecer informações sobre o estado do grupo e suas modificações. Os mecanismos de percepção são essenciais em sistemas colaborativos, pois a partir deles é possível tornar as interações consistentes. Com eles é possível manter os usuários atualizados sobre os eventos ocorridos no sistema, permitindo que as tarefas sejam realizadas de maneira mais consciente e eficaz [ 4 ].

Figura 1. O modelo de colaboração 3C [3].

Os sistemas colaborativos podem ser classificados em função do tempo e espaço na qual a tarefa está sendo realizada. Segundo Ellis [1], um sistema colaborativo pode ser planejado para auxiliar tanto encontros face-a-face quanto um grupo que está distribuído geograficamente. Também é possível planejar um groupware para auxiliar a realização de tarefas em algum tipo de interação em tempo real ou então uma interação assíncrona. A Figura 2

Figura 2. A classificação de sistemas colaborativos em função do espaço e do tempo [1]

GAMIFICAÇÃO O termo gamificação (do inglês gamification) originou-se na indústria de mídias digitais e pode ser definido de forma genérica pelo processo de pensamento e mecânica do jogo para envolver/engajar os usuários e resolver problemas [ 5 ]. Por ser uma nova área de estudo, a definição de gamificação ainda não é completamente consolidada, no entanto a mais aceita atualmente é definida por Deterding [ 6 ]: “Gamification é o uso de elementos de design de jogos em contextos que não são relacionados a jogos”. A gamificação, ou o processo de utilizar técnicas de jogos, quando empregada de forma adequada, tem o poder de engajar/envolver os usuários, de comunicar e educar [ 7 ]. O termo gamificação possui relação com outros diferentes termos, os quais são apresentados a seguir.

Jogos Segundo Deterding [ 6 ] a palavra jogo (do inglês game) significa algo que é caracterizado por regras e possui uma competição para alcançar resultados específicos ou metas definidas por participantes humanos. Não deve-se confundir com o termo jogar/brincar (do inglês play), que descreve algo lúdico com uma forma livre, expressiva, improvisada e que não segue regras pré-determinadas [ 8 ].

Um jogo pode ser definido por um sistema no qual os jogadores participam de um ambiente artificial, definido por regras e estratégias, que geram um resultado quantificável [ 5, 9 ]. Já o efeito positivo e as mudanças de comportamento do usuário são o resultado do processo de gamificação [ 7 ]. Elementos Enquanto jogos sérios utilizam jogos completos para propósitos que não seja o entretenimento, aplicações gamificadas utilizam apenas alguns elementos, e não um jogo propriamente dito. No entanto a barreira entre algo que apenas utiliza elementos de jogos e um jogo às vezes é difícil de ser percebida. Muitas vezes isso é pessoal, subjetivo e social, enquanto alguns podem utilizar uma aplicação gamificada, outros podem jogá-la [ 6 ].

Os jogos são compostos por vários pontos fundamentais, alguns elementos típicos de jogos (e.g., regras, objetivos)      por si só não constituem um jogo, pois estes podem ser encontrados em outros contextos, no entanto, se forem reunidos, tem-se um jogo (produto). A gamificação utiliza os elementos que são encontrados na maioria dos jogos (mas não necessariamente todos) e que possuem um papel fundamental na jogabilidade [ 6 ].

Enquanto jogos sérios preenchem todas as condições necessárias para ser um jogo, aplicações gamificadas apenas usam alguns elementos de design de jogos. Da perspectiva de um designer, a diferença entre aplicações gamificadas de jogos “tradicionais” e sérios, é o fato de que estas são projetadas com a intenção de incluir apenas elementos de jogos e não como um jogo completo em si.

Um sistema gamificado pode utilizar vários elementos de jogos, alguns dos principais elementos são citados por Zichermann [ 5 ]:

Sistema de pontos: um sistema de pontuação que de acordo com as tarefas que o usuário realiza, o mesmo é recompensado com uma quantidade determinada de pontos; Níveis: tem como objetivo mostrar ao usuário seu progresso dentro do sistema, geralmente é utilizado em conjunto com os pontos; Rankings: uma maneira de visualizar o progresso dos outros usuários e criar um senso de competição dentro do sistema; Sistema de Recompensa através de Medalhas/Conquistas: elementos gráficos que o usuário recebe por realizar tarefas específicas; Desafios e missões: tarefas específicas que o usuário deve realizar dentro de um sistema, sendo recompensado de alguma maneira por isso (pontos e medalhas). Cria um senso de desafio para o usuário do sistema.

Contexto não relacionado a jogos Assim como jogos sérios, a gamificação utiliza os jogos para outros propósitos que não seja o entretenimento. Deterding [ 6 ] sugere que não se deve limitar a utilização de gamificação para determinados contextos, primeiro porque não existe nenhuma vantagem em utilizar uma posição tão restrita, e segundo, devido ao fato de autores no início dos jogos sérios terem definido o uso do mesmo apenas para o aprendizado e, no entanto, hoje em dia os jogos sérios são utilizados em diferentes tipos de contextos. Portanto, assim como os jogos sérios, a gamificação pode ser utilizada para o aprendizado, treinamento, saúde, notícias e etc. Engajamento/Envolvimento Segundo Preece [ 10 ] a experiência de usuário refere-se a como um usuário se sente ao utilizar um determinado produto, sistema ou serviço. Também pode ser definida como as percepções de aspectos práticos como a facilidade no uso e eficiência.

Várias metas são desejáveis para o usuário obter uma boa experiência na utilização de um sistema, tais como: ser divertido, desafiador, agradável, prazeroso e de fácil engajamento [ 10 ]. O engajamento refere-se ao quão envolvido e entusiasmado o usuário está em utilizar o sistema, aumentando seu acesso e participação.

Com a utilização de gamificação é possível fazer com que algumas destas metas na experiência do usuário sejam atingidas, como por exemplo, a utilização de desafios e missões pode deixar o sistema mais desafiador. Assim como os pontos e conquistas podem trazer o sentimento de diversão.

TRABALHOS RELACIONADOS Esta seção apresenta quatro sistemas colaborativos que utilizam gamificação para melhorar o engajamento do usuário em seu sistema.

PeerSpace No trabalho de Li et al. [ 11 ] são aplicadas técnicas de gamificação ao ambiente PeerSpace. PeerSpace é um ambiente de aprendizado online que tem como objetivo encorajar e facilitar uma rede de apoio entre os estudantes das fases iniciais de ciência da computação. Para isso algumas atividades foram projetadas cuidadosamente, como: revisão de código de outras pessoas, exercícios em grupos, quizzes individuais e fóruns de discussão. Todas estas atividades têm como objetivo procurar estimular a colaboração entre os estudantes.

Apesar do ambiente ser utilizado com sucesso pelos estudantes na melhoria do aprendizado e na promoção de um senso de comunidade e suporte entre os usuários, foi observado que a utilização do sistema não é tão voluntária e ativa quanto era esperado. A partir disto foi proposta a utilização de gamificação para aumentar o engajamento dos usuários do sistema.

As técnicas aplicadas no sistema foram:

   

Jogos casuais: foram implementados alguns jogos casuais para serem jogados entre os estudantes (e.g, jogo da velha, Lig 4).

Pontos por participação: o usuário recebe pontos por participar do sistema, como por exemplo, a criação de um novo tópico, responder algum tópico existente ou jogando contra outros usuários.

Níveis: conforme o usuário ganha pontos ele evolui de nível. Seu nível é mostrado em todo tópico que o usuário participa com o objetivo de aumentar a sua reputação. É possível visualizar seu nível em toda página que você visita, assim como a barra de progresso para o próximo nível.

Ranking: exibe os grupos e usuários com o maior nível  de participação no sistema, tendo como objetivo gerar um senso de competição e tornar os usuários mais ativos.

Programação colaborativa: Exercícios são postados no sistema para que cada usuário possa apresentar sua solução e discutir sobre possíveis melhoras, fornecer feedback, entre outros.

Para avaliar a proposta, um experimento foi realizado com um grupo de controle (utilizou o sistema sem gamificação) e um grupo de experimento (utilizou o sistema com gamificação). Como resultado foi possível perceber que o grupo que utilizou o ambiente gamificado aumentou sua atividade no ambiente, gerando 265 postagens, enquanto o grupo de controle gerou apenas 91. Em média, para cada jogo casual que foi jogado dentro do sistema, um adicional de 3 postagens foram geradas.

PeerWise A pesquisa de Denny [ 12 ] teve como objetivo determinar o efeito das conquistas no engajamento de estudantes no ambiente PeerWise. Este sistema é um repositório de questões de múltiplas escolhas. Dentro deste sistema é possível que um estudante crie questões relacionadas com determinado assunto e também possa responder questões que foram criadas por outros estudantes.

O envolvimento na autoria de questões pode desenvolver habilidades que são cruciais para o aprendizado a longo prazo. Estudantes que criaram questões como uma técnica de estudo tiveram um rendimento melhor nas avaliações do que estudantes que não utilizaram.

Para a criação de uma pergunta dentro do sistema, o usuário precisa escolher o tema e cinco possíveis respostas, sendo uma correta. Além disso, é preciso explicar em suas próprias palavras o motivo da resposta estar correta. Também é possível fornecer feedback para outros estudantes na forma de comentários, avaliando questões, e votando nos comentários mais úteis.

Um sistema de recompensa foi implementado através da técnica de conquista de medalhas, baseando-se nas funções que são mais utilizadas pelos estudantes, sendo elas a autoria de questões e o ato de responder questões. As conquistas foram separadas em três categorias: básico, normal e elite, correspondendo à dificuldade de obter cada uma.

Um experimento foi realizado envolvendo 1031 estudantes, sendo 516 pertencentes ao grupo de experimento (com a utilização das conquistas) e 515 pertencentes ao grupo de controle (sem a utilização de conquistas). Com base nesse experimento foi possível visualizar um aumento no número de questões respondidas e de dias ativos no sistema no grupo de experimento, conforme apresentado na Tabela 1.

Grupo

Experimento

Controle

Respostas

Autoria Dias Ativos

52599 43086 1311 1309 3617 3199 Tabela 1. Dados obtidos após a realização do experimento. É possível verificar que a utilização de conquistas teve um efeito positivo no número de questões respondidas e dias ativos no sistema. Além disso, através de um questionário realizado com os estudantes no final do experimento, foi possível perceber que os estudantes gostaram de receber recompensas (através das conquistas) pelas suas contribuições. Apesar dos autores reportarem que nem todas as atividades sofrerem um efeito positivo (como por exemplo, a autoria de questões), nenhum efeito negativo foi observado no estudo, indicando que este tipo de ferramenta pode trazer benefícios a um risco baixo [ 12 ].

QizBox O trabalho de Giannetto et al. [ 13 ] apresenta quais as técnicas de gamificação foram utilizadas no QizBox. QizBox é um sistema para a visualização e participação em aulas online. O sistema permite que os usuários formulem perguntas sobre determinado assunto, podendo ser respondida por outros estudantes ou pelo professor ministrando a aula. O sistema também possui um chat, permitindo os estudantes discutirem sobre o tema que está sendo abordado na aula. Por fim é possível criar notas dentro do sistema relacionado a cada slide da aula. O usuário pode compartilhar suas notas com os outros alunos. Para aumentar o engajamento dos estudantes durante a utilização do sistema, foram aplicadas algumas técnicas de gamificação, sendo elas:   

Níveis: um sistema de experiência e níveis que tem o diferencial de possuir cinco especializações distintas social, inteligente, prestativo, curioso e esforçado. Conforme as ações que o usuário efetua dentro do sistema, ele recebe pontos de experiência em determinadas especializações que estão relacionadas à ação tomada.

Medalhas: permite que o usuário ganhe determinadas medalhas a partir de ações e tarefas, partindo das mais básicas (e.g., fazendo algum tipo de anotação durante a aula) até algum tipo de tarefa que só um estudante que estiver realmente engajado na aula faria. “Buff”: o estudante que passar de nível em determinada especialização, pode dar um “buff” temporário para outro estudante, fazendo com que esse ganhe mais experiência enquanto o “buff” estiver ativo.

Giannetto et al. [ 13 ] afirma que com o sistema implementado, o próximo passo de sua pesquisa é fazer um estudo para identificar qual impacto da gamificação.

Trabal hos

PeerSpace

PeerWise

QizBox

Taskville

Trabalhos

PeerSpace

PeerWise

QizBox

Taskville

Tabela 2. Técnicas de gamificação utilizadas nos sistemas. Outro fator interessante apontado pelos estudos de caso, é que todos os sistemas trabalham com usuários distribuídos geograficamente e de maneira assíncrona, sugerindo uma maior facilidade ou necessidade de implementação de técnicas de gamificação nestes tipos de sistemas para aumentar o engajamento dos usuários. A Tabela 3 apresenta as características de local/tempo dos trabalhos relacionados.

Características groupware X X

X X X Colocalizado Distribuído

X X X X

Técnicas X

X

X X X X X Taskville O trabalho de Nikkila et al. [ 14 ] apresenta um sistema chamado Taskville que tem como objetivo aumentar a percepção do usuário sobre as possíveis tarefas do ambiente de trabalho de maneira engajadora e divertida. O sistema representa uma empresa como uma porção 2D de um terreno virtual. Neste terreno existem várias cidades que representam os grupos responsáveis por projetos dentro da empresa e cada cidadão desta cidade é um integrante do grupo.

Conforme um usuário termina alguma tarefa dentro da empresa e a submete para o sistema, uma construção é criada dentro de Taskville (na cidade em que ele reside). O tamanho da construção varia de acordo com a quantidade de horas que foi necessária para efetuar a tarefa. Cada usuário possui seu próprio bairro, podendo assim comparar a quantidade de contribuições com os outros integrantes de sua equipe.

Algumas técnicas de gamificação implementadas neste sistema para torná-lo mais divertido e engajador:   

Pontos: para cada tarefa que o usuário realiza, ele recebe uma quantidade de pontos de acordo com a quantidade de tempo necessário para efetuar a tarefa. Medalhas: o usuário pode ganhar medalhas por realizar algum tipo de tarefa especial, como por exemplo, construindo uma quantidade determinada de construções no mesmo dia, ou trabalhando durante um feriado.

Ranking: o usuário pode visualizar os quatro membros com a maior pontuação, gerando um senso de competição dentro do sistema.

Para validar o estudo foi realizado um teste com 38 alunos de graduação e de pós-graduação durante cinco semanas. Neste período os usuários foram solicitados a responder questionários. Com base nestes questionários e nos dados obtidos, os resultados sugerem que o sistema possui uma usabilidade intuitiva e promove seu uso contínuo. Também foi possível perceber que as técnicas utilizadas no sistema encorajaram a competição entre os usuários. Alguns usuários relataram que o sistema permitiu estar mais ciente da quantidade de trabalhos que eles realizam.

ANÁLISE COMPARATIVA Nesta seção é feita uma análise comparativa entre as técnicas utilizadas e os sistemas. A técnica de pontos é utilizada em grande parte dos sistemas pelo fato de possibilitar ao usuário um feedback imediato e gerar um senso de progresso para cada ação efetuada. As medalhas e desafios também são utilizados frequentemente pelo fato de gerar um senso de recompensa, motivando o usuário a realizar tarefas mais complexas e/ou a utilizar o sistema com mais frequência. A Tabela 2 apresenta uma análise dos sistemas colaborativos apresentados e as técnicas de gamificação utilizadas por cada sistema. X X X X X X

X Síncrona

Assíncrona Pontos Tabelas 3. Características de local/tempo dos sistemas. Com base nos resultados apresentados pelos sistemas estudados, percebe-se que as técnicas de gamificação nesses sistemas colaborativos trouxeram melhorias para a experiência do usuário, principalmente no aumento do engajamento/envolvimento do usuário na utilização do sistema. Isso se deve ao fato de que as técnicas implementadas promoveram um senso de competição, recompensa e progresso, incentivando o usuário a utilizar o sistema. Também deve-se levar em conta que nenhum dos trabalhos relacionados apresentou algum ponto negativo pela utilização de gamificação, sugerindo que a implementação de técnicas básicas (e,g. pontos, medalhas, desafios) venham trazer apenas benefícios ao usuário. A metodologia para fazer a análise deste trabalho foi pelo estudo dos artigos relacionados a cada um destes sistemas, fazendo um levantamento das técnicas utilizadas e dos resultados obtidos a partir disto. As características citadas neste trabalho, e os resultados positivos obtidos são consequências dos relatos dos autores de cada artigo. CONCLUSÃO Por se tratar de um assunto recente, o estudo sobre gamificação no meio acadêmico não está consolidado, portanto ainda não é claro quais técnicas podem ser utilizadas em determinados contextos. No entanto a utilização de gamificação está cada vez mais comum em vários contextos (educação, redes sociais, ambiente de trabalho, saúde e etc.), além disso, empresas como Google, Groupon, Photoshop, Pandora, Foursquare, Zipcar, Steam utilizam técnicas de gamificação em alguns de seus produtos [ 11 ].

Os trabalhos recentes apresentados neste artigo mostram que a utilização de gamificação em sistemas colaborativos pode aumentar o engajamento do usuário, principalmente aumentando o desenvolvimento de atividades dentro do sistema. Mais trabalhos devem ser levantados, porém acredita-se que a utilização de técnicas de gamificação podem também contribuir com outros aspectos da experiência do usuário, tais como a satisfação, o prazer, a diversão, o entretenimento, o interesse, a motivação, a sensação de desafio, etc. Apesar dos trabalhos estudados indicarem que a gamificação aumenta o engajamento e envolvimento do usuário com o sistema, a utilização de gamificação deve ser planejada com cuidado, pois existem alguns riscos em utilizar estas técnicas, como a redução da motivação interna do usuário pela motivação externa [ 15 ], como por exemplo, o usuário utilizar o sistema apenas para receber recompensas (motivação externa), em vez de utilizá-lo pois o sistema irá trazer algum benefício para o usuário (motivação interna).

Este trabalho teve como objetivo a investigação do uso de gamificação em sistemas colaborativos. Com o estudo dos trabalhos relacionados, foi possível perceber que nestes sistemas a utilização de gamificação trouxe benefícios para o usuário, visto que pode melhorou a sua experiência, principalmente no aumento do engajamento/envolvimento. As técnicas mais utilizadas pelos sistemas foram o sistema de pontos, o uso de medalhas e de desafios, que podem ser utilizadas também em outros contextos. Como trabalhos futuros pretendemos expandir a análise e implementar o uso de gamificação em um sistema e-learning colaborativo. AGRADECIMENTOS Este trabalho foi parcialmente apoiado pela CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) e CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico).

REFERÊNCIAS 1. Ellis, C. A.; Gibbs S. J.; Rein G. L. Groupware: some issues and Experiences. Communications of theACM 34.1 (1991), pp. 39-58.

References

2. Roth , J. Seven challenges for developers of mobile groupware . Workshop Mobile Ad Hoc Collaboration, CHI , 2002 .

3. Fuks , H; Raposo, A. R. ; Gerosa, M. A. Do modelo de colaboração 3c à engenharia de groupware . Simpósio Brasileiro de Sistemas Multimídia e Web - Webmidia ( 2003 ), pp. 0 - 8 .

4. Araújo , R. M. ; Dias , M. S. ; Borges, M. Borges . Suporte por computador ao desenvolvimento cooperativo de Software: classificação e propostas . Simpósio Brasileiro de Engenharia de Software - SBES 11, 1997 , pp. 299 - 314 .

5. Zichermann , G.; Cunningham, C. Gamification by Design: Implementing game mechanics in web and mobile apps. O'Reilly Media , Inc., 2011 .

6. Deterding , S. ; Dixon , D ; Khaled, R ; Nacke, L. From game design elements to gamefulness: defining gamification . Proceedings of the 15th International Academic MindTrek Conference: Envisioning Future Media Environments. ACM , 2011 .

7. Kapp , K. M. The gamification of learning and instruction: game-based methods and strategies for training and education . Pfeiffer , 2012 .

8. Groh , F. Gamification: State of the art definition and utilization . Institute of Media Informatics Ulm University, 2012 , pp. 39 - 47 .

9. Salen , K. Rules of play: Game design fundamentals . The MIT Press, 2004 .

10. Rogers , Y. ; Sharp , H. ; Preece , J. Design de interação: além da interação humano-computador . 3a. edição, Bookman , 2013 .

11. Li , C. ; Dong , Z. ; Untch , R. H. ; Chasteen, M. Engaging Computer Science Students through Gamification in an Online Social Network Based Collaborative Learning Environment , 2013 .

12. Denny , P. The effect of virtual achievements on student engagement . Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM , 2013 .

13. Giannetto , D. ; Chao , J. ; Fontana , A. Gamification in a Social Learning Environment . Issues in Informing Science and Information Technology 10 , 2013 .

14. Nikkila , S. ; Byrne , D. ; Sundaram, H. ; Kelliher; Linn, S. Taskville: visualizing tasks and raising awareness in the workplace . CHI'13 Extended Abstracts on Human Factors in Computing Systems. ACM , 2013 .

15. Nicholson , S. A user-centered theoretical framework for meaningful gamification . Proceedings GLS 8 , 2012 .

16. Alves , F. P. ; Santana , E. C. ; Maciel , C ; Anacleto, J. A rede social móvel Foursquare: uma análise dos elementos de gamificação sob a ótica dos usuários . In: WAIHCWS - Workshop sobre Aspectos da Interação Humano-Computador para a Web Social, em conjunto com XI Simpósio de Fatores Humanos em Sistemas Computacionais (IHC) , Cuiabá , 2012 , pp. 21 - 28 .