<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Técnicas de motivação para colaboração no Moodle IMD</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Samanta Aires</string-name>
          <email>samantabti@gmail.com</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Jair C. Leite</string-name>
          <email>jair@dimap.ufrn.br</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Universidade Federal do Rio Grande do Norte</institution>
          ,
          <addr-line>Natal</addr-line>
          ,
          <country country="BR">Brazil</country>
        </aff>
      </contrib-group>
      <fpage>43</fpage>
      <lpage>52</lpage>
      <abstract>
        <p>Many information systems have some embedded social interaction tools that allow users to interact with other. For instance, a review forum in an e-commerce system is an example of an interaction tool that can help users to share purchase experiences. Question and answer forums are another kind of tool where people can get helpful information to solve theirs problems. However, an important aspect to assure the usefulness of such tools is the motivation of the users to collaborate with others in such environments. In this paper, we investigate the application of motivation techniques to enhance users participation in a virtual learning platform. Our case study uses a customized implementation of the Moodle platform (Moodle IMD) that is used by students in an Information Technology course. Our solution includes the introduction of rewards and recognition mechanisms to motivate users. We have added reaction buttons to provide social recognition of activities and we also have implemented a ranking and a leaderboard to display how students participation are going in comparison with other ones. The partial results show that the student becomes more motivated to collaborate with their course partners. In a future study, we aim to evaluate how effective this collaboration is to improve learning.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>Motivation;</p>
      <p>Social</p>
      <p>
        INTRODUÇÂO
Estabelecer uma relação social ou interação social é um
fator fundamental para as redes sociais, pois é esse tipo de
interação que motiva as pessoas a compartilharem seus
pensamentos, emoções, fotos, sentimentos, o seu cotidiano
dentro desses sistemas. Hamari e Koivisto [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ] afirmam que
WAIHCWS’16 was held as part of IHC’16, organized by the Brazilian
Computing Society (SBC). October 04, 2016, São Paulo/SP, Brazil.
Copyright 2016 © for this paper by its authors. Permission to make digital
or hard copies of all or part of this work for personal or classroom use is
granted for private and academic purposes.
as interações que as pessoas mantem entre si nas redes
sociais são fatores motivacionais para alguns usuários, pois
eles acreditam que os outros esperam que eles se
comportem de uma determinada maneira dentro do sistema.
Dessa forma, eles tendem a realizar algumas ações
pensando no que os outros usuários esperam deles, para que
tenham um reconhecimento positivo, mostrando que suas
ações foram socialmente aceitas dentro do sistema e
motivando-os a permanecerem ativos nele.
      </p>
      <p>
        Esse reconhecimento positivo que o usuário obtém dos
outros usuários dentro do sistema pode influenciar o seu
comportamento pela reciprocidade [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ]. Isto é, quando um
usuário recebe um retorno (feedback) positivo, ele toma
conhecimento sobre o que os outros usuários acham do seu
conteúdo, e dessa forma tende a dar retornos positivos para
outros usuários. Esses usuários também tendem a analisar
melhor o que compartilhar dentro do sistema. Essa
motivação também pode ser obtida através de técnicas de
recompensas utilizadas na gamificação, que vem cada vez
mais ganhando espaço em diferentes tipos de sistemas de
informação (SI). Essas técnicas são aplicadas com o intuito
de motivar os usuários a se engajarem mais no uso do
sistema.
      </p>
      <p>
        As técnicas de motivação mais comumente utilizadas em
redes sociais, como o Facebook, Instagram e Twitter
buscam aumentar a interação e o engajamento entre seus
usuários dentro do sistema. Muitos SI já fazem uso dessas
técnicas. Por exemplo, o TripAdvisor1 depende da
colaboração dos usuários em compartilharem opiniões e
revisões sobre suas viagens. Para que seus usuários
sintamse interessados em colaborar no sistema, ele faz uso da
gamificação, com a aplicação de um sistema de medalhas,
pontos e recompensas para aqueles que colaboram. Outro
exemplo é o sistema de e-commerce Amazon², em que
através da gamificação, os usuários sentem-se motivados a
realizarem revisões de compras de livros de forma
totalmente colaborativa. Também temos o StackOverflow³,
fórum de discussão sobre desenvolvimento, que utiliza
técnicas de motivação e gamificação para motivar a
colaboração de seus usuários, que compartilham dúvidas e
conhecimentos sobre os mais diversos temas de
programação.
A aplicação de técnicas de motivação visando a
colaboração entre usuários em um SI é cada vez mais uma
característica desejável para melhorar a experiência do
usuário [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ].
      </p>
      <p>
        Nesse artigo, objetivamos identificar, através de estudos da
literatura, algumas técnicas de motivação que buscam
ampliar a colaboração em sistemas computacionais. Com
esse estudo, identificamos que os sistemas já citados, como
Facebook, StackOverflow, Amazon e TripAdvisor, são
considerados atrativos e estimulantes, conquistando novos
usuários todos os dias e mantendo seus usuários atuais cada
vez mais motivados na utilização do sistema. Com isso,
buscamos entender o que torna esses sistemas tão
estimulantes para os usuários, quais estratégias e técnicas
de motivação são utilizadas, e se essas técnicas podem ser
aplicadas em sistemas de outros domínios. Para isso,
realizamos um estudo no domínio da educação à distância
em um sistema baseado na plataforma Moodle. Esse
ambiente já possui mecanismos de interação social, como
fóruns e chats, que poderiam ser utilizados pelos estudantes
para a colaboração entre eles. No entanto, foi constatado
que o uso destes recursos é muito baixo e que é importante
introduzir mecanismos de motivação [
        <xref ref-type="bibr" rid="ref13">13</xref>
        ]. O artigo
apresenta as soluções que estão sendo experimentadas pelos
estudantes para que a colaboração entre eles seja
incrementada. É importante destacar que o foco da nossa
pesquisa está no uso dos mecanismos de interação já
oferecidos pelo Moodle com o objetivo de ampliar a
colaboração entre os usuários com elementos
complementares ao processo de aprendizagem. Tal
processo e a interação dos usuários com o sistema não
foram considerados neste estudo.
      </p>
      <p>Esse documento está estruturado da seguinte forma. Na
próxima seção reportamos um estudo realizado que mostra
a falta de motivação dos estudantes nas atividades
colaborativas no sistema Moodle IMD. Na seção seguinte,
apresentamos os conceitos de motivação e engajamento,
para que possamos entender os fundamentos nos quais as
técnicas utilizadas em jogos (gamificação) e em redes
sociais podem promover a motivação. Em seguida,
apresentamos uma visão geral destas técnicas e citamos
trabalhos que as aplicaram. Por fim, descrevemos as
soluções propostas para melhorar a motivação e o
engajamento no Moodle IMD, bem como a avaliação
realizada para verificar os resultados obtidos.</p>
      <p>ESTUDO DE CASO: MOODLE IMD
O Moodle é um ambiente virtual de aprendizagem (AVA)
bastante utilizado em várias escolas e universidades do
Brasil. Nele, pode-se cadastrar cursos, professores, alunos e
outros usuários, além de prover atividades, fóruns, tarefas e
outros elementos essenciais a uma sala de aula virtual.
O acesso à plataforma é dado via internet, e o usuário
possui um login e uma senha. O Moodle é utilizado não só
para cursos completamente à distância, mas também no
auxílio a cursos semipresenciais, como é o caso dos cursos
técnicos oferecidos pelo Instituto Metrópole Digital (IMD),
localizado na Universidade Federal do Rio Grande do Norte
(UFRN). Esses cursos têm o objetivo de qualificar e formar
jovens na área da Tecnologia da Informação, através de
metodologias específicas e ofertando segmentos que os
alunos podem seguir, como Informática para a Internet,
Redes de Computadores, Eletrônica, Automação Industrial
e Programação de Jogos Digitais. Esses cursos são da
modalidade de ensino a distância semipresencial, dessa
forma o aluno é acompanhado através da plataforma
Moodle IMD, na qual é matriculado nas disciplinas e pode
ter acesso ao conteúdo e atividades. Entretanto, o curso
conta com aulas presenciais obrigatórias, na qual ocorrem
encontros com o tutor e com os colegas de turma para
esclarecer dúvidas e realizar atividades extras.</p>
      <p>
        Com o intuito de entendermos como se dá a interação e a
colaboração entre os usuários do Moodle IMD, realizamos
uma pesquisa inicial com o objetivo de avaliar o grau de
colaboração que existe entre os alunos e entre eles e os
tutores [
        <xref ref-type="bibr" rid="ref13">13</xref>
        ]. A pesquisa foi feita através da aplicação de
questionários aos alunos e tutores. Com os dados obtidos
pela análise dos questionários, percebemos que, mesmo o
Moodle IMD fornecendo diversas ferramentas para a
comunicação que poderiam promover a colaboração entre
seus usuários dentro do sistema, eles fazem mais uso das
redes sociais que do sistema em si. Assim, concluímos que
o grau de colaboração entre os usuários do Moodle IMD é
limitado. Essa colaboração, quando existe, não ocorre
através do Moodle IMD e de suas ferramentas (murais de
notícias, fóruns e chats). Os alunos preferem utilizar as
Redes Sociais, criando grupos no Whatsapp e tópicos em
perfis do Facebook, funções que são disponibilizadas pelo
Moodle IMD, mas não são usadas. Os resultados também
mostram que os usuários não se sentem estimulados a
utilizarem as ferramentas do Moodle IMD. Nas análises
deste estudo, percebemos que o sistema não faz uso de
técnicas de motivação comuns nos sistemas citados
anteriomente.
      </p>
      <p>
        MOTIVAÇÃO E ENGAJAMENTO
Motivação é algo que impulsiona as pessoas a agirem
visando atingir seus objetivos, seja na vida ou no uso de um
sistema de informação, e pode ser gerada por fatores
internos, externos ou sociais [
        <xref ref-type="bibr" rid="ref12">12</xref>
        ]. Quando a motivação é
gerada a partir de fatores internos, ela é chamada de
Motivação Intrínseca. Esses fatores estão comumente
relacionados a emoções, prazeres, vontades, valores
culturais e outros. Quando a motivação é gerada por fatores
externos, como as recompensas (medalhas, troféus,
dinheiro, etc), ela é chamada de Motivação Extrínseca. Já
quando a motivação é gerada por fatores sociais, como o
reconhecimento de outras pessoas sobre suas atitudes, ou
votações que outras pessoas fazem sobre você, ela é
chamada de Motivação Social.
Uma das teorias mais estudadas sobre a motivação é a
Teoria do Comportamento Planejado [
        <xref ref-type="bibr" rid="ref1">1</xref>
        ], que afirma que as
intenções e o comportamento de uma pessoa podem ser
influenciados por diversos fatores, sejam internos ou
externos, como os hábitos, a interação social e o ambiente.
Outra teoria é a Teoria da Autodeterminação
(SelfDetermination Theory) [
        <xref ref-type="bibr" rid="ref10">10</xref>
        ], que afirma que a motivação
intrínseca é o que motiva as pessoas a se apaixonarem por
esportes e até mesmo a se tornarem viciados em apostas,
levando as pessoas a realizarem atividades e permanecerem
nelas mesmo que por algum motivo não consigam, como
por exemplo, praticar uma atividade física sem
condicionamento ou com problemas de saúde.
      </p>
      <p>Para que a motivação intrínseca seja criada e mantida nas
pessoas, é necessário basear-se em algumas necessidades
sociais buscadas por elas, como a autonomia, a
competência e os relacionamentos. A autonomia refere-se
ao estímulo que a pessoa sente ao realizar uma atividade, ou
seja, o interesse pessoal que o indivíduo tem em praticar e
concluir aquela atividade, pois ele sente que há liberdade
em suas ações, que ele é livre para realizar da forma que
desejar. A competência está relacionada à necessidade que
as pessoas têm em se mostrarem necessárias e úteis,
demonstrando aptidão nas atividades que estão sendo
realizadas. Por fim, os relacionamentos interpessoais
referem-se ao sentimento de conexão que as pessoas têm
umas com as outras, através de parentesco familiar, relações
de trabalho ou escola, amizades, participação em
sociedades ou grupos, etc.</p>
      <p>Com isso, os autores também afirmam que esses elementos
podem ser utilizados como manipuladores sobre as ações
realizadas pelas pessoas, isto é, dentro de um sistema
computacional podemos promover a motivação intrínseca
nos usuários através da manipulação desses três fatores. Por
exemplo, simulando a autonomia no usuário, mas definindo
uma sequência de passos pré-definidos e limitados.
Aplicando a competência através de feedbacks positivos
para os usuários sobre suas ações, fazendo com que ele
sinta a necessidade de sempre melhorar seu comportamento
dentro do sistema. Por fim, os relacionamentos podem
definidos permitindo que os usuários conversem e se
conectem com seus amigos ou grupos dentro do sistema, e
também que consigam ver as ações realizadas por eles.
Muitos autores buscam técnicas de motivação com o intuito
de aumentar o engajamento dos indivíduos. Isso se deve,
pois, através do Engajamento, as pessoas tendem a se
empenharem nas atividades executadas de forma natural.</p>
      <p>
        Em sua pesquisa, Preece [
        <xref ref-type="bibr" rid="ref9">9</xref>
        ] afirma que a
experiência de usuário refere-se a como ele se sente ao
utilizar um determinado produto, sistema ou serviço. O
engajamento está diretamente relacionado à experiência do
usuário e ao seu envolvimento na utilização do sistema.
Na área de educação, Fredricks [
        <xref ref-type="bibr" rid="ref5">5</xref>
        ] e Beer [
        <xref ref-type="bibr" rid="ref2">2</xref>
        ] afirmam que
o engajamento dos estudantes está relacionado a
componentes psicológicos e comportamentais. Ademais,
Fredricks afirma que o engajamento pode ser definido em
três tipos distintos, sendo eles: engajamento
comportamental, engajamento emocional e engajamento
cognitivo.
      </p>
      <p>O engajamento comportamental está relacionado à
participação dos estudantes em atividades, tendo condutas
positivas. O engajamento emocional está relacionado ao
emocional em si do estudante, suas reações e emoções
diante de atividades e tarefas. Já o engajamento cognitivo
está relacionado ao psicológico do estudante durante a
realização das atividades.</p>
      <p>Com isso, percebemos que o engajamento ocorre quando a
motivação está em níveis elevados e realimenta um ciclo
virtuoso, estimula o comportamento e amplifica o
emocional, motivando ainda mais os envolvidos, pois as
pessoas costumam envolver-se ainda mais em atividades
nas quais estão engajadas. Essa conclusão obtida da
pesquisa teórica é fundamental para as estratégias deste
trabalho. Quando a tarefa a ser realizada pela usuário requer
colaboração, é fundamental criar esse ciclo de motivação de
forma que ele sinta-se cada vez mais engajado na atividade
e estimulado a colaborar.</p>
      <p>ESTRATÉGIAS E TÉCNICAS PARA MOTIVAÇÃO
Existem várias estratégias e técnicas que influenciam a
motivação e engajamento de usuários dentro de ambientes
computacionais. Duas categorias importantes de estratégias
podem ser utilizadas na motivação.</p>
      <p>Uma delas é a recompensa, um dos mecanismos da
gamificação, que refere-se a algo bom ou positivo dado ao
usuário devido a alguma ação realizada por ele.Outra
estratégia de motivação, bastante utilizada em redes sociais,
é o reconhecimento. Nesta categoria estão os mecanismos
elaborados a partir de alguma forma de retorno (feedback),
dado por alguém com quem se tem uma relação social.
Técnicas Baseadas em Recompensas
Os elementos de recompensas mais utilizados na
gamificação, e que na maioria das vezes obtiveram
resultados positivos nos sistemas aos quais foram aplicados,
são os pontos, as medalhas, e os rankings, chamados PBL
(Points, Badges and Leaderboards). Essa técnica tem a
finalidade de motivar os usuários com recompensas
externas, que como vimos é um dos fatores que gera a
motivação extrínseca.</p>
      <p>
        Grant e Bett [
        <xref ref-type="bibr" rid="ref6">6</xref>
        ] afirmam que a utilização desses elementos ,
mais especificamente as medalhas, podem influenciar o
comportamento das pessoas, pois muitas vezes elas mudam
suas ações dentro do sistema apenas para conseguirem
ganhar essas recompensas. Entretanto, nem sempre as
recompensas trazem resultados positivos para os sistemas
aos quais são adicionadas, e por isso devemos sempre
analisar qual o objetivo da utilização desse mecanismo,
para que sua conquista seja de acordo com o objetivo a ser
atingido.
Seixas [
        <xref ref-type="bibr" rid="ref11">11</xref>
        ] deixa claro que no seu estudo de caso, o
mecanismo de recompensa foi associado ao objetivo de
motivar os alunos dentro da sala de aula, viu-se que um
sistema de recompensas dinâmicas era o ideal. Para isso, ele
elaborou essas recompensas de acordo com o plano de
trabalho da disciplina, desenvolvendo uma medalha para
cada objetivo, seja ele comportamental, como trabalho em
equipe e participação em sala, ou instrumental, com o uso
correto de objetos pertinentes para a disciplina, como
compasso e régua.
      </p>
      <p>
        O sistema de pontos é um dos mecanismos mais básicos da
gamificação. Como vimos, esse mecanismo é utilizado em
diversos sistemas, como o TripAdvisor, que dá pontos
como recompensa pelas revisões feitas pelos usuários. Os
sistemas podem dar pontos positivos, por alguma tarefa
realizada pelo usuário, ou pontos negativos, devido a
alguma regra quebrada ou infração cometida. Esses pontos
também podem ser distribuídos de forma automática pelo
próprio sistema, através de tarefas pré-definidas, ou de
forma manual, dada por um administrador ou monitor do
sistema. Quando acumulados pelos usuários, os pontos
podem gerar algumas outras recompensas, como medalhas
ou descontos. Fardo [
        <xref ref-type="bibr" rid="ref4">4</xref>
        ] afirma que esse tipo de recompensa
tende a instigar os usuários a serem mais competitivos
dentro do sistema, gerando a mesma sensação de
competitividade existente nos jogos. Ele também afirma
que um sistema de pontos deve ser aplicado com o intuito
de promover competições entre os usuários, agindo como
um elemento de motivação para alguns deles.
      </p>
      <p>As medalhas (badges) ou troféus que os usuários ganham,
também podem ser distribuídos automaticamente pelo
próprio sistema, ou manualmente, por um administrador ou
monitor. As medalhas dadas de forma automática estão
mais relacionadas a tarefas pré-definidas que devem ser
realizadas pelos usuários dentro do sistema. Por exemplo,
no StackOverflow trabalha-se com um sistema de medalhas
bem completo, em que elas são dadas de forma automática
para um usuário que cumpre determinadas tarefas. Sendo
um fórum, algumas medalhas existentes são, por exemplo,
Obter 10 pontos ou mais em uma pergunta, a pergunta ter
10.000 visualizações, entre outros.</p>
      <p>
        A aplicação de um sistema de pontos pode gerar um
ranking. Além de promover a competitividade entre os
usuários, o ranking também é tido como um elemento de
grupos e, segundo Fardo [
        <xref ref-type="bibr" rid="ref4">4</xref>
        ], a competição entre grupos
tende a potencializar a interação entre os usuários e pode
promover mais um contexto para os objetivos, como o
aumento da colaboração. Com os rankings, os usuários
conseguem visualizar seu progresso dentro do sistema, e
assim sentem-se estimulados a o utilizarem cada vez mais
com a intenção de permanecerem ou chegarem a uma dada
colocação no ranking. Entretanto, muitas vezes esse tipo de
elemento causa a reação oposta em alguns usuários, que
acabam se sentindo intimidados e desestimulados a
realizarem as tarefas, por não estarem tão próximos das
melhores colocações.
      </p>
      <p>Técnicas Baseadas em Reconhecimento
O reconhecimento ocorre quando as pessoas comentam
sobre as ações realizadas pelos usuários, como, por
exemplo, indicando que gostou de uma determinada ação,
ou fazendo comentários sobre ela. Esse tipo de
reconhecimento dentro de um sistema pode ser feito através
de técnicas de motivação sociais, como os botões de curtir e
a permissão da elaboração de comentários, aplicados junto
a alguns outros mecanismos de recompensas já citados,
como o sistema de pontos.</p>
      <p>Sabemos que essas técnicas sociais motivam os usuários
que sentem-se estimulados pelo lado social, entretanto
como as pessoas são diferentes, os usuários também o são.
Assim nem todos os usuários são motivados por fatores
sociais, existem também aqueles que são motivados por
fatores externos como recompensas e até por fatores de
competição, como rankings.</p>
      <p>
        Hamari e Koivisto [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ] utilizaram técnicas de
reconhecimento e confirmaram que a relação social é um
fator muito importante dentro de um SI.. Segundo eles, o
usuário acredita que os outros usuários esperam dele um
determinado comportamento. Com isso, ele executará
algumas ações pensando no que os outros esperam, para
que tenha um reconhecimento positivo, mostrando que suas
ações foram socialmente aceitas dentro do sistema, e o
motivando a permanecer ativo nele.
      </p>
      <p>
        O uso de elementos clicáveis, como botões ou ícones,
permitem aos usuários darem um retorno (feedback) rápido
sobre o comportamento ou sobre a atividade realizada por
um outro usuário, como uma publicação, uma foto
compartilhada, um comentário, etc. Tomando como base a
teoria de Hamari e Koivisto [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ], percebemos que esse tipo
de mecanismo de reconhecimento faz com que o usuário
que recebeu o feedback sinta-se estimulado a também
realizar feedbacks sobre as ações dos outros usuários,
aumentando o engajamento e a colaboração dentro do
sistema.
É importante que os elementos clicáveis estejam de acordo
com os objetivos do sistema. Por exemplo, a rede social
Facebook mudou seu botão de um simples “curtir” para um
com muitas outras opções, permitindo que o usuário reaja
de várias formas sobre uma publicação na rede, podendo
amar, rir, ficar surpreso, chorar, ficar com raiva ou apenas
curtir. Dessa forma, pensando em um contexto mais
educacional, temos que essas reações não se adequariam a
esse tipo de sistema, sendo necessária analisar quais seriam
as melhores opções a serem utilizadas.
      </p>
      <p>Seguindo a mesma linha da possibilidade de dar um
reconhecimento rápido ao usuário, um outro elemento que
pode ser utilizado para aumentar a motivação dentro do
sistema é o comentário. Através do comentário sobre uma
ação realizada por alguém dentro do sistema, os usuários
tendem a se sentirem estimulados a compartilhar suas
opiniões, abrindo discussões sobre a ação realizada,
aumentando assim o engajamento na discussão entre os
usuários, e consequentemente a colaboração dentro do
sistema.</p>
      <p>
        Esses dois elementos podem e devem ser utilizados de
forma conjunta. Além disso, para complementar seu uso, é
interessante que o sistema permita ao usuário ter uma
visualização global sobre o número de feedbacks que a sua
ação obteve dentro do sistema, seja pelos cliques ou pelos
comentários. Essa informação é considerada atrativa para o
usuário, pois, ainda segundo Hamari e Koivisto [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ], a
percepção do número de visualizações e feedbacks sobre
uma ação, faz com os usuários do sistema sintam interesse
em interagir e colaborar, e também faz com que o usuário
responsável pela ação queira colaborar cada vez mais
dentro do sistema, fazendo novas publicações, reagindo e
comentando as ações dos outros usuários.
      </p>
      <p>
        APLICAÇÃO DAS TÉCNICAS NO MOODLE-IMD
A partir da análise das técnicas de motivação discutidas
com base na fundamentação teórica, realizamos
modificações no Moodle IMD com o objetivo de investigar
se a colaboração entre os estudantes e entre eles e os tutores
poderia ser melhorada. Tanto as técnicas de
reconhecimento, quanto as recompensas são baseadas nas
teorias de motivação aqui apresentadas e devem ser
utilizadas pensando-se nos sistemas, situações, contextos e
objetivos. O intuito aqui é que os elementos escolhidos,
quando aplicados ao sistema, consigam alcançar seu
objetivo de aumentar a colaboração entre os usuários, pois
quando eles interagem, sentem-se mais motivados e
engajados e com isso, obtém melhores resultados na
utilização do sistema [
        <xref ref-type="bibr" rid="ref8">8</xref>
        ].
      </p>
      <p>Nesta seção, apresentamos algumas sugestões de elementos
que foram aplicados ao Moodle IMD baseados em algumas
das teorias e técnicas aqui vistas. Como já dissemos
anteriormente, foram consideradas apenas as ferramentas de
fóruns, na qual podem ocorrer colaboração. A seguir
apresentamos esses elementos.</p>
      <p>Uso de elementos clicáveis e comentários
Os fóruns do Moodle IMD já apresentam a possibilidade de
dar feedback através de comentários sobre os tópicos
cadastrados. Embora o comentário seja uma forma eficaz de
recompensa, em nossa pesquisa anterior constatamos que a
colaboração por comentários é muito baixa, pois geralmente
toma tempo maior do usuário, que precisa escrever sua
opinião sobre o tópico. Além de que muitos dos
comentários feitos são curtos, apenas com agradecimentos e
retornos simples sobre o tópico, coisas como “obrigado”,
“ótima dica”, “muito interessante”, entre outros. Na Figura
1, apresentamos a interface atual do fórum de uma das
disciplinas do Moodle IMD. A interface de todos os outros
fóruns no sistema são semelhantes a apresentada na figura.
Como podemos perceber, a única opção de retorno ao
usuário é através de comentários.</p>
      <p>Figura 1. Interface atual do fórum de disciplina do
Moodle</p>
      <p>IMD.</p>
      <p>A fim de ampliar as formas de recompensa, realizamos a
adição de botões que possibilitam um retorno mais rápido
ao usuário sobre o tópico ou comentário cadastrado por ele.
Esses botões representam algumas intenções dos usuários
para com o tópico. Para o primeiro teste de aplicação dos
botões, foi realizada a adição de sete botões representando
sete reações: obrigado, gostei, não gostei, não entendi,
relevante, inadequado e top. Na Figura 2 apresentamos
cada ícone de botão e a reação que ele representa.</p>
      <p>Figura 2. Botões(ícones) com as reações que representam.
Essas sugestões foram baseadas nas respostas mais comuns
dadas pelos alunos dentro de tópicos nos fóruns, que foi
parte de uma análise realizada no sistema. Na Figura 3
apresentamos uma nova versão da interface dos fóruns do
Moodle IMD com a adição dos botões.</p>
      <p>Figura 3. Modificação na interface do fórum de disciplina do</p>
      <p>Moodle IMD com a adição dos botões.</p>
      <p>Sistema Pontos, Medalhas e Rankings
Para que o usuário do Moodle IMD sinta-se mais
estimulado a colaborar dentro dos fóruns e das outras
ferramentas, realizamos também a adição de mecanismos
que envolvem a aplicação de pontos, medalhas e rankings.
A definição de cada elemento desse sistema foi feita em
conjunto com o setor psicopedagógico, com os professores
das disciplinas, e com a coordenação do curso.</p>
      <p>Com a adição de um sistema de medalhas, os usuários são
recompensados por tarefas específicas realizadas por eles.
Essas tarefas envolvem as diversas atividades do sistema ou
atividades realizadas em sala de aula. Algumas tarefas do
sistema que geram medalhas são: publicar tópicos, fazer
comentários, dar feedback a tópicos e comentários através
dos botões, adicionar uma foto ao perfil, entre outras.
As medalhas estão divididas em três categorias: bronze,
prata e ouro, sendo que cada uma delas também possui
quatro ou cinco subcategorias, dependendo da tarefa a ser
recompensada. Dessa forma, tarefas mais simples como
publicar 5 tópicos, comentar em 10 tópicos e reagir a 1
tópico, por exemplo, são recompensadas com medalhas de
bronze. Tarefas mais complexas, como publicar 1.000
tópicos ou ter o tópico reagido por 300 usuários, são
recompensadas com medalhas de ouro. As medalhas de
prata destinam-se a atividades no meio termo.</p>
      <p>Cada medalha tem um título, isto é, um nome único
relacionado a medalha que será dada para uma determinada
atividade. Na Figura 4 apresentamos um exemplo de
medalhas nas categorias bronze, prata e ouro, que possuem
também 5 categorias cada. As medalhas da figura 4 são
dadas como recompensa ao usuário que reagir a diferentes
tópicos, e o título desse tipo de medalha é Emotiv@, pois
representa um usuário que reage bastante a tópicos. Os
números de 1 à 5 representam as subcategorias das
medalhas, nas quais a dificuldade da tarefa está relacionada
diretamente ao valor decrescente do número, ou seja, a
categoria 5 de bronze refere-se ao usuário reagir a 5
tópicos; enquanto a categoria 1 de bronze refere-se a reação
em 50 tópicos; a categoria 5 de ouro refere-se a reação em
300 tópicos, e a 1 de ouro à reação em 1000 tópicos.</p>
      <p>Figura 4. Categorias de medalhas para serem aplicadas ao</p>
      <p>Moodle IMD.</p>
      <p>Sabendo-se que as aulas do curso técnico não se limitam a
aulas a distância, havendo também aulas presenciais,
algumas atividades realizadas pelos alunos dentro da sala de
aula também podem ser recompensadas, gerando medalhas
para eles. Dessa forma, as medalhas relacionadas a
atividades realizadas em sala de aula são distribuídas
manualmente pelo professor. E as medalhas relacionadas às
atividades realizadas dentro do sistema, como as
apresentadas anteriormente,
automaticamente pelo próprio sistema.
são
distribuídas
Outro mecanismo da gamificação que adicionamos ao
Moodle IMD é o sistema de pontos. A sugestão desse
sistema se deu pela possibilidade de elaboração de
rankings, algo que ainda não existia. Esses rankings são
divididos de acordo com os módulos que o curso engloba:
Módulo Básico, Módulo Intermediário e Módulo
Avançado. O sistema apresenta um ranking semanal, um
mensal e um geral para cada módulo. Os usuários com mais
pontos e medalhas ocuparão as posições mais elevadas dos
rankings. Na Figura 5 apresentamos um exemplo da nova
interface do Moodle IMD com a adição dos rankings e a
visualização dos pontos conquistados pelo usuário.</p>
      <p>Figura 5. Modificação na interface do Moodle IMD com a
adição de rankings e pontos.</p>
      <p>A ideia de pontos segue a mesma lógica das medalhas, com
tarefas pré-definidas que gerarão pontos positivos ou
negativos para o usuário.</p>
      <p>Tarefas como postar um tópico, comentar um tópico e
reagir a um tópico, gerarão pontos positivos para os
usuários; e tarefas como receber reações inadequadas em
um tópico e ter um tópico excluído pelo tutor, gerarão
pontos negativos. Na Tabela 1 apresentamos quais tarefas
receberão pontos positivos e quais receberão pontos
negativos. A pontuação foi determinada em conjunto com
coordenadores e assessores pedagógicos do curso e será
objeto de um estudo de acompanhamento.</p>
      <p>Associado a esse mecanismo, incorporamos a visualização
dos pontos e medalhas no perfil de cada usuário, com o
intuito de motivar os usuários a tentarem conquistar cada
vez mais pontos e medalhas para ficarem estampados em
seu perfil. Na Figura 6, apresentamos a interface com essa
modificação no perfil do usuário, mostrando algumas
medalhas conquistadas. A de título Vaidos@ é dada ao
usuário que adiciona uma foto ao perfil; a medalha
Informante é dada ao usuário que adiciona uma descrição
ao perfil; as medalhas Superstar de bronze, prata e ouro
referem-se ao usuário ter seu tópico reagido por 10, 50 e
100 usuários, respectivamente.</p>
      <p>Tarefas</p>
      <p>Cadastrar um tópico
Comentar em um tópico</p>
      <p>Ter um tópico reagido.</p>
      <p>Ter um comentário reagido
Tópico mais reagido da semana
Participar do “top 3” do ranking</p>
      <p>na semana
Participar do “top 3” do ranking</p>
      <p>no mês
Participar do “top 3” do ranking</p>
      <p>no módulo</p>
      <p>Acessar o Moodle
Completar uma atividade no</p>
      <p>Moodle
Tópico com reação inadequada</p>
      <p>Comentário com reação
inadequada</p>
      <p>Pontuação
+ 1 ponto
+ ½ ponto
+ 2 pontos
+ 1 ponto
+ 10 pontos
+ 10 pontos
+ 20 pontos
+ 50 pontos
+ 1 ponto
+ 5 pontos
- 2 pontos por
cada reação
inadequada
- 1 ponto por
cada reação
inadequada</p>
      <p>Tabela 1. Tarefas e pontuações.</p>
      <p>Figura 6. Interface do Moodle-IMD com a visualização das
medalhas no perfil do usuário.</p>
      <p>PESQUISA COM USUÁRIOS
Para verificar se os mecanismos utilizados para as técnicas
de recompensas e reconhecimento seriam estimulantes para
os alunos, realizamos uma pesquisa com os estudantes do
Moodle IMD.</p>
      <p>Metodologia
A pesquisa consistiu em um questionário destinado aos
alunos do curso técnico, que estavam matriculados em
alguma turma no primeiro semestre de 2016. O objetivo
deste estudo foi compreender se as técnicas sugeridas
seriam consideradas um estímulo para que esses usuários
colaborarem usando as ferramentas. Participaram 99
usuários, entre tutores e alunos das turmas do curso, na
faixa etária de 15 a 26 anos, durante duas semanas em
junho de 2016. Não foi necessária a escolha de amostragens
específicas dos participantes, pois não iríamos fazer
análises estatísticas diferenciando características de cada
um dos participantes.</p>
      <p>Os participantes responderam livremente de forma
voluntária, com garantia de anonimato, e esclarecidos dos
objetivos da pesquisa e privacidade dos dados. Todos
confirmaram ciência destes aspectos éticos e de que
poderiam desistir de participar a qualquer momento.
A escolha de um questionário para este tipo de estudo teve
como objetivo conhecer a opinião dos usuários. Aplicamos
o questionário de forma presencial, pois experiências online
anteriores mostraram uma baixa participação. Outra opção
seria realizar medições a partir de testes de usabilidade. No
entanto, os testes não nos permitiriam entender as opiniões
sobre os elementos motivacionais que foram escolhidos. As
opiniões são mais adequadas para entender as
interpretações dos usuários e as justificativas pelo uso dos
mecanismos. Em outro momento, pretendemos avaliar
através de monitoramento contínuo, no laboratório e no
campo, os efeitos motivacionais em termos quantitativos. O
questionário contou com 25 questões que englobavam todas
as técnicas sugeridas. Utilizamos em cada uma das
respostas a escala de Likert para avaliar o grau de
concordância com vários pontos. A escala varia de 1 à 5,
sendo 1 representando a opção de Discordo completamente,
2 sendo Discordo, 3 sendo Indiferente, 4 sendo Concordo e
5 sendo Concordo completamente.</p>
      <p>O questionário aplicado avaliou os seguintes pontos:
• Interpretação dos botões – avaliar se as imagens
utilizadas para cada um dos elementos clicáveis (botões)
refletem a intenção desejada pelos desenvolvedores.
• Motivação pelo reconhecimento – avaliar se o estudante
se sente mais motivado a postar mensagens nos fóruns
quando um outro colega oferece um feedback.
• O uso de pontuação, medalhas e rankings – avaliar se
o uso de pontuação, medalhas e rankings oferecem uma
motivação adicional para os estudantes realizarem
postagens, comentários e outras atividades.</p>
      <p>Para a análise dos dados, verificamos as respostas de cada
usuário, traçando respostas semelhantes e diferentes entre
eles, a fim de entender quais as técnicas mais estimulantes e
quais precisam ser modificadas para se tornarem mais
motivadoras.</p>
      <p>Interpretação dos botões
Para que os botões possam ser utilizados corretamente pelos
alunos, é importante que eles entendam o propósito de cada
um deles. Quando o usuário coloca o apontador do mouse
sobre o botão, o significado pretendido aparece sobre a
figura. No entanto, é a imagem que chama mais a atenção e
é importante que os usuários concordem com esse
significado.</p>
      <p>Com a finalidade de entendermos se as imagens sugeridas
para os botões estavam de acordo com a reação escolhida
pelos desenvolvedores, apresentamos a figura 3 no
questionário e perguntamos aos alunos se eles
concordavam, utilizando a escala Likert sugerida, que as
imagens (os ícones) dos botões representam as reações
indicadas.</p>
      <p>Como resultado, obtivemos que a maioria dos participantes
concordaram completamente que os ícones Obrigado
(42,4%), Não entendi (67,7%), Inadequado (36,4%), Gostei
(73,7%) e Não gostei (71,7%) representam as reações
indicadas.</p>
      <p>Como complemento a esta questão, perguntamos ainda
quais desses botões eles usariam com maior e menor
frequência. Como resposta, obtivemos que 53,5% dos
participantes afirmam que usariam com maior frequência o
botão Gostei, 38,3% usariam o botão Obrigado, e 28,2%
usariam o botão Não entendi, como podemos verificar no
gráfico da figura 7.</p>
      <p>Figura 7. Gráfico representando as respostas da questão:
“Quais dos ícones apresentados você utilizaria com maior
frequência?”.</p>
      <p>Enquanto que os ícones usados com menor frequência
seriam o Inadequado (35%), o Top (35%) e o Relevante
(26,2%). No gráfico da figura 8 podemos visualizar melhor
esses dados.</p>
      <p>Figura 8. Gráfico representando as respostas da questão:
“Quais dos ícones apresentados você utilizaria com menor
frequência?”.</p>
      <p>Quando perguntados o porquê de não utilizarem esses
botões, a maioria afirma que não costuma fazer comentários
desse tipo nas postagens dos fóruns, e que as reações
indicadas não são adequadas ao ambiente do Moodle IMD.
Por fim, para entendermos se esses botões podem vir a
estimular os alunos, também perguntamos quais ícones eles
se sentiriam mais estimulados a utilizar, como respostas
obtivemos que a grande maioria concorda completamente
que os ícones Obrigado (42,4%), Não entendi (50,5%)</p>
      <p>Gostei (60,6%) e Não gostei (55,6%) seriam os mais
estimulantes para elas, enquanto que os outros ícones
tiveram respostas similares nas opções da escala, não sendo
possível definir qual seria a opinião real da maioria, como
podemos observar no gráfico da figura 9.</p>
      <p>
        Figura 9. Gráfico representando as respostas da questão:
“Você se sentiria estimulado a utilizar o ícone apresentado?”.
Motivação pelo reconhecimento
Na versão atual do Moodle IMD como vimos, existe a
possibilidade de dar feedbacks através de comentários e,
segundo Hamari e Koivisto [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ], quando um usuário recebe
feedback sobre uma ação que realizou dentro do sistema,
ele tende a também dar feedbacks para os outros usuários.
Esse tipo de prática poderia aumentar a colaboração dentro
dos fóruns do Moodle IMD.
      </p>
      <p>Para isso, investigamos se um usuário do Moodle IMD
realmente se sente estimulado ao receber comentários em
tópicos que publicou dentro de algum fórum do sistema.
Como resultado, temos que a grande maioria dos
participantes concordou (41,4%) ou concordou
completamente (44,4%) com esse questionamento, como
podemos verificar no gráfico da figura 10.</p>
      <p>Figura 10. Gráfico representando as respostas para a questão:
“Você se sente estimulado quando uma publicação que fez em
algum fórum do Moodle IMD recebe comentários?”.
Com a finalidade de entendermos o que mais motiva os
alunos, perguntamos a eles se, com a possibilidade de
receberem feedback através dos botões (ícones) em suas
publicações e comentários, eles se sentiriam mais
estimulados a executarem essas tarefas. Sendo duas
perguntas distintas, temos que a maioria dos participantes
afirmou que concordava (42,4%) com o questionamento
sobre o estímulo a publicarem, e também a maioria
concordava (43,4%) quanto ao estímulo a realizarem
comentários.
O uso de pontuação, medalhas e rankings
Avaliamos junto aos alunos se a aplicação do mecanismo
de pontos, medalhas e rankings no Moodle IMD seria algo
estimulante para eles. Questionamos se eles se sentiriam
estimulados a publicar e comentar se isso gerasse pontos e
medalhas e se a ideia de rankings na qual sua colocação
estaria relacionada aos pontos ganhos por ele, seria algo
mais estimulante para eles.</p>
      <p>Pelos resultados, obtivemos que 46,5% dos participantes
concordam completamente que se fossem pontuados pelos
tópicos publicados, se sentiriam mais estimulados a postar,
como podemos visualizar no gráfico da figura 11.
Figura 11. Gráfico representando as respostas da questão: “Se
o Moodle pontuasse por postagem nos fóruns, você se sentiria
mais estimulado a postar?”.</p>
      <p>O mesmo acontece para o recebimento de pontos nos
comentários, onde a maior parte também concorda
completamente (44,4%) que se sentiria estimulado, como
verificamos no gráfico da figura 12.</p>
      <p>Figura 12. Gráfico representando as respostas da questão: “Se
o Moodle pontuasse por comentários nos fóruns, você se
sentiria mais estimulado a comentar?”.</p>
      <p>Quanto a se sentirem motivados pela existência de um
ranking, e pela utilização de medalhas como forma de
recompensas por atividades concluídas, 35,4% concordam
completamente que se sentiriam motivados com um
ranking, mas as respostas não variam tanto para as outras
opções na escala, como por exemplo, 22,2% dos
participantes concordam com o questionamento, 18,2%
sentem-se indiferentes, 14,1% discordam e 10,1%
discordam completamente. Esses dados são melhor
observados no gráfico da figura 13.</p>
      <p>Figura 13. Gráfico representando as respostas da questão: “A
existência de um ranking indicando sua posição na turma
seria, para você, algo motivador?”
Temos também que a maioria concorda completamente
(43,4%) que se sentiria motivada com a utilização das
medalhas, como podemos visualizar nos gráficos da figura
14.</p>
      <p>Figura 14. Gráfico representando as respostas da questão: “A
existência de medalhas como forma de recompensas por
tarefas concluídas seria, para você, algo motivador?”
Em complemento à questão anterior, perguntamos se eles se
sentiriam estimulados com a apresentação dos pontos e
medalhas em seus perfis dentro do Moodle IMD; se eles
prefeririam a visualização privada, em que apenas o dono
daquele perfil consegue visualizar os elementos, ou se
prefeririam que todos os usuários visualizassem suas
conquistas.</p>
      <p>Figura 15. Gráfico representando as respostas da questão: “Se
seu perfil apresentasse, para você (azul) e para todos
(vermelho), o número de pontos e as medalhas que você
conquistou, seria algo motivador?”.</p>
      <p>Como resultado, a grande maioria concordou
completamente (42,4%) que se sentiria estimulado se a
visualização fosse apenas para ele, ou seja, privada;
enquanto que as respostas da segunda pergunta não
sofreram grandes variações, sendo que 25,3% afirmou ser
indiferente ao questionamento, 23,2% concordou e 27,3%
concordou completamente. No gráfico da figura 15
podemos visualizar melhor os dados dessas perguntas.
CONCLUSÃO
Sabemos que muitos sistemas fornecem diversas
ferramentas para a interação social que poderiam promover
a colaboração entre seus usuários. No entanto, mesmo com
a existência dessas ferramentas, a colaboração não ocorre
de forma intensiva, muitas vezes por falta de estímulo na
utilização dessas ferramentas. A pesquisa reportada nesse
artigo faz parte de um projeto sobre técnicas de motivação
para aumentar a colaboração entre os usuários de sistemas
de informação. Em particular, este artigo reporta um estudo
específico sobre a aplicação de mecanismos de motivação
baseados em reconhecimento e recompensas para um
ambiente virtual de aprendizado baseado no Moodle. A
pesquisa iniciou-se com a aplicação de questionários para
investigar o grau de colaboração existente na versão atual
do sistema. Em seguida, a partir de uma pesquisa
bibliográfica foram estudadas algumas teorias relacionadas
a motivação e foram analisadas as técnicas existentes:
aquelas que são baseadas em reconhecimento (técnicas
sociais) e aquelas que são baseadas em recompensas
(técnicas de gamificação).</p>
      <p>Na segunda parte da pesquisa, fizemos o redesign de
algumas ferramentas utilizadas no Moodle IMD de forma a
incorporar algumas destas técnicas. Em seguida, aplicamos
questionários com o usuários para avaliar a interpretação
que eles fazem dos ícones utilizados. Os resultados
mostraram que a grande maioria dos botões (ícones) está de
acordo com a reação indicada, e que os alunos sentiram-se
estimulados a utilizarem esses botões. Entretanto, como
vimos, mesmo que pela análise dos fóruns tenhamos
percebido que as reações sugeridas são as mais utilizadas,
os alunos afirmam não sentirem interesse em utilizar
frequentemente todas as reações. Dessa forma,
precisaremos reanalisar os botões propostos, para
relacionálos melhor com as respostas dos alunos. Com isso
esperamos que a utilização deles nos fóruns do Moodle
IMD seja mais frequente, pois eles permitem dar um
feedback aos usuários mais rapidamente sobre a relevância
dos tópicos e comentários cadastrados, aumentando assim a
colaboração dentro dos fóruns.</p>
      <p>Os resultados indicam que a maioria dos alunos sentiram-se
motivados com a utilização do mecanismo de pontos,
medalhas e rankings. Entretanto, uma parte dos alunos não
concorda com isso, mostrando que a aplicação desses
elementos no Moodle IMD deve ser melhor estruturada,
levando em consideração as respostas dos alunos, pois esses
elementos estão sendo aplicados para motivá-los. Esse
ponto será objeto de um novo estudo.</p>
      <p>Na próxima etapa desta pesquisa, iremos coletar dados
quantitativos e qualitativos diretamente do sistema para
analisar o grau de participação dos alunos através do uso
dos botões de reação e das respostas aos tópicos postados
nos fóruns. Vamos também medir, em uma experiência
independente, a influência que o ranking possui nos
estudantes, inicialmente mostrado apenas aos alunos e
posteriormente mostrado publicado a todos os usuários do
sistema.</p>
      <p>Analisaremos ainda, através de técnicas de mineração de
texto e análise linguística se há de fato colaboração nas
mensagens trocadas entre os estudantes e se os estudantes
envolvidos nesta colaboração conseguiram melhores
resultados (notas).</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Ajzen</surname>
            ,
            <given-names>I.</given-names>
          </string-name>
          (
          <year>1991</year>
          ).
          <article-title>The theory of planned behavior</article-title>
          .
          <source>Organizational Behavior and Human Decision Processes</source>
          <volume>50</volume>
          ,
          <fpage>179</fpage>
          -
          <lpage>211</lpage>
          (
          <year>1991</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Beer</surname>
            <given-names>C.</given-names>
          </string-name>
          ;
          <string-name>
            <surname>Clark</surname>
            <given-names>K.</given-names>
          </string-name>
          ;
          <string-name>
            <surname>Jones</surname>
            <given-names>D.</given-names>
          </string-name>
          (
          <year>2010</year>
          )
          <article-title>Indicators of engagement. In Curriculum, technology and transformation for an unknown future</article-title>
          .
          <source>ASCILITE 2010 Proceedings</source>
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <given-names>Da</given-names>
            <surname>Cunha</surname>
          </string-name>
          ,
          <string-name>
            <given-names>L.</given-names>
            ;
            <surname>Gasparini</surname>
          </string-name>
          ,
          <string-name>
            <surname>I.</surname>
          </string-name>
          ; Berkenbrock,
          <string-name>
            <surname>C.</surname>
          </string-name>
          (
          <year>2013</year>
          ).
          <article-title>Investigando o uso de gamificação para aumentar o engajamento em sistemas colaborativos</article-title>
          .
          <source>Anais do V Workshop sobre Aspectos da Interação Humano-Computador na Web Social (WAIHCWS'13)</source>
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Fardo</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          . (
          <year>2013</year>
          )
          <string-name>
            <given-names>A</given-names>
            <surname>Gamificação Aplicada Em Ambientes De Aprendizagem. RENOTE - Revista Novas</surname>
          </string-name>
          <article-title>Tecnologias na Educação</article-title>
          . v.
          <volume>11</volume>
          , n 1.
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Fredricks</surname>
            ,
            <given-names>J. A.</given-names>
          </string-name>
          ;
          <string-name>
            <surname>Blumenfeld P. C.; Paris</surname>
            <given-names>A. H.</given-names>
          </string-name>
          (
          <year>2004</year>
          ).
          <article-title>School Engagement: Potential of the Concept, State of the Evidence</article-title>
          .
          <source>Review of Educational Research</source>
          <volume>74</volume>
          :
          <fpage>59</fpage>
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Grant</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Betts</surname>
            ,
            <given-names>B. .</given-names>
          </string-name>
          (
          <year>2013</year>
          ).
          <article-title>Encouraging user behaviour with achievements: An empirical study</article-title>
          .
          <source>Proceedings of the 10th IEEE Working Conference on Mining Software Repositories.</source>
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Hamari</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Koyvisto</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          (
          <year>2013</year>
          ).
          <article-title>Social motivations to use gamification: an empirical study of gamifying exercise</article-title>
          .
          <source>Proceedings of the 21st European Conference on Information Systems.</source>
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Jaques</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          (
          <year>1997</year>
          ).
          <article-title>Um Experimento com Agentes de Software para Monitorar a Colaboração em Aulas Virtuais</article-title>
          . Revista Brasileira de Informática na Educação.
          <source>N. 7.</source>
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Preece</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          (
          <year>2001</year>
          ).
          <article-title>Sociability and usability in online communities: Determining and measuring success</article-title>
          .
          <source>Behaviour &amp; Information Technology.</source>
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Ryan</surname>
            <given-names>R.M.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Deci</surname>
            <given-names>E.L.</given-names>
          </string-name>
          (
          <year>2000</year>
          ).
          <article-title>Self-determination theory and the facilitation of intrinsic motivation, social development, and well being</article-title>
          .
          <source>America Psychologist</source>
          . Vol
          <volume>55</volume>
          . No 21.
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Seixas</surname>
            ,
            <given-names>R.G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Alex</surname>
            <given-names>S.F</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ivanildo</surname>
            <given-names>J.M.</given-names>
          </string-name>
          (
          <year>2014</year>
          ).
          <article-title>Gamificação como Estratégia no Engajamento de Estudantes do Ensino Fundamental</article-title>
          .
          <source>Anais do Simpósio Brasileiro de Informática na Educação</source>
          . Vol.
          <volume>25</volume>
          . No.
          <volume>1</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Vassileva</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          (
          <year>2012</year>
          ).
          <article-title>Motivating participation in social computing applications: A user modeling perspective. User Modeling and User-Adapted Interaction</article-title>
          .
          <source>April</source>
          <year>2012</year>
          , Volume
          <volume>22</volume>
          , Issue 1, pp
          <fpage>177</fpage>
          -
          <lpage>201</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Aires</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ;
          <string-name>
            <surname>Leite</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          (
          <year>2016</year>
          ) Implementação de Técnicas de
          <article-title>Motivação para Estimular a colaboração em Sistemas Web: Um Estudo de Caso com o Moodle IMD Congresso de Iniciação Científica</article-title>
          . UFRN.
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>