<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Uma Investigação da Relação entre Valores Humanos e a Intenção Emocional do Usuário em suas postagens no Twitter</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Denilson C Oliveira</string-name>
          <email>denoliveira@edu.unifor.br</email>
          <xref ref-type="aff" rid="aff0">0</xref>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Elizabeth S. Furtado</string-name>
          <email>elizabet@unifor.br</email>
          <xref ref-type="aff" rid="aff0">0</xref>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Marilia S. Mendes</string-name>
          <email>marilia.mendes@ufc.br</email>
          <xref ref-type="aff" rid="aff0">0</xref>
          <xref ref-type="aff" rid="aff2">2</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Anais do VIII Workshop sobre Aspectos da Interação Humano-Computador na Web Social</institution>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>PPGIA. Universidade de Fortaleza (Unifor)</institution>
          ,
          <addr-line>Fortaleza, CE -</addr-line>
          <country country="BR">Brasil</country>
        </aff>
        <aff id="aff2">
          <label>2</label>
          <institution>Universidade Federal do Ceará (UFC)</institution>
          ,
          <addr-line>Russas, CE -</addr-line>
          <country country="BR">Brasil</country>
        </aff>
      </contrib-group>
      <fpage>58</fpage>
      <lpage>69</lpage>
      <abstract>
        <p>The UX evaluation, using user´s texts, has recently been performed by IHC researchers. However, they invite the user to write about their usage experience and then analyze their texts in order to investigate the UX in the evaluated system. Although these evaluations investigate, from the identification of the context of use of the system to the identification of UX goals to evaluate a system, the spontaneous reporting of its users are unreasonable: the human values (personal and social) expressed in users' texts, and; their intention to report their use in the system. In this paper, an investigation is conducted to evaluate UX in 3,880 posts extracted from Twitter, considers users' spontaneous experience reports, investigating: there is a relationship between the user's intention to report their use in the system and the values expressed by them during an interaction? Results of this paper showed there is a relationship between the user's intention of emotion to post a message about the system and her/his values that can be important to the analysis of UX.</p>
      </abstract>
      <kwd-group>
        <kwd>Human Computer Interaction</kwd>
        <kwd>User experience</kwd>
        <kwd>Usability</kwd>
        <kwd>Social Systems</kwd>
        <kwd>Emotional Analysis</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>
        A norma ISO 9241-210 [
        <xref ref-type="bibr" rid="ref25">25</xref>
        ] define a experiência do usuário (User eXperience, UX) em percepções e
respostas das pessoas, resultantes do uso e/ou uso antecipado de um produto, sistema ou serviço. A norma
ressalta que a UX inclui todas as crenças, preferências, percepções, respostas físicas e psicológicas,
comportamentos, realizações do usuário e suas emoções, ocorridas antes, durante e depois do uso [
        <xref ref-type="bibr" rid="ref25">25</xref>
        ].
Avaliar a emoção do usuário, no momento da interação, é uma das formas de avaliar a UX, e ela é
geralmente desconsiderada ao se avaliar a satisfação do usuário [
        <xref ref-type="bibr" rid="ref14">14</xref>
        ]. Dentre as definições para emoção,
mostradas na seção fundamentação teórica deste artigo, destaca-se a de [
        <xref ref-type="bibr" rid="ref15">15</xref>
        ] que indica que as emoções são
sentimentos humanos que surgem de encontros com produtos, tendo consequências benéficas ou
prejudiciais para as preocupações do indivíduo, seus principais objetivos, motivos, bem-estar ou outras
sensibilidades [
        <xref ref-type="bibr" rid="ref15">15</xref>
        ].
      </p>
      <p>
        Em [
        <xref ref-type="bibr" rid="ref16 ref40">16, 40</xref>
        ], técnicas, métodos e ferramentas de avaliação da UX são classificados em medidas verbais e
não verbais. Medidas não verbais são consideradas discretas, podem ser subjetivas, independente de
linguagem, como a avaliação por expressões faciais [
        <xref ref-type="bibr" rid="ref14">14</xref>
        ]. As medidas verbais são aquelas em que o usuário
explicitamente fala o que está sentindo, ou ainda, utiliza palavras escritas para verbalizar suas emoções
[
        <xref ref-type="bibr" rid="ref46">46</xref>
        ]. Esse tipo de avaliação da UX, por textos dos usuários, vem sendo recentemente trabalhado por
pesquisadores de IHC [
        <xref ref-type="bibr" rid="ref24 ref30 ref34 ref36 ref44">24, 30, 34, 36, 44</xref>
        ].
      </p>
      <p>
        Em [
        <xref ref-type="bibr" rid="ref7 ref8 ref9">7, 8, 9</xref>
        ], os autores deste artigo investigaram se os usuários de Sistemas Sociais (SS), como o Facebook
e o Twitter, postam mensagens sobre o uso do sistema e observaram que sim, eles descrevem problemas
nas funcionalidades, suas dificuldades de uso, fazem elogios, críticas, pedem ajuda, etc. no próprio sistema,
durante o seu uso. Essas postagens revelaram relatos de experiências que continham suas emoções ocorridas
antes (motivação de usar o sistema), durante (erros ocorridos no momento do uso) e após o uso (reflexão
do uso) do sistema utilizado. Diferente dos outros trabalhos de avaliação textual, em que os usuários são
solicitados a escreverem sobre sua experiência, estas postagens são espontâneas e relatam as percepções do
usuário sobre o sistema durante seu uso. Em [
        <xref ref-type="bibr" rid="ref9">9</xref>
        ], os autores observaram que os usuários, quando escreviam
Postagens Relacionadas ao Uso (PRUs) no sistema, tinham objetivos diferenciados, como: desabafar,
encontrar uma solução ou mesmo sugerir a melhoria do sistema. Tais postagens revelaram um
relacionamento desses objetivos com o modelo emocional de Norman [
        <xref ref-type="bibr" rid="ref33">33</xref>
        ], relacionando a intenção do
usuário (desabafar, encontrar uma solução ou sugerir melhorias no sistema) aos três níveis de design de
Norman: Visceral, Comportamental e Reflexivo. A avaliação emocional em PRUs relatada, denominada
de avaliação por intenção [
        <xref ref-type="bibr" rid="ref10">10</xref>
        ], disse respeito a identificar que postagens eram viscerais, comportamentais
ou reflexivas. Um fato importante nos motivou a estender tal investigação: emoção é um tipo de valor
humano pessoal [
        <xref ref-type="bibr" rid="ref38">38</xref>
        ], dentre outros tipos de valores pessoais (autonomia, privacidade, afeto, etc.) e sociais
(colaboração, compartilhamento, propriedade, etc.) [
        <xref ref-type="bibr" rid="ref41">41</xref>
        ]. Porém, até agora, não identificamos na literatura
uma associação implícita entre a avaliação por intenção obtida a partir dos conceitos de Norman [
        <xref ref-type="bibr" rid="ref33">33</xref>
        ] e a
avaliação por valores, fazendo uso das postagens do usuário em SS.
      </p>
      <p>O desafio de realizar uma avaliação de UX, nestas perspectivas, levanta a seguinte pergunta a ser
investigada: existe relação entre os valores (sociais e pessoais) do usuário e sua intenção emocional, ambos
expressos em PRUs, descritas durante sua interação com o SS?
Este trabalho objetiva apresentar uma investigação para responder essa pergunta a partir da análise de 3.880
postagens de usuários extraídas do Twitter. Alguns resultados deste trabalho foram: Os resultados
mostraram que estudar esta relação pode ajudar nas seguintes situações: i) avaliação da satisfação do
usuário; ii) identificação de problemas de qualidade de uso; e iii) análise de sugestões ou soluções de
problemas em UX.</p>
      <p>Este artigo está organizado da seguinte forma: na próxima seção é apresentada a fundamentação teórica,
com conceitos de avaliação da UX, modelo emocional de Norman, valores humanos e as formas de
classificação destes. Em seguida, é apresentada a investigação realizada, trabalhos relacionados, discussão
e conclusão.
2.</p>
    </sec>
    <sec id="sec-2">
      <title>Fundamentação Teórica</title>
      <p>Esta seção apresenta os conceitos relacionados aos estudos dos SS sob a ótica dos valores humanos,
apresentados nas seguintes subseções: 1) avaliação da UX e o modelo emocional de Norman; 2)
classificação de PRUs por intenção; 3) valores humanos; e 4) classificação de PRUs por valores.
2.1</p>
      <sec id="sec-2-1">
        <title>Avaliação da UX e o modelo emocional de Norman</title>
        <p>
          A avaliação da UX compreende as emoções expressas pelos usuários antes, durante e depois de sua
interação com um sistema [
          <xref ref-type="bibr" rid="ref13 ref17 ref2 ref42 ref5">2, 5, 13, 17, 42</xref>
          ]. As emoções são um fator importante da vida e desempenham
um papel essencial para entender o comportamento do usuário em sua interação com o computador [
          <xref ref-type="bibr" rid="ref2">2</xref>
          ].
Bargas-Avila e seus colegas [
          <xref ref-type="bibr" rid="ref3">3</xref>
          ] afirmam que existem dezenas de emoções, como raiva, desprezo,
entusiasmo, inveja, medo, frustração, decepção, vergonha, nojo, felicidade, ódio, esperança, ciúme, alegria,
amor, orgulho, surpresa e tristeza. Ekman [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ], por outro lado, limita a quantidade de emoções em seis
emoções básicas: felicidade, tristeza, surpresa, medo, nojo e raiva, considerando que as demais são
combinações dessas. Voeffray [
          <xref ref-type="bibr" rid="ref45">45</xref>
          ] considera que emoções positivas e negativas influenciam o consumo
de produtos e a compreensão do processo de decisão, sendo cruciais para medir a expressão emocional.
Os autores de [
          <xref ref-type="bibr" rid="ref32 ref35">32, 35</xref>
          ], em seus estudos sobre emoção, caracterizaram o comportamento afetivo dos seres
humanos em três níveis de estrutura do cérebro: 1) o nível visceral, automático ou pré-programado, faz
julgamentos rápidos, como o que é bom ou ruim, seguro ou perigoso; 2) o nível comportamental, que se
refere aos processos cerebrais que controlam a maior parte de nossas ações e; 3) o nível reflexivo, que se
refere à interpretação, compreensão, raciocínio e à parte contemplativa do cérebro [
          <xref ref-type="bibr" rid="ref36">36</xref>
          ]. Ao trabalhar alguns
desses conceitos para o projeto e avaliação de sistemas interativos, [
          <xref ref-type="bibr" rid="ref43">43</xref>
          ] concentra-se na interação
emocional, que é a forma como o usuário se sente e reage ao interagir com as tecnologias. Norman [
          <xref ref-type="bibr" rid="ref33">33</xref>
          ]
associou esses três níveis do processamento humano a aspectos do design. O design visceral diz respeito às
aparências — ao primeiro impacto causado por um produto. O design comportamental diz respeito ao uso
sob o ponto de vista objetivo e refere-se à função que o produto desempenha, à eficácia com que cumpre
sua função, à facilidade com que o usuário o compreende e o opera e demais aspectos relacionados ao modo
como o produto “se comporta” junto ao usuário. O design reflexivo, por sua vez, considera a racionalização
de um produto, a memória afetiva e os significados atribuídos aos produtos e a seu uso. A Tabela 1 resume
as características apresentadas pelo autor para os três níveis de processamento.
        </p>
      </sec>
      <sec id="sec-2-2">
        <title>Twitter</title>
        <p>
          Tabela 1. Características apresentadas por Norman [
          <xref ref-type="bibr" rid="ref33">33</xref>
          ] para os três níveis de processamento.
        </p>
        <p>Nível</p>
        <sec id="sec-2-2-1">
          <title>Visceral</title>
        </sec>
        <sec id="sec-2-2-2">
          <title>Comportamental</title>
        </sec>
        <sec id="sec-2-2-3">
          <title>Reflexivo</title>
          <p>Características apresentadas por Norman
aparência, “primeiro impacto causado por um produto”, “primeiras impressões”, “manifesta
no tempo presente”, atração
“efetividade do uso”, “função que o produto desempenha”, “eficácia com que o produto
cumpre sua função”, “facilidade com que o usuário compreende e opera o produto”, “como
o produto se ‘comporta’ com o usuário”, função, desempenho, usabilidade, uso, “manifesta
no tempo presente”, utilidade
“memória afetiva”, “particularidades culturais e individuais”, pessoal, lembranças,
consciência, afeto, racionalização, inteligibilidade, “ponto de vista subjetivo”, “estende-se
por muito tempo”, “envolve sentimentos”
2.2</p>
        </sec>
      </sec>
      <sec id="sec-2-3">
        <title>Classificação de PRUs para a análise da Intenção emocional do Usuário</title>
        <p>
          Como descrito na introdução, adota-se a classificação de PRUs por intenção [
          <xref ref-type="bibr" rid="ref10 ref9">9, 10</xref>
          ] para representar a
perspectiva da análise emocional de Norman em PRUs. Em [
          <xref ref-type="bibr" rid="ref9">9</xref>
          ], com base no entendimento da Tabela 1,
foi realizada uma investigação em PRUs do Twitter; sendo PRU uma postagem relacionada ao uso do
sistema, como: “{User} pequeno erro do twitter aqui, ignore kkkkk”. Não-PRUs foram descartadas. Uma
Não-PRU pode possuir conteúdo com assuntos diversos, mas não relacionado ao uso do SS, como: “o
capítulo passou ontem e não vi”.
        </p>
        <p>Como resultado da investigação em PRUs, foi observado que os usuários manifestam seu sentimento em
relação ao sistema ou em relação a algum erro do sistema. Na Tabela 2, são apresentados exemplos e
porcentagem das PRUs classificadas com a presença e ausência (ou neutro) de sentimento no SS.
Tabela 2. Classificação das PRUs de acordo com o sentimento percebido</p>
      </sec>
      <sec id="sec-2-4">
        <title>Com sentimento</title>
      </sec>
      <sec id="sec-2-5">
        <title>Neutras</title>
        <p>
          “Adooooooooooro quando eu quero fazer “Meu Twitter está com um problema. Ele não
minhas postagens e o servidor dá erro!” me deixa por gif no icon.”
“ODEIO a nova interface do Twitter!!!”
“Quando teremos a opção editar no Twitter?
Sempre erro tudo e só vejo depois de
publicado”
Os autores [
          <xref ref-type="bibr" rid="ref9">9</xref>
          ] mostraram que os usuários manifestam seu sentimento em relação ao sistema ou em relação
a algum erro do sistema, mas nem sempre especificam esse erro. Pode ser somente um desabafo, em uma
postagem impulsiva, com o objetivo principal de representar o que ele sentiu naquele momento. Também
foi apresentado que, quanto mais o usuário expressa o sentimento em uma postagem, menos ele demonstra
o interesse em obter uma solução; do contrário, quando ele foca em obter uma solução, ele não demonstra
tanto sentimento [
          <xref ref-type="bibr" rid="ref9">9</xref>
          ].
        </p>
        <p>
          Esta análise requer uma explicação sobre a relação entre sentimento e emoção. Xavier [
          <xref ref-type="bibr" rid="ref46">46</xref>
          ] define
sentimento como um dos componentes da emoção, não representando o estado emocional de um indivíduo,
mas uma atribuição verbal que uma pessoa faz sobre um episódio emocional. O sentimento é a interpretação
consciente que o indivíduo realiza sobre o que ele sente no momento, e que é transmitida de uma maneira
verbal, por exemplo, quando uma pessoa diz que se sente “feliz” por ter conseguido fazer uma compra na
Internet ou que está “frustrada” por não conseguir se conectar à internet [
          <xref ref-type="bibr" rid="ref46">46</xref>
          ]. Na análise de sentimento,
além de verificar se uma sentença é subjetiva ou objetiva, é importante verificar a sua polaridade a fim de
classificá-la em positiva ou negativa.
Neste trabalho, não foi avaliado o sentimento do usuário expresso nas postagens, como: feliz, frustrado, e
sim a sua intenção emocional ao postar aquela mensagem: se ele queria desabafar, expressar seus
sentimentos em relação ao sistema ou relatar um problema ou funcionalidade do sistema, assim como, as
características levantadas por Norman [
          <xref ref-type="bibr" rid="ref33">33</xref>
          ] para os níveis de design (Tabela 1). Seguindo o processo da
avaliação emocional, em [
          <xref ref-type="bibr" rid="ref10">10</xref>
          ], foi feita uma classificação de PRUs nas categorias: visceral, comportamental
e reflexiva, cujas diretrizes são apresentadas na seção 3.2.
2.3
        </p>
      </sec>
      <sec id="sec-2-6">
        <title>Valores humanos</title>
        <p>
          Segundo Frankena [
          <xref ref-type="bibr" rid="ref20">20</xref>
          ], desde o tempo de Platão, o discurso orientado ao valor tem variado para enfatizar
o bem, o fim, o direito, a obrigação, a virtude, o juízo moral, o juízo estético, a beleza, a verdade e a
validade. Considerando a área de IHC e, em específico, o design, Friedman e seus colegas [
          <xref ref-type="bibr" rid="ref21">21</xref>
          ] definem
valor como algo importante para uma pessoa ou grupo de pessoas. Segundo Folmer e seus colegas [
          <xref ref-type="bibr" rid="ref19">19</xref>
          ], o
conceito de valor parece ser capaz de unificar os diversos interesses aparentemente diversos das ciências
relacionadas ao comportamento humano. Em [
          <xref ref-type="bibr" rid="ref38">38</xref>
          ] os autores propõem 10 valores pessoais (autonomia,
confiança, consentimento informado, emoção e afeto, identidade, presença, privacidade, reciprocidade,
reputação e visibilidade) e 8 valores sociais NRP (Normas, Regras, Política), colaboração,
compartilhamento, conversação, grupo, objeto, relacionamento e propriedade). Schwartz [
          <xref ref-type="bibr" rid="ref42">42</xref>
          ] descreve os
valores pessoais como desejáveis metas inter-situacionais que variam em importância e que servem de
princípios orientadores na vida de uma pessoa. Em [
          <xref ref-type="bibr" rid="ref26">26</xref>
          ], Johnston afirma que os valores sociais devem
surgir a partir de duas áreas de prática: a primeira diz respeito aos valores sociais surgirem a partir do
domínio dos profissionais dos indivíduos; e, em segundo lugar, o foco em “lugares significativos”. Os
autores categorizam estes lugares em: lugares públicos e privados; pontos de reunião; lugares de
entretenimento. Exemplos de valores sociais que podem ser expressos a partir da interação entre dois ou
mais indivíduos nestes lugares seriam: regras/normas, relacionamento, grupo, propriedade, etc.
Rokeach [
          <xref ref-type="bibr" rid="ref41">41</xref>
          ] ressalta a importância em analisar esses valores em um SS para avaliar os valores técnicos
(p. ex., acessibilidade, adaptabilidade, aparência, awareness, disponibilidade, escalabilidade, portabilidade,
segurança e usabilidade) de tal sistema. A importância dos valores humanos para o desenvolvimento de um
produto ou mesmo sua avaliação quando este já estiver em uso é ressaltada em [
          <xref ref-type="bibr" rid="ref12">12</xref>
          ] por avaliar redes sociais
online do ponto de vista de valores humanos. Esses valores técnicos são as medidas de qualidade em uso.
Em [
          <xref ref-type="bibr" rid="ref5">5</xref>
          ], os autores ampliaram esta conceituação, incluindo 4 tipos de valores pessoais: responsabilidade
social, conhecimento, religiosidade e prestígio. Esses tipos de valores, detalhados em [
          <xref ref-type="bibr" rid="ref5 ref6">5, 6</xref>
          ], serão
considerados para a análise deste artigo.
2.4
        </p>
      </sec>
      <sec id="sec-2-7">
        <title>Classificação de PRUs por valores</title>
        <p>
          Os autores de [
          <xref ref-type="bibr" rid="ref6">6</xref>
          ] analisaram a expressão dos valores pessoais e sociais supramencionados nas postagens a
fim de ter outra fonte de conhecimento para auxiliar na avaliação da qualidade de UX em SS. Eles foram
motivados pelo fato de autores [
          <xref ref-type="bibr" rid="ref38">38</xref>
          ] terem mostrado a existência de algumas medidas de qualidade em uso,
e detalhando conflitos e dependências entre valores, tais como: detalhamento de motivos que explicam o
conflito entre os valores pessoais de visibilidade e privacidade; e os relacionamentos dos valores técnicos
de usabilidade, acessibilidade e adaptabilidade para garantir o valor pessoal de autonomia.
Em [
          <xref ref-type="bibr" rid="ref6">6</xref>
          ], 2.800 postagens do Twitter foram classificadas em valores pessoais e sociais, obtendo-se 690 PRU
com valores. A metodologia de classificação colaborativa se baseou na formalização de cada valor,
apresentada sob o uso dos fundamentos matemáticos da teoria dos conjuntos, e construída usando os
elementos gramaticais das postagens. Um dos resultados mostrou que toda PRU expressa um ou mais
valores. Alguns exemplos de PRUs com valores associados são dados a seguir [sic]:
● Pessoal de Autonomia: “atualizei meu twitter mais uma vez e até”;
● Pessoal de Confiança: “Essa coisa do Twitter dar deslike nos tweets que eu dei likes, vamos parar
por favor.”;
● Pessoal de consentimento informado: “que palhaçada é esse do twitter querer publicar meu icon”;
● Pessoal de Emoção e Afeto: “{User} #FutureNowNoFebreTeen eu tô ficando com raiva desse
        </p>
        <p>Twitter porque ele nunca funciona quando eu quero”;
● Pessoal de Identidade: “Quero trocar minha foto de perfil e de capa do twitter, mais nunca consigo
?” ;
● Pessoal de Privacidade: “Que saco isso do Twitter ficar notificando tweet alheio”;
● Pessoal de Reciprocidade: “Conheça as novas funcionalidades que irão tornar o Twitter mais
seguro. &lt;br/&gt; Só clicar e ir ao nosso blog post: {URL}”;
● Pessoal de conhecimento: “galera, hackearam meu twitter, tao mandando msg pra todo mundo
seguindo todo mundo, os cara ta xingando ate inscritos, oq eu faço?”, expressando problema de
segurança.</p>
        <p>
          O que torna este artigo diferente é o fato da avaliação por intenção, baseada nos estudos de Norman [
          <xref ref-type="bibr" rid="ref33">33</xref>
          ],
ainda não ter sido relacionada com essa referida abordagem. Assunto da próxima investigação.
3.
        </p>
      </sec>
    </sec>
    <sec id="sec-3">
      <title>Investigação Proposta e Realizada</title>
      <p>Esta seção apresenta os dados usados na pesquisa, o processo de classificação das postagens e os resultados
obtidos.</p>
      <p>
        Dados
2. Processo de Classificação
O SS investigado foi o Twitter1 e no período entre 17/01 à 14/02 de 2017 foram extraídas 3.880 postagens,
utilizando uma ferramenta de extração de postagens [
        <xref ref-type="bibr" rid="ref10">10</xref>
        ].
      </p>
      <p>A classificação de todas as postagens foi realizada por dois avaliadores: um estudante de graduação em
computação e um professor de IHC e ocorreu no período: 18/01 a 14/04 de 2017. Em caso de dúvidas na
classificação, houve consulta a um pesquisador em IHC. Foram realizadas quatro categorias de
classificação, na seguinte ordem:</p>
      <p>I) Classificação das postagens em PRUs e Não-PRUs;
II) Classificação por intenção em Visceral, Comportamental ou Reflexiva;
III) Classificação das postagens em valores pessoais. Neste tipo de classificação, uma postagem pode
possuir mais de um valor pessoal. Outro fato importante é que a classificação em um valor pode
possuir um viés positivo ou negativo, por exemplo, valor de confiança positivo: “é por isso que sou
fã do twitter, aqui nunca cai... diferente do facebook e do instagram q vivem caindo!!” e valor de
confiança negativo (desconfiança): “Travou o Twitter aqui...”;
IV) Classificação das postagens em valores sociais. Neste tipo de classificação, uma postagem também
pode possuir mais de um valor social.</p>
      <p>As diretrizes para as classificações analíticas das PRUs por intenção em Visceral, Comportamental ou
Reflexiva são as seguintes:
● Uma PRU é visceral se: possui maior intensidade de sentimentos, geralmente para criticar ou
elogiar o sistema. Está relacionada principalmente à atração e às primeiras impressões. Não
contém detalhes do uso e nem de funcionalidades do sistema. São exemplos: “Tô xatiada com este
Twitter que tá dando erro toda hora :(”; e “Meu Twitter não funciona que {palavrão}”;
● Uma PRU é comportamental se: possui menor intensidade de sentimentos e também é
caracterizada por sentenças objetivas, que contém detalhes do uso, ações efetuadas,
funcionalidades, etc. Por exemplo: “Twitter, qual o seu problema!!! Por que você não deixa eu
usar o ponto de interrogação!!!!”; e “muito legal isso de poder dar enter no Twitter” e;
● Uma PRU é reflexiva se: caracteriza-se por ser subjetiva, apresentar afeto ou uma situação de
reflexão sobre o sistema. Exemplos: “Sabe o que eu sinto falta no Twitter? Uma maneira fácil de
encontrar os primeiros Tweets de cada conta."; “Sugestão para o Twitter: colocar um botão de
edição. Assim, não precisaremos apagar tudo porque erramos algo.”; e “Acho que eu to amando
mais o Twitter que o face, lá eu nao me expresso tanto assimmm *-*”.</p>
      <p>
        As diretrizes para as classificações analíticas das PRUs que expressão valores por intenção em
Visceral, Comportamental ou Reflexiva são as seguintes: i) seguir inicialmente as definições dos
conceitos sobre valores apresentados em [
        <xref ref-type="bibr" rid="ref5 ref6">5, 6</xref>
        ]; e ii) determinar padrões de classificação das postagens
considerando os conceitos (p. ex., verificar a existência de um link, de “http” para classificar com o
valor social de compartilhamento).
1 Twitter. Disponível em: https://twitter.com/. Acessado em 30 de agosto de 2017.
      </p>
      <p>Resultados
A quantidade por categoria classificada para os 22 valores humanos considerados foi a seguinte:
● 367 PRUs e 3513 Não-PRUs;
● 118 PRUs do tipo Visceral, 168 do tipo Comportamental e 81 do tipo Reflexiva;
● 589 PRUs com 8 valores pessoais; e
● 470 PRUs com 5 valores sociais.
3.1.</p>
      <sec id="sec-3-1">
        <title>Análise dos Resultados</title>
        <p>Esta seção apresenta a análise dos resultados em dois aspectos: a) relação entre valores pessoais e sociais
e; b) relação entre as classificações por intenção emocional do usuário e por valores.</p>
      </sec>
      <sec id="sec-3-2">
        <title>a) Relação entre valores pessoais e sociais</title>
        <p>Este tipo de análise foi realizada a fim de ilustrar que todas as PRUs tem algum tipo de valor e que toda
PRU com Emoção e Afeto se relaciona com todos os tipos de valores sociais.</p>
        <p>Exemplos de relacionamento do valor pessoal de Emoção e afeto com valores sociais são:
 Emoção e afeto X NRP: “{User} {User} {User} {User} {User} não leio textao no Twitter. Aqui os
argumentos tem que caber em 140 caracteres..kkkk”;
 Emoção e afeto X compartilhamento: “Se o Twitter ficar assim eu desisto {URL}”
 Emoção e afeto X conversação: “{User} amor, solicita a verificação da conta do twitter aqui.</p>
        <p>{User}”;
 Emoção e afeto X propriedade: “adorei essa atualização do twitter porque separou meus tweets e
minhas respostas no perfil, deixou tudo mais organizado, meu toc agradece”.</p>
        <p>A Tabela 3 apresenta a quantidade de 589 valores pessoais expressados nas 367 PRUs analisadas e o
relacionamento entre valores pessoais e sociais. É importante destacar que o valor pessoal de Emoção e
afeto, sujeito principal desta investigação, é o valor mais expresso nas postagens (52,1% das 589).</p>
        <p>Tabela 3. Quantidade da expressão de valores sociais nas postagens classificadas em cada valor pessoal.</p>
        <sec id="sec-3-2-1">
          <title>Valores Pessoais</title>
        </sec>
        <sec id="sec-3-2-2">
          <title>Autonomia</title>
          <p>Confiança
Consentimento Informado (CI)
Emoção e Afeto
Conhecimento
Reciprocidade</p>
          <p>Identidade</p>
          <p>Privacidade
TOTAL de valor social
R
rsaeeg (PRNN
P o
lo rm
í
t
iac sa
)</p>
        </sec>
        <sec id="sec-3-2-3">
          <title>Valores Sociais</title>
          <p>
            C
o
n
v
e
r
s
a
ç
ã
o
passando pela sua tl2 {URL}”);
 2 postagens classificadas no valor pessoal de consentimento informado expressam o valor social
de propriedade (p. ex., “que palhaçada é esse do twitter querer publicar meu icon”);
 9 postagens classificadas no valor pessoal de autonomia e Social de conversação (p. ex., “{User}
porque o Twitter funciona melhor no chrome do que no app?”);
 78 postagens classificadas no valor pessoal de confiança e Social de propriedade (p. ex., “mudei a
cor do meu twitter, mas o preto nao quer sair”);
 44 postagens classificadas no valor pessoal de conhecimento e Social de conversação (p. ex.,
“{User} Aqui no Twitter? Aqui também não está carregando as imagens/tweets”).
É importante salientar o fato de todas as postagens possuírem o valor de objeto, o qual é denominado por
[
            <xref ref-type="bibr" rid="ref39">39</xref>
            ] como: “Artefato em torno do qual as interações sociais ocorrem (p. ex., as discussões surgem, o foco
é mantido, as conversas se iniciam, a colaboração acontece etc.)”. Logo consideramos que toda postagem
tem um objetivo, um assunto (p. ex., “pq o pessoal tá reclamado do Twitter, aqui tá normal”, onde pode
considerar que o objeto seria “erros no Twitter”).
          </p>
        </sec>
      </sec>
      <sec id="sec-3-3">
        <title>b) Relação entre as classificações por intenção emocional do usuário e por valores</title>
        <p>A Tabela 4 apresenta os relacionamentos entre as classificações das PRUs por intenção e por valores.
Apenas o valor objeto não foi contabilizado porque ele está presente em todas as postagens e, por isso, não
traz nenhuma particularidade nos estudos. Dos 12 valores identificados nas postagens, os 8 primeiros são
valores pessoais. Importante salientar que a Tabela 4 apresenta a quantidade de valores humanos (p. ex:
tivemos 168 PRUs classificadas com a intenção comportamental do usuário e, nestas postagens, tivemos
260 expressões de valores pessoais e 183 sociais), considerando os resultados do item 3.3.
De uma forma geral, a intenção emocional dos usuários ao relatarem seu uso no SS apresenta uma maior
quantidade de expressão de determinados valores humanos. Um exemplo de leitura de uma das linhas da
Tabela 4, demonstrando a relação da intenção de uso do usuário com valores humanos é: o valor pessoal
de privacidade foi expressado em duas postagens comportamentais e em nenhuma postagem visceral ou
reflexiva, ou seja, 100% da expressão deste valor. Por outro lado, estas duas postagens que expressam esse
valor representam apenas 0,8% da quantidade de expressão de valores pessoais (260) em postagens
comportamentais. Realizando a leitura de uma das colunas, temos 8 postagens que expressam o valor
pessoal de autonomia, representando 4% do total de expressão de valores pessoais (198) em postagens
viscerais. Pode ser verificado a maior expressão do valor pessoal de confiança em postagens viscerais e
comportamentais, e do valor de conhecimento em postagens reflexivas.</p>
        <p>Tabela 4. Expressão dos valores humanos nas postagens viscerais, comportamentais e reflexivas.</p>
        <sec id="sec-3-3-1">
          <title>Classificação por intenção emocional</title>
        </sec>
        <sec id="sec-3-3-2">
          <title>Visceral(V)</title>
          <p>(Qtd / %)</p>
        </sec>
        <sec id="sec-3-3-3">
          <title>Comportamental</title>
          <p>(C) (Qtd / %)</p>
        </sec>
        <sec id="sec-3-3-4">
          <title>Reflexiva (R) (Qtd / %)</title>
          <p>V
a
l
o
r
e
s
P
e
s
s
o
a
i
s
Autonomia</p>
        </sec>
        <sec id="sec-3-3-5">
          <title>Confiança (com e sem)</title>
        </sec>
        <sec id="sec-3-3-6">
          <title>Consentimento Informado 8 / 4% 64 / 32%</title>
          <p>2 tl = timeline (recurso do Twitter que significa "linha do tempo". Aparece na página inicial da maioria dos sites e
aplicativos de redes sociais).
27 / 10%
62 / 24%
2 / 100%</p>
          <p>Percentual do
valor por
intenção
(V; C; R)
15%; 52%;</p>
          <p>33%
17 / 13%
12 / 9,2%</p>
          <p>46%; 45%; 9%
0
1 / 0,4%
2 / 0,8%
A classificação por intenção emocional correlacionada às postagens classificadas por valores pessoais e
sociais ajuda o avaliador de SS a identificar a maior e menor quantidade de expressão de valores humanos.
Para usá-la, o avaliador deve considerar os três objetivos de avaliação descritos como segue.


</p>
          <p>
            Avaliação da satisfação do usuário pode ser feita com as postagens viscerais, que refletem uma
maior satisfação / insatisfação do usuário;
Identificação de Problemas de qualidade em uso: em [
            <xref ref-type="bibr" rid="ref9">9</xref>
            ], as postagens de tipo comportamental
são mais importantes para a identificação dos problemas de uso do sistema em análise. Nesta
investigação a maior porcentagem de problemas de qualidade em uso encontrados (67%) foi na
categoria visceral, seguida por comportamental (43%) e reflexiva (16%). Nas postagens
reflexivas, os usuários tendem a expressar menos seus sentimentos relativos à problemas
enfrentados durante o uso de um SS a ponto de analisarem, por exemplo, se o erro é realmente
do SS;
Análise de sugestões ou soluções: para analisar sugestões ou soluções, as postagens de tipo
reflexivo seriam mais significativas. A análise e verificação das postagens que expressam
problemas de qualidade em uso já seria o suficiente para planejar as soluções. Entretanto, as
possíveis soluções não contemplariam os valores humanos, também expressados nas mesmas
postagens e dúvidas poderiam ser levantadas: a solução para o problema apresentado contempla
o valor humano expressado pelo usuário? Ou ainda, procurando uma melhor receptividade por
parte do usuário, é ideal que a solução contemple o valor pessoal ou social expresso na mesma
postagem que relata o problema de qualidade em uso do SS? Como exemplo, temos a postagem
“nem quero atualizar o twitter porque a cada atualização isto vai ficando pior”, na qual são
expressos os valores pessoais de emoção, desconfiança e os valores sociais de objeto e
propriedade. Neste exemplo, o valor humano pode ser considerado em dois momentos: como
parte da estratégia de solução do problema; ou, após a execução da solução e, em específico, no
retorno ao usuário sobre a resolução do problema. Uma abordagem para o caso seria a de enfatizar
exatamente o que a atualização, a qual o usuário pretende realizar, se propõe a resolver,
detalhando todas as mudanças.
4.
          </p>
          <p>
            Trabalhos Relacionados
Esta seção mostra que, dos trabalhos que usam a opinião dos usuários para avaliar UX, alguns deles [
            <xref ref-type="bibr" rid="ref13 ref17 ref23 ref24 ref30 ref37 ref42">42,
13, 17, 23, 24, 30, 37</xref>
            ] fazem uma análise emocional. Dentre esses, nenhum faz a avaliação da UX por
valores humanos e pela intenção de um usuário ao descrever seu uso no sistema, de forma conjunta.
Para mostrar esta afirmação, esta seção descreve a motivação para a avaliação de UX com PRUs,
especificando em que consiste a intenção do usuário ao escrever uma PRU. Em seguida, os trabalhos que
avaliam SS sob a ótica de valores humanos são apresentados.
          </p>
          <p>
            Dos métodos de avaliação da UX apresentados em [
            <xref ref-type="bibr" rid="ref1">1</xref>
            ], 38 são aqueles nos quais o usuário expressa sua
opinião sobre o sistema. A forma de coleta da opinião do usuário pode ser por questionário (em papel ou
ferramenta), entrevista ou relatos (textos, vídeos). Os questionários podem ser abertos, para que o usuário
responda perguntas sobre seu uso ou pode indicar uma figura ou uma palavra representativa de uma emoção
na lista de emoções apresentadas pelo método.
          </p>
          <p>
            Nos questionários, os usuários não relatam livremente suas opiniões e se as perguntas não forem
bemformuladas ou forem tendenciosas, poderão induzir ou confundir o usuário. Nas entrevistas, os usuários
podem ser influenciados pela presença do entrevistador [
            <xref ref-type="bibr" rid="ref39">39</xref>
            ]. O método Conversa de Câmera Privada [
            <xref ref-type="bibr" rid="ref27">27</xref>
            ]
pretende evitar o viés do entrevistador. Neste método, o participante vai para um estande e fala com a
câmera sobre os tópicos que lhe são atribuídos. A gravação de vídeo pode trazer aspectos mais hedônicos
do que com um entrevistador, porque os participantes querem atuar racionalmente com o entrevistador [
            <xref ref-type="bibr" rid="ref1">1</xref>
            ].
O Estudo do diário de longo prazo [
            <xref ref-type="bibr" rid="ref11">11</xref>
            ] também tenta evitar a influência do entrevistador. Neste caso, um
protótipo do produto é dado aos participantes, que concordam em usá-lo por 6 meses a um ano e relatam
suas experiências e emoções, em intervalos curtos e fixos na forma de entradas no diário [
            <xref ref-type="bibr" rid="ref11">11</xref>
            ]. No entanto,
em todos os casos, o usuário é solicitado a descrever sua experiência de uso, ao contrário da abordagem
sugerida neste artigo, que coleta postagens espontâneas dos usuários em SS.
          </p>
          <p>
            Os dados coletados em avaliações textuais podem revelar o contexto de uso do usuário que escreveu a PRU
[
            <xref ref-type="bibr" rid="ref30">30</xref>
            ], as características da experiência relatada (como a atividade em que o usuário estava envolvido, os
recursos do aplicativo que ajudam ou atrapalham a experiência) [
            <xref ref-type="bibr" rid="ref13">13</xref>
            ], os temas retratados na postagem [
            <xref ref-type="bibr" rid="ref18">18</xref>
            ]
e as metas de UX implicadas na boa ou má experiência [
            <xref ref-type="bibr" rid="ref13">13</xref>
            ]. Tais dados são importantes em uma avaliação,
tanto para saber a satisfação do usuário, quanto problemas no sistema, ou mesmo, o valor agregado do
sistema para o usuário [
            <xref ref-type="bibr" rid="ref9">9</xref>
            ].
          </p>
          <p>
            Alguns autores [
            <xref ref-type="bibr" rid="ref21 ref22 ref28 ref29 ref4">4, 21, 22, 28, 29</xref>
            ] têm relatado a importância dos valores humanos em uma avaliação da
UX. Abordagens para o design e avaliação de um sistema centrado em valor vêm aumentando pela
motivação de que o cliente quer oferecer um serviço, que vai além da sua utilidade, contribuindo para o
bem-estar do indivíduo. O autor de [
            <xref ref-type="bibr" rid="ref21">21</xref>
            ] considera os preceitos deste tipo de abordagem e apresenta
sugestões de design ao avaliar SS do ponto de vista de valores humanos. Em [
            <xref ref-type="bibr" rid="ref31">31</xref>
            ], ferramentas são avaliadas
a partir da percepção dos valores humanos considerados por seus respectivos usuários. Mostramos que a
emoção é um tipo de valor humano pessoal. Mostramos também trabalhos que fazem a avaliação emocional
por intenção. Mas não identificamos trabalhos que tenham investigado a relação entre esses conceitos,
usufruindo da espontaneidade necessária para captar a emoção dos usuários, vinda das postagens do usuário
em SS.
Nesta seção é discutida a investigação realizada em torno dos seguintes itens: a) processo de avaliação; e
b) classificação de postagens em valores humanos, descritos nos próximos dois parágrafos,
respectivamente.
          </p>
          <p>
            Toda avaliação de um SS, realizada a partir da análise de textos dos usuários dependerá de um confiável
processo de validação da classificação destas postagens. Caso os devidos cuidados não sejam tomados, as
informações e conhecimentos construídos durante a análise das postagens pós-processo de classificação
podem não representar a realidade. Esta forma de investigação abre espaço para avaliar sistemas, encontrar
problemas e analisar o usuário. Assim como usá-la para a triangulação de resultados [
            <xref ref-type="bibr" rid="ref5 ref6 ref7">5, 6, 7</xref>
            ]. A triangulação
é uma estratégia de utilizar mais do que uma técnica de coleta ou análise de dados para obter diferentes
perspectivas e confirmar as descobertas, permitindo obter resultados mais rigorosos e válidos. A análise de
textos dos usuários irá fornecer mais uma contribuição na coleta de opiniões dos usuários. A partir das
investigações realizadas foi possível identificar uma correlação entre as perspectivas estudadas aqui, que
podem ser úteis para:
● A coleta de medidas que correlatam intenção emocional e valor, usando até outros instrumentos
de coleta, como questionários, observações, etc;
● O ensino de métodos de avaliação de IHC, considerando as categorias de classificação textual
descritas neste texto.
          </p>
          <p>
            Apresentamos as diretrizes para fazer a classificação de PRUs por valores. Dissemos que definimos padrões
para nos guiar, para alguns valores isto é fácil, para outros existem desafios, tal como o valor pessoal de
Emoção e afeto. O valor pode estar implícito (p. ex, “Twitter mais rápido que minha tartaruga”) ou
explícito (p. ex, “Eu adoro usar o Twitter”). A existência de Emoção e/ou afeto é subjetiva (p. ex., “Quero
trocar minha foto de perfil e de capa do twitter, mas nunca consigo!”), onde um avaliador pode considerar
que não há a expressão de valor de emoção e afeto e outro aferir que o usuário da postagem pode estar
chateado. Em suma, a interpretação da existência de um valor, mesmo usando corretamente seus conceitos,
pode levar à diferentes interpretações.
O artigo se propôs a responder a pergunta relacionada ao desafio de analisar a qualidade em uso de um SS
sob a visão da intenção emocional do usuário norteada por Norman [
            <xref ref-type="bibr" rid="ref33">33</xref>
            ] e a expressão dos valores humanos,
sendo ela: existe relação entre a intenção emocional do usuário com um SS e os valores humanos
expressados?
Foi verificada que toda PRU expressa valores e a intenção do usuário frente à sua interação com o SS
relacionando-as. Foi verificada a maior expressão do valor pessoal de confiança (com e sem) em postagens
viscerais e comportamentais, e do valor de conhecimento em postagens reflexivas. Com a classificação da
intenção de uso do SS, possibilitada pelo modelo de Norman [
            <xref ref-type="bibr" rid="ref33">33</xref>
            ], o avaliador pode entender porque alguns
valores humanos são mais expressos que outros. Os resultados, apresentados neste artigo, direcionam esse
entendimento da seguinte visão: valores humanos que expressam mais emoção e afeto estão mais
vinculados às postagens classificadas em viscerais (p. ex., confiança), enquanto o valor de conhecimento
às reflexivas. Estes relacionamentos precisam ser revistos em novas avaliações para aferir certeza aos
profissionais de IHC.
          </p>
          <p>Considerando este estudo inicial entre classificação por intenção emocional do usuário e valores humanos,
outra pergunta pode ser levantada: um determinado valor humano será sempre mais expresso em postagens
viscerais, comportamentais e reflexivas se comparado a outros? A resposta dependerá de novas análises,
com outras postagens e outros SS. Este desafio norteará os próximos passos desta pesquisa, assim como a
necessidade de rever, a partir de novas análises, os benefícios de considerar este tipo de classificação em
conjunto com os valores.</p>
        </sec>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <given-names>All</given-names>
            <surname>About</surname>
          </string-name>
          <string-name>
            <surname>UX</surname>
          </string-name>
          .
          <article-title>Information for user experience professionals</article-title>
          . Disponível em: &lt;http://www.allaboutux.org/&gt;. Último acesso: 07 setembro de
          <year>2017</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Baranauskas</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Souza</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Pereira</surname>
          </string-name>
          , R..
          <source>In GranDIHC-BR</source>
          , pp.
          <fpage>27</fpage>
          -
          <lpage>30</lpage>
          (
          <year>2012</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Bargas-Avila</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hornbaek</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          :
          <article-title>Old wine in new bottles or novel challenges: a critical analysis of empirical studies of user experience</article-title>
          .
          <source>In CHI '11</source>
          ,
          <string-name>
            <surname>The</surname>
            <given-names>ACM</given-names>
          </string-name>
          Press, pp.
          <fpage>2689</fpage>
          -
          <lpage>2698</lpage>
          (
          <year>2011</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Bedi</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Gove</surname>
          </string-name>
          , N.:
          <article-title>Application of Hippocratic principles for privacy preservation in social network</article-title>
          .
          <source>In Information and Communication</source>
          Technologies (WICT),
          <source>P 95 - 101</source>
          . (
          <year>2012</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Oliveira</surname>
            ,
            <given-names>D. C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Furtado</surname>
            ,
            <given-names>E. S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mendes</surname>
            ,
            <given-names>M. S.</given-names>
          </string-name>
          , (
          <year>2016</year>
          ).
          <article-title>“Do Users Express Values During Use of Social Systems? A Classification of Their Postings in Personal, Social and Technical Values”</article-title>
          .
          <source>In 8th International Conference, SCSM</source>
          <year>2016</year>
          ,
          <article-title>Held as Part of HCI International</article-title>
          . Volume 9742. P 130-140.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Oliveira</surname>
            ,
            <given-names>D. C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Furtado</surname>
            ,
            <given-names>E. S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mendes</surname>
            ,
            <given-names>M. S.</given-names>
          </string-name>
          : MASSVA:
          <string-name>
            <surname>Modelo de Avaliação de Sistemas</surname>
          </string-name>
          <article-title>Sociais sob a ótica dos Valores humanos nas postagens dos usuários</article-title>
          .
          <source>In XIV Simpósio Brasileiro de Sistemas Colaborativos (SBSC)</source>
          , (
          <year>2017</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Mendes</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Furtado</surname>
            ,
            <given-names>E. S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Castro</surname>
            ,
            <given-names>M. F.</given-names>
          </string-name>
          :
          <article-title>Do users write about the system in use?: an investigation from messages in natural language on Twitter</article-title>
          . In
          <string-name>
            <surname>EATIS</surname>
          </string-name>
          , (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Mendes</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Furtado</surname>
            ,
            <given-names>E. S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Furtado</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Castro</surname>
            ,
            <given-names>M. F.</given-names>
          </string-name>
          :
          <article-title>MALTU - A model for evaluating the Usability and User experience from investigations through user postings in social systems</article-title>
          .
          <source>17th International Conference on Human-Computer Interaction (HCII</source>
          <year>2015</year>
          ), Los Angeles, CA, USA, (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Mendes</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Furtado</surname>
            ,
            <given-names>E. S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Furtado</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Castro</surname>
            ,
            <given-names>M. F.</given-names>
          </string-name>
          :
          <article-title>How do users express their emotions regarding the social system in use? A classification of their postings by using the emotional analysis of Norman</article-title>
          . In HCI International, P.
          <fpage>229</fpage>
          -
          <lpage>241</lpage>
          , (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Mendes</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          <article-title>: “MALTU - Um modelo para avaliação da interação em sistemas sociais a partir da linguagem textual do usuário”</article-title>
          .
          <source>Tese (doutorado)</source>
          .
          <source>Universidade Federal do Ceará</source>
          , Programa de Pós-Graduação em Ciência da Computação, Fortaleza, (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Bolger</surname>
            ,
            <given-names>N.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Davis</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rafaeli</surname>
          </string-name>
          , E.:
          <article-title>Diary methods: Capturing life as it is lived</article-title>
          .
          <source>Annual Review of Psychology</source>
          ,
          <volume>54</volume>
          , pp.
          <fpage>579</fpage>
          -
          <lpage>616</lpage>
          (
          <year>2003</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Cotler</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rizzo</surname>
          </string-name>
          , J.:
          <article-title>Designing Value Sensitive Social Networks for the Future</article-title>
          .
          <source>Journal of Computing Sciences in Colleges</source>
          . Vol
          <volume>25</volume>
          , pp.
          <fpage>40</fpage>
          -
          <lpage>46</lpage>
          (
          <year>2010</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Cristescu</surname>
            ,
            <given-names>I.</given-names>
          </string-name>
          :
          <article-title>Emotions in human-computer interaction: the role of non-verbal behavior in interactive systems</article-title>
          .
          <source>Revista Informatica Economica</source>
          , vol.
          <volume>2</volume>
          , pp.
          <fpage>110</fpage>
          -
          <lpage>116</lpage>
          , (
          <year>2008</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>De Lera</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Garreta</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          :
          <article-title>Ten Emotion Heuristics: Guidelines for Assessing the User's Affective Dimension Easily and Cost-Effectively</article-title>
          .
          <source>Proceedings of the HCI07</source>
          , pp.
          <fpage>163</fpage>
          -
          <lpage>166</lpage>
          , (
          <year>2007</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          15.
          <string-name>
            <surname>Desmet</surname>
            ,
            <given-names>O.</given-names>
          </string-name>
          :
          <article-title>Measuring emotion: development and application of an instrument to measure emotional responses to products. Funology: from usability to enjoyment</article-title>
          , p.
          <fpage>111</fpage>
          -
          <lpage>123</lpage>
          , (
          <year>2003</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          16.
          <string-name>
            <surname>Desmet</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hekkert</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          : Framework of Product Experience.
          <source>International Journal of Design</source>
          ,
          <volume>1</volume>
          (
          <issue>1</issue>
          ), pp.
          <fpage>57</fpage>
          -
          <lpage>66</lpage>
          . (
          <year>2007</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          17.
          <string-name>
            <surname>Donath</surname>
          </string-name>
          , J.:
          <article-title>Identity and Deception in the Virtual Community</article-title>
          . In: KOLLOCK Peter. e
          <string-name>
            <given-names>Marc</given-names>
            <surname>Smith</surname>
          </string-name>
          . Communities in Cyberspace. New York: Routledge, (
          <year>1999</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          18.
          <string-name>
            <surname>Ekman</surname>
            ,
            <given-names>P.:</given-names>
          </string-name>
          <article-title>An argument for basic emotions</article-title>
          .
          <source>Cognition and Emotion</source>
          , pp.
          <fpage>169</fpage>
          -
          <lpage>200</lpage>
          , (
          <year>1992</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          19.
          <string-name>
            <surname>Folmer</surname>
          </string-name>
          , E.,
          <string-name>
            <surname>Van Gurp</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bosch</surname>
            ,
            <given-names>J.:</given-names>
          </string-name>
          <article-title>A framework for capturing the relationship between usability and software architecture</article-title>
          .
          <source>Software Process: Improvement and Practice 8</source>
          , pp.
          <fpage>67</fpage>
          -
          <lpage>87</lpage>
          (
          <year>2003</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          20.
          <string-name>
            <surname>Frankena</surname>
          </string-name>
          , W.:
          <article-title>Value and valuation</article-title>
          . In P. Edwards, Ed.,
          <source>The Encyclopedia of Philosophy</source>
          , Vol.
          <volume>7</volume>
          -
          <fpage>8</fpage>
          . pp.
          <fpage>409</fpage>
          -
          <lpage>410</lpage>
          . New York, NY: Macmillan (
          <year>1972</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          21.
          <string-name>
            <surname>Friedman</surname>
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Peter</surname>
            ,
            <given-names>H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kahn</surname>
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Boring</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          :
          <article-title>Value Sensitive Design and Information Systems</article-title>
          .
          <source>HumanComputer Interaction in Management Information Systems: Foundations</source>
          . pp.
          <fpage>348</fpage>
          -
          <lpage>372</lpage>
          , (
          <year>2006</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          22.
          <string-name>
            <surname>Friedman</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          :
          <string-name>
            <surname>Value-Sensitive Design</surname>
          </string-name>
          . Interactions. Nov-Dec. pp.
          <fpage>16</fpage>
          -
          <lpage>23</lpage>
          . (
          <year>1996</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          23.
          <string-name>
            <surname>Hassenzahl</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Diefenbach</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Görtz</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          :
          <article-title>Needs, affect, and interactive products</article-title>
          .
          <source>Journal Interacting with Computers</source>
          . Vol
          <volume>22</volume>
          , Issue 5, pp.
          <fpage>353</fpage>
          -
          <lpage>362</lpage>
          (
          <year>2010</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref24">
        <mixed-citation>
          24.
          <string-name>
            <surname>Hedegaard</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Simonsen</surname>
          </string-name>
          , J.:
          <article-title>Extracting Usability and User Experience Information from Online User Reviews</article-title>
          .
          <source>In Conference on Human Factors in Computing Systems (CHI</source>
          <year>2013</year>
          ), pp.
          <fpage>2089</fpage>
          -
          <lpage>2098</lpage>
          (
          <year>2013</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref25">
        <mixed-citation>
          25. ISO DIS 9241 -
          <fpage>210</fpage>
          :
          <year>2008</year>
          .
          <article-title>Ergonomics of human system interaction - Part 210: Human -centred design for interactive systems (formerly known as 13407).</article-title>
        </mixed-citation>
      </ref>
      <ref id="ref26">
        <mixed-citation>
          26.
          <string-name>
            <surname>Johnston</surname>
            <given-names>C.</given-names>
          </string-name>
          :
          <article-title>What is social value? A discussion paper</article-title>
          .
          <source>Australia: Australian Government Publishing Service. Canberra</source>
          (
          <year>1992</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref27">
        <mixed-citation>
          27.
          <string-name>
            <surname>Jordan</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          : Designing Pleasurable Products:
          <article-title>Introduction to the New Human Factors</article-title>
          . Taylor &amp;
          <string-name>
            <surname>Francis</surname>
          </string-name>
          (
          <year>2000</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref28">
        <mixed-citation>
          28.
          <string-name>
            <surname>Ketola</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Roto</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          :
          <article-title>Exploring user experience measurement needs</article-title>
          .
          <source>In 5th COST294-MAUSE Open Workshop on Valid Useful User Experience Measurement</source>
          (
          <year>2008</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref29">
        <mixed-citation>
          29.
          <string-name>
            <surname>Kleinberg</surname>
            <given-names>J.:</given-names>
          </string-name>
          <article-title>Challenges in mining social network data: processes, privacy and paradoxes</article-title>
          .
          <source>Em KDD/USA</source>
          , pp.
          <fpage>4</fpage>
          -
          <lpage>5</lpage>
          , (
          <year>2007</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref30">
        <mixed-citation>
          30.
          <string-name>
            <surname>Korhgen</surname>
            ,
            <given-names>H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Arrasvuori</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Väänänen</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          :
          <article-title>Let users tell the story</article-title>
          .
          <source>In Proceedings of AMC CHI 2010 Extended Abstracts</source>
          , The ACM Press, Atlanta, pp.
          <fpage>4051</fpage>
          -
          <lpage>4056</lpage>
          (
          <year>2010</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref31">
        <mixed-citation>
          31.
          <string-name>
            <surname>Morville</surname>
          </string-name>
          , P.:
          <article-title>“User Experience Design”</article-title>
          . Disponível em: http://semanticstudios.com/user_experience_ design/. último acesso 30 abril de
          <year>2017</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref32">
        <mixed-citation>
          32.
          <string-name>
            <surname>Moser</surname>
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fuchsberger</surname>
            <given-names>V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tscheligi</surname>
            <given-names>M.:</given-names>
          </string-name>
          <article-title>A Value-based UX Evaluation. In CHI (</article-title>
          <year>2012</year>
          ), pp.
          <fpage>5</fpage>
          -
          <lpage>10</lpage>
          (
          <year>2012</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref33">
        <mixed-citation>
          33.
          <string-name>
            <surname>Norman</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          : Emotional Design:
          <article-title>Why We Love (or Hate) Everyday Things</article-title>
          . New York: Basic Books, (
          <year>2004</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref34">
        <mixed-citation>
          34.
          <string-name>
            <surname>Obrist</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Roto</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          ,
          <article-title>Väänänen-vainio-mattila, K.: User Experience Evaluation - Do You Know Which Method to Use? (CHI</article-title>
          <year>2009</year>
          ), Special Interest Groups, Boston, Massachusetts/USA (
          <year>2009</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref35">
        <mixed-citation>
          35.
          <string-name>
            <surname>Olsson</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Salo</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          :
          <article-title>Narratives of satisfying and unsatisfying experiences of current mobile augmented reality applications</article-title>
          .
          <source>In Proceedings of AMC CHI 2012 Extended Abstracts</source>
          , pp.
          <fpage>2779</fpage>
          -
          <lpage>2788</lpage>
          , (
          <year>2012</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref36">
        <mixed-citation>
          36.
          <string-name>
            <surname>Ortony</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Norman</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Revelle</surname>
            ,
            <given-names>W.</given-names>
          </string-name>
          :
          <article-title>Affect and proto-afect in effective functioning</article-title>
          . In J. M. Fellous and
          <string-name>
            <given-names>M. A.</given-names>
            <surname>Arbib</surname>
          </string-name>
          . Oxford University Press, pp.
          <fpage>173</fpage>
          -
          <lpage>202</lpage>
          , (
          <year>2005</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref37">
        <mixed-citation>
          37.
          <string-name>
            <surname>Partala</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kallinen</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          :
          <article-title>Understanding the most satisfying and unsatisfying user experiences: Emotions, psychological needs, and contexto</article-title>
          .
          <source>In Interacting with Computers</source>
          , pp.
          <fpage>25</fpage>
          -
          <lpage>34</lpage>
          (
          <year>2012</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref38">
        <mixed-citation>
          38.
          <string-name>
            <surname>Pereira</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Baranauskas</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          :
          <article-title>Softwares sociais: uma visão orientada a valores</article-title>
          .
          <source>In IHC</source>
          , pp.
          <fpage>149</fpage>
          -
          <lpage>158</lpage>
          (
          <year>2010</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref39">
        <mixed-citation>
          39.
          <string-name>
            <surname>Preece</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rogers</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          :
          <article-title>Design de interação: além da interação homem-computador.</article-title>
          <string-name>
            <surname>Bookman</surname>
          </string-name>
          , (
          <year>2013</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref40">
        <mixed-citation>
          40.
          <string-name>
            <surname>Riediger</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          :
          <article-title>Experience Sampling</article-title>
          . RatSWD Working Paper, n. 62. Disponível em: &lt;http://library.mpibberlin.mpg.de/ft/mr/MR_Experience_
          <year>2009</year>
          .pdf&gt;.
          <source>Último acesso em: 12 agosto de</source>
          <year>2017</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref41">
        <mixed-citation>
          41.
          <string-name>
            <surname>Rokeach</surname>
            ,
            <given-names>M.:</given-names>
          </string-name>
          <article-title>The nature of human values</article-title>
          . New York: Free Press. (
          <year>1973</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref42">
        <mixed-citation>
          42.
          <string-name>
            <surname>Schwartz</surname>
            <given-names>S. H.</given-names>
          </string-name>
          , “
          <article-title>Are there universal aspects in the structure and contents of human values?</article-title>
          ,
          <source>” Journal of Social Issues</source>
          , vol.
          <volume>50</volume>
          , no 4, pp.
          <fpage>19</fpage>
          -
          <lpage>45</lpage>
          (
          <year>1994</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref43">
        <mixed-citation>
          43.
          <string-name>
            <surname>Sorenson</surname>
            ,
            <given-names>O.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rivkin</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lee</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          :
          <article-title>Complexity, networks and knowledge flow”</article-title>
          ,.Research Policy, vol.
          <volume>35</volume>
          , pp.
          <fpage>994</fpage>
          -
          <lpage>1017</lpage>
          (
          <year>2006</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref44">
        <mixed-citation>
          44.
          <string-name>
            <surname>Tuch</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Trusell</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hornbaek</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          : Analyzing Users'
          <article-title>Narratives to Understand Experience with Interactive Products</article-title>
          .
          <source>In Proceedings of AMC CHI 2013 Extended Abstracts</source>
          , The ACM Press,
          <year>2079</year>
          -
          <fpage>2088</fpage>
          . (
          <year>2013</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref45">
        <mixed-citation>
          45.
          <string-name>
            <surname>Voeffray</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          :
          <article-title>Emotion-sensitive Human-Computer Interaction (HCI): State of the art - Seminar paper</article-title>
          .
          <source>Seminar emotion Recognition</source>
          . Disponível em:&lt;https://diuf.unifr.ch/ main/diva/teaching/seminars/emotionrecognition&gt;,
          <year>2011</year>
          . Último acesso: 12 agosto
          <year>2017</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref46">
        <mixed-citation>
          46.
          <string-name>
            <surname>Xavier</surname>
          </string-name>
          , R.:
          <article-title>Uma abordagem híbrida para a avaliação da experiência emocional de usuários</article-title>
          .
          <volume>161</volume>
          f.
          <year>2013</year>
          .
          <article-title>Dissertação (Mestrado em Ciência da Computação) - São Carlos-SP, Brasil</article-title>
          , (
          <year>2013</year>
          ).
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>