<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Interação na Web Social: Conhecendo as necessidades dos usuários de Aplicações Móveis (Apps) por meio das Avaliações das Apps (Apps Reviews)</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Maria Ivanilse Calderon Ribeiro</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Josiane Rodrigues da Silva</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Anais do VIII Workshop sobre Aspectos da Interação Humano-Computador na Web Social</institution>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Universidade Federal do Amazonas</institution>
          ,
          <addr-line>Amazonas</addr-line>
          ,
          <country country="BR">Brasil</country>
        </aff>
      </contrib-group>
      <fpage>36</fpage>
      <lpage>47</lpage>
      <abstract>
        <p>The growing use of mobile applications (apps) presents a scenario in the Mobile Software Ecosystem (MSECO) with users who are increasingly demanding and attentive to new needs. These users interact on the social web through app evaluations they perform daily, and consequently produce large amounts of data, often unused. In this context, the difference in knowing information from app users' evaluations (apps reviews) supports the needs of the target audience of these applications. This work presents exploratory and initial research for extracting information from the most frequently used app reviews in different categories extracted from the Google Play app store. The objective is to know and analyze information from this type of data repository to support new knowledge about the interaction of users with regard to the service offered through the app. In this work, we analyzed 88,130 reviews applications for the extraction of representative data and capable of presenting topics related to the service offered through the app in the context of this work. The results obtained show that there is evidence of information to be extracted and considered to better meet the users' needs.</p>
      </abstract>
      <kwd-group>
        <kwd>MSECO</kwd>
        <kwd>Use</kwd>
        <kwd>apps reviews</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>
        A crescente utilização das funcionalidades oferecidas por meio das aplicações móveis
(apps) vem despertando a atenção em atrair usuários. Tal preocupação, é ainda maior
em se tratando de empresas que oferecem seus serviços por meio das apps. Os
dispositivos móveis ganharam popularidade por causa de sua portabilidade, acessibilidade e
consciência local. Simultaneamente, a crescente demanda por vários tipos de
aplicativos móveis em execução em diferentes dispositivos levou a um aumento
correspondente em desenvolvedores móveis e competitivos mercados de aplicativos para
dispositivos móveis [
        <xref ref-type="bibr" rid="ref1">1</xref>
        ].
      </p>
      <p>
        Neste contexto, em se tratando de Ecossistema de Software Móvel (MSECO) essa
responsabilidade é ainda maior. Pois, os ecossistemas de software estão se tornando um
modelo comum para o desenvolvimento de software em que diferentes atores cooperam
em torno de uma plataforma compartilhada. O compartilhamento dos muitos artefatos
e práticas que ocorre entre os envolvidos nos permite entender as relações existente no
ecossistema [
        <xref ref-type="bibr" rid="ref2">2</xref>
        ].
      </p>
      <p>Diante deste cenário, esta é uma questão que tem chamado a atenção dos envolvidos
no processo de fornecimento de serviços por meio das apps. Por sua vez, a interação
web social estabelecida por meio das avaliações das apps (apps reviews) entre os
usuários permite conhecer acerca do uso dos serviços oferecidos por meio das apps. Deste
modo, a ascensão e disponibilidade de dados na web estabelece perfeita conexão entre
a necessidade de novas informações e novos estudos em busca de soluções para esse
problema.</p>
      <p>
        Neste artigo, consideramos as apps como meio para oferta dos serviços oferecidos
pelas empresas ao seu público-alvo, conforme suas categorias de classificação. Neste
contexto, as apps reviews podem refletir necessidades dos usuários e oportunidade de
melhorais do serviço oferecido em relação aos concorrentes. Dado que, atualmente as
aplicações são capazes de auxiliar o usuário em diversas atividades como, por exemplo,
traçar rotas e localizar endereços [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ]. Além disso, estabelecem interações na web social
que proporcionam um diálogo virtual entre os usuários no contexto de MSECO.
      </p>
      <p>Sendo assim, investigamos a app store da Google Play como repositório da web
social para a extração e conhecimento de informações relacionadas aos serviços
oferecidos por empresas. Este trabalho tem como objetivo, conhecer e analisar informações
deste tipo de repositório de dados para apoiar em novos conhecimentos acerca da
interação dos usuários em relação aos serviços oferecidos por meio das apps. A questão
investigada é:</p>
      <p>Questão de Pesquisa: As informações extraídas das apps reviews podem apoiar no
entendimento das necessidades em relação aos serviços oferecidos pelas empresas por
meio das apps no contexto de MSECO?</p>
      <p>A questão de pesquisa foi investigada por meio da mineração e análise de dados
disponíveis da web, voltada para coleta de dados disponíveis na app store. Diante disto,
obtivemos as primeiras impressões acerca de dados representativos e capazes de
caracterizar aspectos relacionados ao contexto desta pesquisa.</p>
      <p>Este artigo está estruturado conforme segue: Na próxima Seção apresentamos o
background que traz os conceitos necessários para o entendimento desta pesquisa. Na
Seção 3 tratamos dos materiais e métodos utilizados para a extração dos termos
frequentes e relevantes para o contexto deste trabalho, bem como a metodologia utilizada.
A Seção 4 expõe os resultados alcançados e também resposta para a questão de
pesquisa. Na Seção 5 tratamos das Limitações e Trabalhos Futuros. Por fim, mostramos as
considerações finais na Seção 6 deste trabalho.
2</p>
      <p>Background
Nesta Seção apresentamos conceitos importantes para o entendimento deste trabalho.</p>
    </sec>
    <sec id="sec-2">
      <title>Uso das Aplicações Móveis (Apps)</title>
      <p>
        As aplicações móveis, também conhecidas como apps, são atualmente itens essenciais
para o cotidiano das pessoas, são programas que se pode baixar das lojas de aplicações
móveis e instalar em dispositivos móveis. Nos últimos anos, observamos a rápida
evolução dos dispositivos móveis em termos de hardware, sistemas operacionais e, como
consequência disso, as crescentes listas de recursos que os usuários das apps exigem
[
        <xref ref-type="bibr" rid="ref4">4</xref>
        ].
      </p>
      <p>
        A popularização da utilização de apps transforma o dia a dia de seus usuários, pois
atividades simples do cotidiano atualmente são potencializadas com o auxílio de
diferentes apps. No mesmo ritmo de utilização desses aplicativos, surgem novas
necessidades de melhorias ou adaptação, que são reportadas às empresas por meio das
avaliações de seus usuários [
        <xref ref-type="bibr" rid="ref1">1</xref>
        ].
      </p>
      <p>
        Diante disto, estamos diante de tecnologia desenvolvida para apoiar a web social que
baseiam-se em aplicações que possibilitam a comunicação, a interação e a colaboração
em massa [
        <xref ref-type="bibr" rid="ref5">5</xref>
        ]. Empiricamente, podemos observar que as apps reviews são fontes de
dados, e consequentemente de conhecimento provenientes da interação na web social.
Além disso, o paradigma da web social pode ser observado na manifestação de uma
crescente tendência em explorar, de maneira explícita ou implícita, a riqueza dos elos
que se firmam com a interação social mediada pelas tecnologias de informação [
        <xref ref-type="bibr" rid="ref6">6</xref>
        ].
      </p>
      <p>Neste sentido, as apps reviews direcionam o desenvolvimento dos projetos deste tipo
de aplicação voltada para a oferta de serviços, dado que os usuários expõem suas
necessidades em relação a facilidade ou não do uso. Além disso, a experiência dos
usuários que são reveladas a partir dessas informações apresentam evidências importantes
para se conhecer acerca dos serviços oferecidos por meio das apps.
2.2</p>
    </sec>
    <sec id="sec-3">
      <title>Ecossistema de Software Móvel (MSECO)</title>
      <p>
        Atualmente, a temática sobre Ecossistemas de Software (ECOS) tem sido objeto de
vários estudos, a literatura apresenta estudos a partir de diferentes perspectivas. Em se
tratando de Negócios [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ] [
        <xref ref-type="bibr" rid="ref8">8</xref>
        ], Redes Sociais [
        <xref ref-type="bibr" rid="ref9">9</xref>
        ], Redes Sócio-técnicas [
        <xref ref-type="bibr" rid="ref10">10</xref>
        ] entre outras.
ECOS é um modelo comum de desenvolvimento de software em que diferentes atores
operam em torno de uma plataforma compartilhada [
        <xref ref-type="bibr" rid="ref2">2</xref>
        ]. Consequentemente, no
contexto da plataforma móvel, passamos a considerar particularidades desse cenário
específico. A classificação proposta por [
        <xref ref-type="bibr" rid="ref11">11</xref>
        ] nos permite compreender o Ecossistema de
Software Móvel (MECOS).
      </p>
      <p>
        A partir desta concepção, estamos diante de um tipo de ECOS que surge das
interações entre atores em torno de uma plataforma de tecnologia comum focada em produtos
e serviços de software [
        <xref ref-type="bibr" rid="ref11">11</xref>
        ], no cenário móvel. No MSECO, empresas precisam agregar
valor a seus produtos, neste caso, as aplicações móveis disponibilizadas em suas lojas.
Dentro de um MSECO, são necessárias estratégias, que adapte os requisitos dos
usuários e produza novas aplicações que se encaixam em nichos que estão em constante
mudança [
        <xref ref-type="bibr" rid="ref12">12</xref>
        ].
      </p>
      <p>
        Sendo assim, no contexto da interação web social, é importante impulsionar a
discussão da comunidade acerca das informações produzidas pelos usuários das apps, por
ser este também um elemento que compõe o ECOS, visto que em contexto da definição
mais ampla, a plataforma a partir da visão de aplicativos de ECOSs é um caso especial
[
        <xref ref-type="bibr" rid="ref13">13</xref>
        ]. Além disso, consideramos que as interações na web social, envolvem atores e
artefatos e criam novos relacionamentos entre os elementos de um ECOS [
        <xref ref-type="bibr" rid="ref14">14</xref>
        ].
      </p>
      <sec id="sec-3-1">
        <title>Materiais e Métodos</title>
        <p>Nesta Seção, apresentamos a coleção de dados utilizados e também as fases de
processamento do conteúdo das apps reviews.
3.1</p>
      </sec>
    </sec>
    <sec id="sec-4">
      <title>Coleção de dados</title>
      <p>A coleção de dados utilizada neste trabalho é composta pelas apps reviews de cinco
apps das seguintes categorias: Comunicação, Comida e Bebidas, Jogos, Negócios e
Mapas e Navegação. A seleção foi realizada a partir do ranking das aplicações,
selecionamos as mais utilizadas conforme o ranking na loja da Google Play. Diante desta
classificação, entendemos que essas apps podem apoiar no conhecimento de dados
capazes de gerar evidências no contexto da pesquisa. Dado que são apps que estão no
ranking das mais baixadas dessa app store, ou seja, são as mais populares.</p>
      <p>Na Tabela 1 apresentamos: (i) uma identificação para cada categoria selecionada
(coluna Id), (ii) categorias das apps selecionadas (coluna categoria) e (iii) quantidade
de apps reviews extraídas e analisadas para cada categoria (coluna quantidade de
reviews).</p>
      <p>Considerando que as apps selecionadas para esse estudo são de categorias diferentes,
entendemos que existe certo grau de diversidade de dados. Portanto, tal característica
contribui na direção para construção de novos conhecimentos em relação as avaliações
do serviço fornecido por meio de apps no contexto de MSECO.</p>
      <p>
        A extração e preparação da base deste trabalho utiliza técnicas mineração de dados,
devido ao grande volume e características da base de dados web em questão. Dado que,
tal forma de extração em grandes bases permite a descoberta de possíveis associações
existentes entre os dados, podendo assim ser adotada uma de suas técnicas dentre
classificação, agrupamento (clusterização) ou mesmo detecção de desvios dos dados
extraídos [
        <xref ref-type="bibr" rid="ref15">15</xref>
        ]. Portanto, a aplicação dessas técnicas possibilitou descrever padrões e
tendências subjacentes no repositório que apoiou nos resultados obtidos.
3.2
      </p>
    </sec>
    <sec id="sec-5">
      <title>Processamento dos dados</title>
      <p>Para realizarmos a mineração e processamento dos dados em busca de conhecer
informações no contexto deste trabalho, seguimos os seguintes passos:</p>
      <p>
        Passo 1: Extração das apps reviews disponíveis na Google Play, construindo assim
coleção de 88.130 apps review. Optamos por trabalha com a plataforma Android, pois
nos últimos anos, a loja de aplicativos e o mercado de Android experimentaram um
crescimento significativo em termos de números de aplicativos [
        <xref ref-type="bibr" rid="ref16">16</xref>
        ].
      </p>
      <p>Passo 2: Após a execução do passo 1, iniciamos a execução do processo de limpeza
da base de dados. Nesta fase, removemos automaticamente as stop words da coleção.
Nesse contexto, stop words são palavras que não contribuem ou não apresentam
claramente características que nos permita compreender qualquer informação em relação ao
contexto deste trabalho. Além disso, que não seja representativo para o escopo da
pesquisa, e.g., o nome da app ou mesmo a palavra app.</p>
      <p>Passo 3: Depois do processo realizado no passo 2, passamos a realizar a fase de
extração de termos mais discriminantes relacionados a usabilidade das app analisadas.
Para isso, foi realizado cálculo da frequência da ocorrência dos termos na coleção, ou
seja, é nessa fase que passamos a conhecer o peso (score) dos termos mais citados nas
apps reviews pelos usuários. Uma vez selecionado esses termos que representam os
aspectos, verificamos em quais reviews cada um deles ocorreu, ou seja, para cada
aspecto temos o grupo de reviews em que ele aparece. Para cada grupo de reviews
somase as avaliações e ao final tira-se a média pelo número de reviews que ocorreu cada
aspecto.</p>
      <p>
        Passo 4: Concluído o passo 3, consideramos como dados discriminantes os que
apresentaram pesos diferente de dois, ou seja, que aparecem na coleção mais de duas
vezes. Para isso, utilizamos trigramas [
        <xref ref-type="bibr" rid="ref17">17</xref>
        ] para a representação e computo dos pesos
dos termos. Diante disto, observamos que alguns desses trigramas encontrados tiveram
pontuação igual a zero e foram descartados. Optamos pela utilização de trigramas, pois
durante a realização dos experimentos com a coleção de dados constatamos que
n-gramas de tamanhos maiores que 3 retornam termos repetidos. Portanto, retornam termos
redundantes devido as características da coleção [
        <xref ref-type="bibr" rid="ref18">18</xref>
        ]. Além disso, em relação a análise
desses dados, poucos termos refletiriam negativamente na extração da informação.
4
      </p>
      <sec id="sec-5-1">
        <title>Análise dos Resultados</title>
        <p>Nesta Seção, apresentamos análise dos resultados alcançados em resposta à questão
de pesquisa investigada.</p>
      </sec>
    </sec>
    <sec id="sec-6">
      <title>Indícios sobre as informações extraídas das Apps Reviews</title>
      <p>Buscando a resposta para nossa questão de pesquisa, apresentamos as Tabelas a
seguir para demonstrar os termos mais frequentes que foram extraídos das apps review
por categoria, ordenamos com base na coluna Média da Avalição para facilitar melhor
visualização. Apresentamos na coluna TermosFrequentes um trigrama dos termos mais
relevantes para cada aspecto retornado, e com base nesse trigrama a coluna
AspectosAvaliados apresenta uma interpretação, feita de forma manual, do aspecto que foi
retornado, ou seja, qual o aspecto representado por essas três palavras retornadas em cada
aspecto. Por fim a coluna MédiaAvaliação mostra a média de pontuação dos termos
avaliados pelos usuários.</p>
      <p>Além disso, com base nesta média, podemos inferir a polaridade das avaliações
realizadas pelos usuários em relação a cada aspecto avaliado, considerando os seguintes
intervalos de avaliação: (i) de 1 a 2,5, é considerado avaliação como negativa, (ii) entre
2,5 e 3,5 é considerada avaliação neutra e (iii) de 3,5 para 5, avaliação positiva. Vale
ressaltar que a escolha desses intervalos foi realizada apenas considerando a nota que o
usuário deu ao produto para cada review, portanto não foi analisado o conteúdo escrito
nos reviews. Além disso, essa divisão foi tomada com base no conhecimento comum
que se tem em relação as avaliações em geral, considerando que um usuário que avalia
um aspecto de um produto com nota menor que 2,5 entende-se que esse usuário não
está muito satisfeito com esse produto/serviço, e portanto consideramos uma avaliação
negativa. Da mesma forma, se esse usuário avalia um produto com nota igual ou
superior a 3,5 entende-se que esse usuário está satisfeito em relação ao produto que está
avaliando e portanto consideramos uma avaliação positiva.</p>
      <p>A Tabela 2 mostra a categoria Comida e Bebida, nesta observamos que 90% das
apps review relaciona o aspecto Service e que 10% estão relacionadas ao uso da
aplicação. Por exemplo, os tópicos restaurant payment service, no phone request, fast
delivery restaurants e service food missing apresentam a MédiaAvaliação que variam
entre negativo e neutro. Esses aspectos estão diretamente relacionados a avaliação do
Serviço oferecido pela empresa, que nesse contexto poderá ser a desenvolvedora da
aplicação móvel ou apenas ser empresa fornecedora dos serviços por meio da app
utilizada. Os tópicos best service hungry, never problems practically, food order service,
practical easy service and great service fast apresentam avaliações sobre aspectos
relacionados ao uso e serviços com média de avaliação entre 4.0 a 5.0, ou seja, podemos
perceber que estes aspectos estão avaliados positivamente pelo usuário. Em resumo
percebemos com as avaliações desses aspectos que o usuário apresenta necessidade
relacionadas a qualidade do serviço oferecido pela empresa e usabilidade da app.</p>
      <p>Seguindo a mesma organização anterior, na Tabela 3 apresentamos os resultados dos
aspectos e suas respectivas médias de avaliação dos termos para a categoria Negócios.
Novamente os dois aspectos retornados de acordado com os tópicos mais frequentes
foram, predominantemente, serviço e uso. Entretanto, diferente da categoria Comidas
e Bebidas apresentada na Tabela 2, as médias das avaliações das reviews que contém
cada aspecto para essa app foram muito baixas (todos os resultados foram negativos),
caracterizando insatisfação dos usuários em relação às operações e serviços prestados
por meio desta app, mostrando desta forma que a empresa que oferece este serviço de
negócio deve tomar ações corretivas para melhorar o seu desempenho no ecossistema
no qual está inserida.</p>
      <p>Apresentamos na Tabela 4, os termos mais frequentes da categoria Comunicação,
que apresentam aspectos relacionados aos serviços oferecidos pela empresa e uso da
app. A coluna MediaAvaliação demonstra que 20% de revisão do usuário foi negativa
para os aspectos do Serviço. Por outro lado, 80% da revisão do usuário foi positiva;
podemos ver que a classificação média era de 4,0 para 5,0 para revisões relacionadas
ao uso e a interface é comum.</p>
      <p>Considerando o contexto de serviço oferecido por meio da app, os aspectos avaliados
da Tabela 5 permite avaliar o serviço prestado pela empresa. Desse modo, podemos
inferir que a qualidade dos serviços prestados pela empresa possui 90% de avaliações
negativas. A partir desta análise, percebemos que a avaliação realizada pelo usuário
está diretamente relacionada à avaliação indireta da empresa que fornece o serviço.</p>
      <p>Em se tratando da categoria Jogos, a Tabela 6 apresenta que 60% das revisões dos
usuários são positivas e os aspectos estão diretamente relacionados com a revisão do
aplicativo do usuário. A média das avaliações dos termos frequentes mostram o
sentimento positivo em relação ao uso da app, mostrando que o usuário se sente confortável
durante o uso e a interação com o aplicativo. Os termos frequentes apresentados nesta
Tabela mostram que a Média das Avaliações está entre 4.44 a 5.0. Diante disto,
podemos perceber que estes aspectos estão sendo avaliados positivamente pelos usuários da
app. Em resumo, observamos a partir destas avaliações que estes usuários apresentaram
necessidades em relação ao uso desta app.</p>
      <p>De modo geral, os termos mais frequentes que a pesquisa nos permitiu conhecer
tratam dos serviços oferecidos e utilizados por meio das apps. Neste cenário,
percebemos que as avaliações em relação aos serviços oferecidos são frequentes. Desse modo,
podemos concluir que as informações obtidas a partir das apps reviews podem apoiar
nas decisões empresariais para melhor atender as expectativas dos usuários que utilizam
os serviços oferecidos por meio das apps.
5</p>
      <sec id="sec-6-1">
        <title>Limitações e Trabalhos Futuros</title>
        <p>Como base nos materiais e métodos utilizados nesta pesquisa, apontamos como
limitações do trabalho a quantidade de apps selecionadas para extração das reviews, bem
como o tamanho da base analisada. Além disso, a classificação empírica dos aspectos
a partir da observação dos termos mais frequentes na coleção de dados utilizada.</p>
        <p>Diante disto, temos como trabalhos futuros a concepção de base de dados mais
representativas por categoria de apps, para melhor análise e classificação dos aspectos
relacionados à interação web social, produzidas a partir das reviews publicadas. Além
disso, investigaremos quais informações contidas nas reviews nos permitirá conhecer a
satisfação, insatisfação, necessidades ou outros aspectos relacionados aos serviços
oferecidos pelas empresas por meio das apps, no intuito de melhor conhecer o
públicoalvo para adoção de estratégia e ações empresariais.
6</p>
      </sec>
      <sec id="sec-6-2">
        <title>Considerações Finais</title>
        <p>Diante dos resultados apresentados, concluímos que conhecer o conteúdo das apps
reviews apoia a construção de conhecimento a partir das percepções dos usuários. Além
disso, permite a obtenção de informações para apoiar no melhor atendimento das
expectativas dos usuários de serviços oferecidos por meio das apps.</p>
        <p>
          Nesse contexto, apesar da crescente demanda de usuários que buscam os dispositivos
móveis, devido às vantagens de acesso às informações em qualquer lugar e a qualquer
momento [
          <xref ref-type="bibr" rid="ref19">19</xref>
          ], a oferta de serviços por meio das apps não é trivial. Além disso, o avanço
tecnológico tem provocado mudanças no comportamento e relacionamento dos
usuários da Web, o que tem influenciado a busca por diferentes alternativas de acesso às
informações pelos usuários, fazendo este acesso evoluir para o contexto móvel [
          <xref ref-type="bibr" rid="ref20">20</xref>
          ].
Assim, as necessidades em relação a esse contexto podem ser conhecidas por meio
dessas informações para apoiar na melhoria dos serviços oferecidos por meio app em
um MSECO.
        </p>
        <p>Portanto, conhecer essas avaliações é uma excelente maneira em busca de melhorias
ou criação de novos produtos e/ou serviços afim de atender e superar as expectativas
dos usuários. Além disso, permite construir base de conhecimento valiosa em relação a
interação web social construídas a partir das apps reviews em se tratando do cenário de
MSECO.</p>
        <p>
          Outra informação importante que passamos a conhecer é em relação ao uso das apps,
neste contexto, os termos em relação ao uso são bastantes frequentes e apresentam
avaliações significativas. Diante disso, é importante considerar que todos estes aspectos
irão determinar o grau de uso da app. Além disso, o contexto da implementação é
igualmente importante para conhecer o público-alvo que está tentando alcançar, e entender
seu comportamento no ambiente móvel [
          <xref ref-type="bibr" rid="ref21">21</xref>
          ].
        </p>
        <p>Por tratar-se de pesquisa exploratória e inicial, onde o contexto de MSECO traz um
conjunto de oportunidades importantes para a pesquisa da comunidade de Interação
Humano Computador (IHC). Inferimos que o resultado da pesquisa é a combinação de
dados de uma pesquisa na literatura (método secundário) e as informações mineradas a
partir das apps reviews que permitem o conhecimento inicial deste cenário.</p>
      </sec>
      <sec id="sec-6-3">
        <title>Referências</title>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1. Genc-nayebi, N.,
          <string-name>
            <surname>abran</surname>
          </string-name>
          , A.:
          <article-title>A systematic literature review: Opinion mining studies from mobile app store user reviews</article-title>
          .,
          <volume>207</volume>
          -
          <fpage>219</fpage>
          (
          <year>2017</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Axelsson</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Skoglund</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          :
          <article-title>Quality assurance in software ecosystems: A systematic literature mapping and research agenda</article-title>
          .
          <source>Journal of Systems and Software</source>
          <volume>114</volume>
          ,
          <fpage>69</fpage>
          -
          <lpage>81</lpage>
          (
          <year>2016</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Rodrigo</surname>
            <given-names>L. A.</given-names>
          </string-name>
          <string-name>
            <surname>Almeida</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          :
          <article-title>Quando a Tecnologia apoia a Mobilidade Urbana: Uma Avaliação sobre a Experiência do Usuário com</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Linares-Vásquez</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          :
          <article-title>Mining energy-greedy api usage patterns in android apps: an empirical study</article-title>
          . In ACM, ed. :
          <source>In: Proceedings of the 11th Working Conference on Mining Software Repositories</source>
          , pp.
          <fpage>2</fpage>
          -
          <lpage>11</lpage>
          (
          <year>2014</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <given-names>Da</given-names>
            <surname>Silva</surname>
          </string-name>
          ,
          <string-name>
            <given-names>S.</given-names>
            ,
            <surname>Pereira</surname>
          </string-name>
          , R.:
          <article-title>Aspectos da Interação Humano-Computador na Web Social</article-title>
          .
          <source>In : In: Proceedings of the VIII Brazilian Symposium on Human Factors in Computing Systems</source>
          , pp.
          <fpage>350</fpage>
          -
          <lpage>351</lpage>
          (
          <year>2008</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <given-names>Figueira</given-names>
            <surname>Filho</surname>
          </string-name>
          ,
          <string-name>
            <given-names>F.</given-names>
            ,
            <surname>De Geus</surname>
          </string-name>
          ,
          <string-name>
            <given-names>P.</given-names>
            ,
            <surname>De Albuquerque</surname>
          </string-name>
          , J.: Sistemas de Recomendação e
          <article-title>Interação na Web Social</article-title>
          .
          <source>In : In: Proceedings of the 1st Workshop</source>
          on
          <article-title>Human-Computer Interaction Aspects in the Social Web in conjunction with the VIII Brazilian Symposium of Human Factors on Computer Systems (IHC 08)</article-title>
          , pp.
          <fpage>24</fpage>
          -
          <lpage>27</lpage>
          (
          <year>2008</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Hartigh</surname>
          </string-name>
          , E.:
          <article-title>Measuring the Health of a Business Ecosystem</article-title>
          . In : Software Ecosystems:
          <article-title>Analyzing and Managing Business Networks in the Software Industry</article-title>
          . Edward Elgar Publishing Limited, Cheltenham, UK • Northampton, MA, USA (
          <year>2013</year>
          )
          <fpage>221</fpage>
          -
          <lpage>246</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Jansen</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bloemendal</surname>
          </string-name>
          , E.: Defining App Stores:
          <article-title>The Role of Curated Marketplaces in Software Ecosystems</article-title>
          .
          <source>Software Business. In : From Physical Products to Software Services and Solutions, Pucón</source>
          , vol.
          <volume>150</volume>
          (
          <year>2013</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Santos</surname>
          </string-name>
          , R.: Utilizando Sites de Redes Sociais para Apoiar os Ecossistemas de Software.
          <source>In : XXXII Congresso da Sociedade Brasileira de Computação, I Brazilian Workshop on Social Network Analysis an Mining, Curitiba</source>
          , pp.
          <fpage>1</fpage>
          -
          <lpage>4</lpage>
          (
          <year>2012</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Lima</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Santos</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Werner</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          :
          <article-title>Apoio à Compreensão das Redes Sociotécnicas em Ecossistemas de Software</article-title>
          .
          <source>In : XXXIII Congresso da Sociedade Brasileira de Computação, II Brazilian Workshop on Social Network Analysis and Mining</source>
          , Maceió, Brasil, pp.
          <fpage>1525</fpage>
          -
          <lpage>1530</lpage>
          (
          <year>2013</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Bosch</surname>
          </string-name>
          , J.:
          <article-title>From Software Product Lines to Software Ecosystems</article-title>
          .
          <source>In : 13th International Software Product Line Conference</source>
          , San Francisco, California, USA, pp.
          <fpage>111</fpage>
          -
          <lpage>119</lpage>
          (
          <year>2009</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Lin</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ye</surname>
            ,
            <given-names>W.</given-names>
          </string-name>
          :
          <article-title>Operating system battle in the ecosystem of smartphone industry</article-title>
          . In : Information Engineering and Electronic Commerce.
          <source>International Symposium</source>
          , pp.
          <fpage>617</fpage>
          -
          <lpage>621</lpage>
          (
          <year>2009</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Cataldo</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Herbsleb</surname>
            ,
            <given-names>J.:</given-names>
          </string-name>
          <article-title>Architecting in software ecosystems: interface translucence as an enabler for scalable collaboration</article-title>
          .
          <source>In : Fourth European Conference on Software Architecture:</source>
          Companion Volume, Copenhagen, Denmark, pp.
          <fpage>65</fpage>
          -
          <lpage>72</lpage>
          (
          <year>2010</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>Santos</surname>
          </string-name>
          , R.:
          <article-title>ReuseECOS: An Approach to Support Global Software Development through Software Ecosystems</article-title>
          . In : In: ICGSE,
          <string-name>
            <surname>VI</surname>
            <given-names>WDDS</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Porto</surname>
            <given-names>Alegre</given-names>
          </string-name>
          , pp.
          <fpage>60</fpage>
          -
          <lpage>65</lpage>
          (
          <year>2012</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          15.
          <string-name>
            <surname>Usama M Fayyad</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          :
          <article-title>Advances in knowledge discovery and data mining</article-title>
          .
          <source>(9961)</source>
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          16.
          <string-name>
            <surname>Ihm</surname>
          </string-name>
          , S.-Y.,
          <string-name>
            <surname>Loh</surname>
          </string-name>
          , W.-K.,
          <string-name>
            <surname>Park</surname>
          </string-name>
          , Y.-H.:
          <article-title>App analytic: A study on correlation analysis of app ranking data</article-title>
          .
          <source>In : On 3rd International Conference in Cloud and Green Computing (CGC)</source>
          , Karlsruhe, Germany, pp.
          <fpage>561</fpage>
          -
          <lpage>563</lpage>
          (
          <year>2013</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          17.
          <string-name>
            <surname>Ward</surname>
            ,
            <given-names>J.:</given-names>
          </string-name>
          <article-title>A language model combining trigrams and context-free grammars</article-title>
          .
          <source>Proceedings of ICSLP</source>
          ,
          <fpage>2319</fpage>
          -
          <lpage>2322</lpage>
          (
          <year>1998</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          18.
          <string-name>
            <surname>Jiménez-Zafra</surname>
            ,
            <given-names>S.:</given-names>
          </string-name>
          <article-title>Combining resources to improve unsupervised sentiment analysis at aspect-level</article-title>
          .
          <source>Journal of Information Science</source>
          <volume>42</volume>
          (
          <issue>2</issue>
          ),
          <fpage>213</fpage>
          -
          <lpage>229</lpage>
          (
          <year>2016</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          19.
          <string-name>
            <surname>Florence</surname>
            ,
            <given-names>B.-F. .:</given-names>
          </string-name>
          <article-title>Evaluation of User Interface Design and Input Methods for Applications on Mobile Touch Screen Devices</article-title>
          .,
          <fpage>243</fpage>
          -
          <lpage>249</lpage>
          (
          <year>2009</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          20.
          <string-name>
            <surname>Bruno</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fernandes Priscila</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          : Usabilidade de Aplicações Web Móvel: Avaliando uma Nova Abordagem de Inspeção através de Estudos Experimentais.
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          21.
          <string-name>
            <surname>Borges</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          :
          <article-title>Desenvolvimento de aplicativos móveis</article-title>
          . In: Desenvolvimento de aplicativos móveis. Available at: https://pt.yeeply.com/blog/app
          <article-title>-design-eimportancia-da-cor/)</article-title>
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>