Affective Computing aims to provide digital systems with affective characteristics, especially in animated virtual tutors linked to education, these characteristics can make classes with tutors more interesting and objective. Objective: Accomplish a systematic review to collect data on Affective Computing applied to virtual tutors. Method: A systematic review was carried out, aiming at acquiring data through previously published studies. Results: Of the 85 primary studies, 20 were included, among which, showed that the use of cameras and microphones is the main way to assess affective states of users, allowing systems to make decisions.
Neste contexto, este artigo segue organizado em sete seções, a partir desta introdução. Na Seção 2 apresenta um resumo sobre tutores Virtuais, na Seção 3 sobre Computação Afetiva. A Seção 4 apresenta o método de pesquisa utilizado. Na Seção 5 os resultados desta revisão. Logo após, na Seção 6, as discussões, por fim, na Seção 7 são feitas as considerações finais.
Os STI (Sistemas Tutores Inteligentes) são sistemas que proporcionam ensino
individualizado onde o aluno é um agente ativo no processo de aprendizagem e são
constituídos de seis grandes áreas (Psicologia, Linguística, Inteligência Computacional,
Neurociência, Antropologia e Filosofia)
Estes sistemas pertencem à categoria de softwares educacionais que se baseiam
na aprendizagem interativa. Neste contexto, o aluno passa a ser o centro do processo
ensino e aprendizagem, deixando de ser passivo e tornando-se um ser ativo no processo,
além de tornar relevante o seu conhecimento atual e as suas características de
aprendizado
Para alcançar as estratégias de ensino diferenciado, os STI aplicam modelos
genéricos, estes modelos devem permitir o sistema saber o que ensinar, identificando
pontos fortes e fracos do estudante permitindo o sistema preparar estratégias baseadas
nessas informações, desta forma, o sistema servirá para o ensino de qualquer estudante
A Computação Afetiva (CA) é uma área multidisciplinar de pesquisa que investiga
como dotar os computadores de várias características sociais, tais como reconhecer
emoções e responder apropriadamente a elas, expressar emoções, mostrar empatia,
identificar personalidade, entre outros,
A relação entre CA e STI está na relação entre as emoções com as atividades
educacionais, pois o estado afetivo de um aprendiz interfere diretamente na motivação e
aptidão em se aprender algo
Segundo
A identificação de uma representação interna do estudante, responsável por manter o registro das ações do estudante; A construção do comportamento do sistema, que é, as táticas que serão aplicadas.
Esta RSL (Revisão Sistemática da Literatura) está estruturada de acordo com as
diretrizes propostas por
As Questões de Pesquisa (QP) abordadas por este estudo são as seguintes: ● RQ1: Quais as ferramentas e linguagens de programação utilizadas no desenvolvimento da afetividade de tutores virtuais? ● RQ2: Quais as técnicas utilizadas no desenvolvimento desses sistemas? ● RQ3: Quais os propósitos na aplicação da afetividade dos tutores? ● RQ4: Como ocorre a interação dos avatares com os usuários? ● RQ5: Quais as metodologias utilizadas no desenvolvimento desses sistemas?
O processo de busca de estudos primários consistiu em: (i) utilizar os engenhos de
buscas IEEEXplorer e ACM Digital Library para identificar potenciais locais de busca,
Uma vez identificados os artigos em potenciais a serem lidos, uma abordagem em duas etapas foi utilizada no processo de busca. A primeira etapa envolveu a seleção de estudos baseados em seus títulos, resumos e palavras-chaves. Foram considerados como estudos irrelevantes e removidos aqueles estudos que não continham nos títulos, resumos e palavras-chave alguma indicação de que o trabalho se caracterizava como relevante para o estudo. No caso de dúvida sobre a relevância do artigo com base nesses critérios, o estudo foi mantido. A segunda etapa envolveu a seleção de estudos com base em seus resumos e conclusões. É importante ressaltar que, em alguns casos a leitura de outras partes dos artigos foi realizada para se proceder à seleção.
Nas etapas de busca foram aplicados os Critérios de Inclusão (CI) e Critérios de Exclusão (CE) apresentados na Tabela 1. Os estudos semelhantes que apresentavam a evolução de uma mesma pesquisa e que continham os mesmos autores tiveram suas versões mais antigas removidas para evitar duplicações ainda durante a avaliação dos mesmos. Após isto, os dados extraídos dos artigos selecionados foram sintetizados para análise e apresentação dos resultados.
Tabela 1: Critérios de inclusão e exclusão.
CI1: Artigos publicados entre CE1: Artigos derivados da mesma pesquisa (estudos duplicados); 2010 e 2015; CE2: Documentos que estão disponíveis na forma de resumos, CI2: Artigos que citam avatares incompletos ou apresentações e estudos secundários (ou seja, virtuais que interagem revisões sistemáticas da literatura e mapeamentos sistemáticos); cognitivamente com o usuário; CE3: Artigos com conteúdo diferente dos objetivos da pesquisa. CI3: Artigos em língua inglesa. CE4: Artigos que não estejam disponíveis na Internet.
Foram utilizadas palavras-chaves para encontrar quais os melhores locais para realizar buscas manuais. As palavras utilizadas foram: Affective, Expressions e Humanlike.
Sendo assim, após as buscas foram encontrados 78 artigos. Todos os artigos tiveram seus títulos analisados, e nos casos de não compreensão total do conteúdo a partir deste tipo de análise, foram lidos também os resumos, resultando na pré-seleção de 18 artigos.
Os eventos e revistas pesquisados foram: ACM Transactions on Interactive Intelligent Systems, Affective Computing and Intelligent Interaction, Affective Computing, IEEE Transactions International Computer Science and Engineering Conference, IEEE International Symposium on Intelligent Control, Web Intelligence and Intelligent Agent Technology e IEEE Frontiers in Education.
Em seguida foi realizada uma segunda busca nos eventos dos artigos referenciados nos da busca principal, resultando em 25 artigos selecionados para análise, dos quais 7 foram pré-selecionados e incluídos posteriormente. Resultando em 20 artigos incluídos. A Tabela 2 apresenta a quantidade de artigos incluídos na revisão. As referências bibliográficas destes artigos podem ser visualizadas no link https://goo.gl/N2wBxQ.
Tabela 2: Base de dados incluída.
Fontes Busca principal Busca Secundária
Engenho de Busca Bases de Artigos Dados Retornados IEEE 55 ACM 23 Eventos 25 Total 103
Artigos selecionados 13 5 7 25
Pré- Artigos
Incluídos 11 2 7 20
Nesta fase, foram extraídos os seguintes dados sobre os artigos selecionados: título, evento, ano, autores e instituições de pesquisa. Foram extraídos também trechos dos artigos que ajudaram a responder as perguntas de pesquisa desta revisão: abordagens propostas, resumo do estudo, incluindo as principais questões de pesquisas e suas respostas, limitações, benefícios, habilidades e competências e sugestões para pesquisas futuras.
A partir da lista de publicações identificadas, os artigos foram atribuídos para um avaliador (R1), reportando os dados relevantes e conflitantes a dois pesquisadores doutores (R2 e R3) que, por fim, julgam e resolvem as discordâncias encontradas durante a pesquisa numa lista final de estudos avaliados.
Nesta seção, são apresentadas as respostas às questões de pesquisa desta RSL.
Ao analisar os estudos incluídos na RSL, foram encontrados 4 tipos diferentes de linguagens de programação utilizadas. JavaScript [E13 e E16] e C# [E3 e E5] com 2 estudos cada foram as linguagens de programação mais utilizadas para o desenvolvimento dos sistemas. HTML [E13] e C++ [E6] foram as outras linguagens encontradas, sendo reportada uma única vez em cada estudo.
Nos estudos reportados foram encontrados ainda 2 ferramentas. Os estudos [E9
e E14] apresenta o uso do EyesWeb XMI Expressive Gesture Processing Library, uma
coleção de módulos de extração em tempo real das pistas de movimento expressivo do
corpo humano, com base em uma ou mais câmaras de vídeo e sensor de outros sistemas
Já o uso da ferramenta Language and Environment for Analysis of Dynamics by
SimulaTiOn (LEADSTO) foi reportado no estudo [E13]. Esta ferramenta é um ambiente
de software que foi desenvolvido para modelar e simular processos dinâmicos
utilizando conceitos qualitativos e quantitativos,
Depois de analisar todos os estudos incluídos na RSL, as técnicas encontradas foram: Embodied Conversational Agents (ECA - Agentes Conversacionais Incorporados, em tradução livre), estudos da psicologia, teoria de Eysenck, paradigma Viewing Window, Modelo Oculto de Markov, Haptek PeoplePutty e PARADISE. A quantidade de artigos para cada técnica ilustrada na Figura 1, salientando que certos artigos possuem mais de uma técnica.
Figura 1: Técnicas reportadas nos estudos.
Nos estudos reportados, a utilização da técnica ECA foi a técnica mais utilizada.
Sete estudos relatam o uso desta técnica, correspondendo a 36.84% do total dos estudos
incluídos [E3, E4, E5, E12, E15, E16 e E17]. ECAs são sistemas digitais criados com
uma representação física antropomórfico, e capaz de ter uma conversa com uma
contrapartida humana, usando alguma inteligência artificial amplamente referido como
um “agente”,
O estudo das emoções humanas através da psicologia foi a técnica utilizada nos estudos [E8, E9, E10 e E11]. No estudo [E8], foi demonstrado que várias emoções são expressas por um conjunto de diferentes comportamentos não-verbais que incluem modalidades diferentes: expressões faciais, cabeça e movimentos do olhar [E8], gestos [E9] e os movimentos e postura do tronco [E10 e E11]. O estudo [E9], cita que os gestos do corpo têm mais possibilidades do que o facial, um ponto de partida importante para aqueles que querem desenvolver agentes faciais.
O estudo [E18] também cita o uso de estudos de psicologia para o
desenvolvimento de sistemas inteligentes capazes de expressar emoções, citando a
teoria de Eysenck,
Os três principais traços que atenderam a esses critérios foram
extroversãointroversão, neuroticismo-estabilidade emocional e psicoticismo. A dimensões de
extroversão e neuroticismo são praticamente idênticos aos traços de nome semelhante
do modelo de cinco fatores e psicoticismo corresponde a baixo afabilidade e baixa
conscienciosidade combinados,
O paradigma Viewing Window foi outra técnica encontrada, presente no estudo
[E12]. Este paradigma utiliza conjuntos de janelas. O usuário tem acesso a uma janela
maior com uma imagem que chama sua atenção e janelas menores com objetos para
serem selecionados,
Outra técnica encontrada foi o Modelo Oculto de Markov apresentado no estudo [E14]. Já o estudo [E13] relata a utilização da Haptek PeoplePutty, uma técnica para o desenvolvimento de personagens 3D de forma dinâmica, para permitir a implementação do agente virtual.
No estudo [E15] é reportada a utilização da técnica PARADISE que visa maximizar a conclusão da tarefa, minimizando ao mesmo tempo os custos de diálogo e avaliando a eficiência tanto do objetivo do diálogo (por exemplo, número de voltas) como de algumas medidas qualitativas, contidas no estudo [E15]. Os estudos [E1, E2, E6, E7, E19 e E20] não apresentaram as técnicas que foram utilizadas.
Nos estudos reportados, foi possível apresentar qual a finalidade dos estudos. Dos 20 estudos incluídos na revisão, 5 estão ligados a educação, 2 relatam a aquisição de dados para pesquisa sobre tutores virtuais animados afetivamente, porém sem propósito claro, 5 objetivam descrever técnicas de desenvolvimento de tutores animados e 10 descrevem a ferramenta e suas funções sem deixar claro o propósito.
Dos cinco estudos que estavam ligados à educação [E3, E14, E15, E17 e E20], o estudo [E3] foi utilizado como sistema de tutoria inteligente, ajudando os alunos a compreender explicações de conceitos de física newtoniana, interagindo com os usuários em linguagem natural. Este sistema foi projetado para ser utilizado na Web. O estudo [E14] relata o impacto de tutores virtuais animados no estado emocional dos alunos. Além desses, os estudos [E15, E17 e E20], mencionam o uso de agentes pedagógicos no contexto educativo. Nenhum dos outros artigos selecionados especificam claramente o propósito do agente utilizado.
Alguns sistemas foram desenvolvidos para testes e coleta de dados para a pesquisa [E8 e E18]. Estes sistemas apresentam estados emocionais dinâmicas respondendo de acordo com a interação, análise de dados ou configurações de uso. Estes estudos foram validados através de filmagem das aplicações que foram apresentados para as pessoas que avaliaram o realismo dos estados emocionais.
Alguns artigos apresentam, como objetivo principal da pesquisa, descrições sobre técnicas de desenvolvimento [E4, E11, E13, E15 e E18], abordadas na RQ2. Outros artigos apresentam apenas o desenvolvimento dos sistemas [E1, E2, E5, E6, E9, E10, E12, E14, E16, E17 e E19], sem obrigatoriamente descrever como foram desenvolvidos não ficando claro os seus propósitos.
A principal forma de interação dos sistemas com o usuário ocorre por câmeras, microfones e caixas de seleção, permitindo obter os dados necessários para ativação dos estados emocionais.
A maioria dos agentes não têm as características de expressão facial e/ou expressão corporal humano ou animal. Dois artigos [E4 e E12] apresentam pontos interessantes para esta pesquisa, porque descrevem aplicações importantes para o realismo dos agentes incorporados. O estudo [E4] descreve o sorriso e o [E12] o olhar. De acordo com o artigo [E12], os seres humanos buscam contato com os olhos ao interagir com outro ser humano ou com um agente virtual humanizado. Por esta razão, o documento descreve um sistema que o avatar segue o olhar do utilizador, aumentando a interação e realismo do sistema. Outro artigo [E4] tem usa o sorriso para cativar o usuário do sistema.
A principal característica observada em todos os sistemas é a capacidade de expressar emoções e gestos humanos e de animais, tais como os estudos [E6, E10, E12, E14, E16 e E19], tomando decisões sobre quais estados emocionais usar, de acordo com os dados do usuário capturados por câmeras.
Em todos os artigos não existem claramente a descrição das metodologias utilizadas no desenvolvimento dos sistemas. Porém as análises dos artigos permitiram levantar algumas informações como a predominância do uso de câmeras para capturar as expressões ou gestos dos usuários, bem como o uso de microfones.
Os sistemas que utilizam câmeras, captam gestos e alguns são capazes de analisar pontos no rosto dos usuários, permitindo criar dados sobre expressões e prever estados emocionais. A característica de prever estados emocionais também foi destacada no uso de microfones, analisando as variações bruscas nas ondas sonoras da voz.
Em geral, os sistemas que apresentam características humanas ou animais buscam o realismo ou características cativantes, visando prender a atenção e manter o usuário interessado no sistema. Exemplos reportados, como [E4 e E12], utilizam os estudos do comportamento humano para criar um “clima” amigável de interação.
Guiada pelas suas questões de pesquisa, esta RSL buscou recolher dados relacionados com a utilização de Sistemas Tutores Virtuais aplicando conceitos da Computação Afetiva, incluindo os tipos de agentes normalmente utilizados, como são implementadas, onde e como eles estão sendo aplicados, e se esta aplicação está relacionada à educação. Para obter estas informações, a pesquisa foi realizada nos engenhos de busca IEEE e ACM, através de seus motores de busca e, em seguida, pesquisas manuais. Finalmente, dos 85 artigos (78 em busca automática e 7 em busca manual) analisados de acordo com os critérios de inclusão e exclusão, resultou em 20 artigos selecionados.
Em seguida, os artigos foram submetidos a leitura por pesquisadores que levantaram os resultados sobre as questões de pesquisas. Entre os anos de 2010 a 2015 não encontramos muitas publicações sobre o assunto de agentes incorporados com visor virtual que expressa emoções nos engenhos de busca selecionados.
Esta seção descreve os objetivos e características dos sistemas analisados na RSL. A maior parte dos artigos incluídos na RSL estão ligados a apresentação de técnicas de interação entre o sistema e os usuários.
Os objetivos dos trabalhos refletem as características dos sistemas. São sistemas que interagem com o usuário através de personagens virtuais em sua maioria humanizados, capazes de fixar o olhar nos olhos do usuário, sorrir, ficar bravo e acenar. Em sua maioria utilizam ferramentas de captura de dados como câmeras e microfones para adquirir as informações necessárias para ativar os estados emocionais. Porém, também foram descritos sistemas estáticos, que interagem através de toques em botões ou quadros na tela e sistemas que tinham o objetivo de validar o realismo dos estados emocionais. Por último, a característica de interpretar conjuntos de ações do usuário baseado em escolhas.
Dentro da educação, as características destes sistemas, permitem uma maior imersão dos usuários, pois estas características causam a impressão de que estes realmente estão sendo acompanhados durante as aulas por um tutor real, permitindo assim a diminuição da demanda por atendimentos via professores reais no acompanhamento dos alunos dentro e fora da sala de aula.
No geral, as principais ameaças à validade da RSL são em relação ao viés de seleção de publicações e aos dados imprecisos extraídos. As pesquisas foram concebidas empregando principalmente recursos eletrônicos. Estes foram pesquisados após a implementação de pesquisas experimentais, buscas manuais e utilização de dicionários de sinônimos. Apesar disso, não é possível garantir que todos os estudos relevantes para o tema em discussão foram coletados e há um pequeno risco de que alguns estudos podem ter sido omitidos, devido aos termos de busca utilizados. O processo de extração de dados também pode resultar em dados irrelevantes. Isto pode ocorre, porque o processo de extração de dados foi realizado por apenas um pesquisador. O desenvolvimento de um protocolo da RSL e o uso de uma estratégia de verificação da qualidade da revisão (por um segundo e terceiro revisor) ajudou a garantir que este não era o caso.
Esta RSL buscou levantar dados sobre sistemas tutores virtuais animados ligados a computação afetiva, em que tais sistemas são dotando com características sócio afetivas através da análise e simulação de estados afetivos, como raiva, alegria e tristeza, permitindo os tutores virtuais atuarem de acordo com estes estados.
O procedimento de dotar uma ferramenta de características afetivas, pode ser realizado de diversas formas, porém, sempre relacionado ao intrínseco envolvimento entre computação, psicologia, sociologia, entre outros ramos científicos ligados ao estudo das emoções e seus impactos nas interações interpessoais.
Em geral, os sistemas apresentaram personagens humanos, devido a capacidade natural das pessoas em reconhecer gestos e expressões em seus semelhantes, todavia, sistemas que focam na descontração também podem conter outros personagens virtuais variados, como robôs e animais.
Em sua maioria, os estudos apenas analisaram técnicas e resultados de interações entre usuários e os sistemas, relatando a eficiência e usabilidade destes. Ferramentas aplicadas a outros propósitos, como avaliar o impacto dos tutores na educação, além de estudos exploratórios, foram utilizadas principalmente em ambientes Web, devido seu alto alcance e possibilidades, como ensino continuado fora da sala de aula.
Um dos principais pontos obtidos na análise dos artigos foi o uso de câmeras e microfones para a aquisição dos dados afetivos dos usuários. Demonstrando grande eficácia para a análise das expressões faciais e corporais.
Por fim, dotar um tutor virtual com características afetivas, permite o aumento do engajamento do usuário, através das interações interpessoais que o sistema é capaz de realizar, tornando a ferramenta capaz de ser aplicada em ambientes de ensino e acompanhamento presencial ou a distância.