Smile is a demonstrator of an intelligent virtual assistant with emotion detection. It is a skill, speci cally for Amazon Alexa, that makes use of Human Language Technologies and incorporates an emotion detector. A dialog system has been designed that interacts with the user depending on the detected emotion. For the emotion detection system we have used a system that combines the application of two lexicons, taking as a premise that the system must resolve the emotion in real time to be usable as a skill.
Un Asistente Virtual Inteligente (AVI) es un
agente basado en software que tiene
habilidades de aprendizaje permanente y cuyo
objetivo consiste en ayudar a los usuarios de
sistemas computacionales a la hora de
realizar multitud de tareas, haciendo que la
interaccion entre la persona y la maquina sea
m nima
Por otro lado, un Sistema Conversacional es un programa que permite al usuario simular una conversacion con el mediante el lenguaje natural (voz o texto). Estos sistemas se caracterizan por ser menos inteligentes que los AVI ya que no siempre entienden el mensaje enviado por el usuario. Se basan en una serie de respuestas preparadas previamente.
El uso de los asistentes virtuales integrados en dispositivos comerciales (Google Home o Nest, Amazon Alexa o HomePod de Apple) ha aumentado de forma considerable en el uso domestico. Son accesibles funcional y economicamente, lo que permite el disen~o y desarrollo de aplicaciones dedicadas, por ejemplo para la mejora de la autonom a de las personas mayores. En este sentido proponemos un sistema que detecta la emocion de cada persona, pudiendo modi car la conversacion o accion en funcion de la misma.
En este trabajo presentamos Smile, un demostrador de un asistente virtual inteligente que es capaz de gestionar la conversacion con el usuario en funcion de la emocion detectada. Para el asistente inteligente hemos hecho uso de Alexa como nucleo del sistema. Para el sistema de deteccion de emociones hemos hecho uso de un sistema propio que utiliza un enfoque basado en lexicones, teniendo en Copyright © 2021 for this paper by its authors. Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0). cuenta que se trata de una aplicacion donde el tiempo de respuesta es un requisito fundamental. La Figura 1 muestra un esquema general del sistema desarrollado.
Figura 1: Smile - Esquema general. 2
Las emociones son rasgos basicos de los
humanos y ya han sido estudiadas por
investigadores de diversos campos como la
psicolog a, la sociolog a y la informatica. El
reconocimiento de emociones se enmarca dentro
del area de la Computacion Afectiva, la cual
abarca diversas disciplinas como el Analisis
de Sentimientos
En el campo de la psicolog a, existen diversas teor as de clasi cacion de emociones, las cuales se dividen en dos vertientes principales: modelos de emociones discretas y modelos de emociones dimensionales (Canales y Mart nez-Barco, 2014).
Modelos de emociones discretas. Esta
teor a de ende que existe un numero
limitado de emociones que una persona puede
experimentar. Dos de los principales
modelos de emociones discretas son el de Ekman
Modelos de emociones dimensionales. A
diferencia del modelo anterior, las emociones
son representadas en un espacio dimensional.
Los modelos mas conocidos son el de Russell
Se denomina lexicon a un diccionario o
listado de terminos representativos de una
lengua, region, etc. Los lexicones afectivos estan
formados por una lista de palabras
asociadas a una categor a de emocion (tristeza,
alegr a, miedo, etc). Para el espan~ol
encontramos actualmente escasos lexicones marcados
con emociones:
1. Linguistic Inquiry and Word Count
(LIWC)
El sistema esta formado por el desarrollo de un skill de Alexa para la parte frontend y un modulo Python para el backend.
Veamos a continuacion un ejemplo de dialogo de la aplicacion desarrollada: Usuario: \Alexa, abre Smile." Alexa: \Buenos d as, >como llevas el d a?" Usuario: \Pues muy bien, porque acabo de aprobar el carnet de conducir."
Alexa (alegr a detectada): \No tengo manos pero !choca esos cinco!. >Quieres contarme algo mas?"
Usuario: \S claro. He preparado una comida riqu sima."
Alexa (alegr a detectada): \Estupendo. Si pudiera probarla estar a encantada. >Me cuentas algo mas?"
Usuario: \No, eso es todo."
Alexa: \Vale, hasta luego." 3.1
El front-end de una skill de Amazon Alexa esta formado por diversos componentes. El Invocation Name es el nombre con el que se invocara la skill por parte del usuario; los Intents son las diferentes acciones que proporciona la skill para que el usuario las utilice. En nuestro caso, se ha creado un unico intent, el detector de emociones; Las Utterances son oraciones de nidas para cada intent y que sirven para lanzarlos. En el caso de nuestra skill, se ha de nido un unico utterance que sera el slot del mensaje que proporciona el usuario; por ultimo, los Slots son registros dentro de utterances con los que se pretende obtener informacion del usuario. En nuestra skill, existe un unico slot, que sera el mensaje que proporcione el usuario para analizar y reconocer la emocion, y que sera obligatorio.
Se ha de nido un conjunto amplio de posibles consultas con las que el skill inicia la conversacion con el usuario, entre las que encontramos \>como estas?", ´´>como te ha ido el d a?", \>como fue el d a de ayer?", etc. De esta forma se inicia una conversacion con el usuario, solicitandole mas informacion si las respuestas son frases muy cortas. Una vez obtenido el mensaje, y procesado, la skill proporcionara una respuesta al usuario y preguntara si quiere decir algo mas. En caso de reconocer un estado neutro, se volvera a realizar otra pregunta para obtener otro mensaje para analizar. En cada interaccion con el usuario el skill hace una llamada al sistema de backend, que implementa el detector de emociones.
El ultimo paso de cada iteracion con el skill consiste en dar una respuesta al usuario. Esta variara en funcion de la emocion que se haya reconocido, aportando un mensaje que ayude al usuario, le informe acerca de la emocion que siente o haga que la skill empatice con el. A continuacion se muestra la respuesta que se dara dependiendo de la emocion detectada: • Alegr a. Se refuerza esa emocion ya que es positiva. • Tristeza. Se transmite un mensaje que ayuda a animar al usuario. • Enojo. Se transmite un mensaje que ayuda a calmar al usuario. • Sorpresa. Se transmite un consejo o un mensaje que ayuda al usuario a relajarse. • Neutro. Se intenta animar al usuario a que proporcione mas informacion para poder reconocer una emocion.
Para cada emocion detectada se han de nido un conjunto amplio de respuestas que aleatoriamente interactuan con el usuario. Ademas, toda la interaccion, as como la emocion detectada en cada caso, quedan almacenados para su posterior evaluacion. 3.2
Para el sistema de clasi cacion de emociones se ha utilizado un enfoque basado en lexicones, haciendo uso de LIWC, Emolex y SEL.
Se realizo una evaluacion de estos tres
lexicones utilizando la version en espan~ol del
corpus EmoEvent
El contenido que expresa el usuario, obtenido en formato textual gracias al modulo STT (Speech To Text ) de Alexa, es procesado y se buscan coincidencias de los terminos que forman la oracion procesada. Se lleva un contador para cada emocion, al que se va sumando el peso de cada termino que represente dicha emocion y que este presente tanto en la oracion como en el lexicon. Un termino sera clasi cado en la emocion para la que obtenga una mayor puntuacion. Se tomara como resultado de la clasi cacion un estado neutro cuando no se encuentra ninguna coincidencia entre los terminos de la oracion y los lexicones o en el caso de que el valor del contador de varias emociones sea el mismo. 4
En este art culo se presenta Smile, un asistente virtual inteligente con deteccion de emociones desarrollado como skill para Amazon Alexa. Este sistema combina dos de las areas de la Informatica con mas auge en la actualidad, los AVI y el PLN. Con esta aplicacion se pretende mantener un dialogo con el usuario de forma natural, dandole una respuesta al mismo en funcion del estado an mico detectado a traves de varios recursos lexicos.
Este trabajo ha sido parcialmente nanciado por el Fondo Social Europeo, la Administracion de la Junta de Andaluc a (DOC 01073), el Fondo Europeo de Desarrollo Regional (FEDER), el Ministerio de Ciencia, Innovacion y Universidades (Beca FPI-PRE2019-089310), el proyecto LIVING-LANG (RTI2018-094653-B-C21) del Gobierno de Espan~a y el proyecto InLife FGCSIC/PSL-INTERREG/FEDER.
Canales, L. y P. Mart nez-Barco. 2014. Emotion detection from text: A survey. En Proceedings of the workshop on natural language processing in the 5th information systems research working days (JISIC), paginas 37{43.