The objective of this PhD is to analyse and develop a new semi-automatic methodology with the aim of tackling one of the most important challenges in textual emotion detection: emotional annotation. The development of emotional corpora is crucial for improving the current emotional recognition systems, thus allowing us to analyse and evaluate people's emotions more precisely. This information and the patterns of these emotions provide a great value for politics, society, businesses or education. Therefore, the development of new resources and methodologies will allow us to improve the current emotion detection systems. Accordingly, this thesis proposes a semi-automatic methodology with the aim of improving the quality of emotional corpora and overcoming the cost and time-consuming shortcoming of manual annotation.
En este campo de investigaci´on, existen diferentes aproximaciones de sistemas de reconocimiento de emociones, pero la mayor´ıa de ellas han sido llevadas acabo mediante aprendizaje autom´atico supervisado. El entrenamiento de estos algoritmos implica la anotacio´n de grandes cantidades de datos con categor´ıas emocionales. Siendo este uno de los retos ma´s importantes en este campo de investigaci´on, ya que no es una tarea trivial debido a que la deteccio´n de emociones en texto escrito puede ser un reto incluso para los seres humanos.
La mayor´ıa de investigaci´on llevada a
cabo hasta el momento ha demostrado los
retos existentes en la anotaci´on de corpus
emocionales, como por ejemplo, la obtenci´on de
acuerdo entre los anotadores o el tiempo y
el coste asociado para su desarrollo. Esto
es debido al hecho de que la anotaci´on
manual puede estar influenciada por un
conjunto de factores, como la claridad de la gu´ıa de
anotaci´on, la dificultad de la tarea o el
entrenamiento de los anotadores
Como consecuencia, el nu´mero de corpus emociones disponibles en el estado de la cuestio´n es reducido y, adema´s, el taman˜o de los mismos es pequen˜o si deseamos aplicar t´ecnicas de Aprendizaje Autom´atico (Machine Learning ) o Aprendizaje Profundo (Deep Learning ).
Es por ello, que en este proyecto de tesis nos planteamos el desarrollo de una nueva metodolog´ıa semi-automa´tica para la anotacio´n de emociones, que nos permita crear corpus emocionales en diferentes g´eneros, dominios e idiomas de manera eficiente, con el objetivo de crear recursos y herramientas que nos permitan analizar y evaluar el estado emocional de los miembros de una sociedad.
La metodolog´ıa propuesta est´a compuesta de dos fases principales: 1) una pre-anotacio´n autom´atica de un conjunto reducido de las categor´ıas emocionales ma´s predominantes en cada frase; y 2) una anotaci´on manual, en la que los anotadores seleccionar´an la emocio´n dominante de cada frase entre las preseleccionadas en la primera fase.
En la siguiente seccio´n vamos a describir los corpus emocionales ma´s relevantes en el campo de deteccio´n de emociones, as´ı como trabajos previos donde se ha utilizado la t´ecnica de pre-anotacio´n en diferentes tareas de Procesamiento de Lenguaje Natural (PLN). 2
Nuestra investigaci´on se lleva a cabo desde el ´area de la Inform´atica Afectiva o Affective Computing y ma´s concretamente en su modalidad textual.
Como hemos comentado en el apartado
anterior, las aproximaciones ma´s utilizadas
en esta modalidad son basadas en
algoritmos de aprendizaje autom´atico supervisado.
Con el objetivo de crear estos sistemas en
diferentes dominios y g´eneros, varios corpus
emocionales anotados manualmente han sido
desarrollados, como por ejemplo 185 historias
infantiles anotadas con categor´ıas
emocionales
El coste temporal y econo´mico del desarrollo de un corpus es un reto compartido en muchas tareas de PLN, y la pre-anotacio´n es una de las tareas que se ha llevado a cabo para abordarlo. La pre-anotacio´n ha sido ampliamente estudiada en otras tareas de PLN, como POS-tagging o Reconocimiento de Entidades Nombradas, proporcionando mejoras en tiempo y calidad de los corpus desarrollados.
Teniendo en cuenta este contexto y considerando los retos planteados en la tarea de anotaci´on de emociones, una nueva metodolog´ıa semi-automa´tica es propuesta en este proyecto de tesis con el objetivo de mejorar tanto la calidad como el tiempo y coste asociado con el desarrollo de recursos emocionales, que nos permitan la anotaci´on de corpus emocionales a gran escala y con est´andares de fiabilidad. 3
La hipo´tesis de partida de este proyecto de
tesis es que la reducci´on autom´atica de
categor´ıas emocionales reducira´ la complejidad
de la tarea de anotaci´on y por tanto la
ambigu¨edad a la que se tienen que enfrentar los
anotadores, proponi´endoles un nu´mero
reducido de categor´ıas emocionales. Tambi´en los
trabajos previos que demuestran las mejoras
obtenidas con pre-anotacio´n en otras tareas
de PLN y el estudio de
Por ello, se propone una metodolog´ıa semi-automa´tica que est´a compuesta de dos fases principales:
ceso autom´atico donde cada frase es preanotada con un nu´mero reducido de categor´ıas emocionales.
nual donde anotadores humanos determinara´n cual es la emocio´n dominante entre las pre-seleccionadas en la primera fase.
Nuestro objetivo es lograr una alta fiabilidad en la tarea de anotaci´on de emociones reduciendo su complejidad autom´aticamente, y a su vez reducir el tiempo y el coste asociado a dicha tarea. El desarrollo de esta metodolog´ıa nos permitir´a la anotaci´on de grandes cantidades de datos de manera eficiente y con garant´ıa de est´andares de fiabilidad. 4
Como hemos mencionado en la seccio´n anterior, la metodolog´ıa que proponemos para mejorar el proceso de anotaci´on de emociones es una metodolog´ıa semi-automa´tica compuesta de dos fases principales.
La primera fase consiste en un proceso
de pre-anotacio´n en que se pre-selecciona
aquellas emociones ma´s relacionadas con
cada una de las frases. Concretamente, se
pre-anotan la mitad del nu´mero de
categor´ıas emocionales con las que estemos
trabajando. Es decir, si nuestro objetivo
es anotar con las seis emociones b´asicas de
Hemos desarrollado dos procesos de
preanotaci´on: un proceso no supervisado
basado en modelos de Sem´antica Distribucional
(Distributional Semantic Models)
La aproximaci´on no supervisada esta basada en sem´antica distribucional y est´a compuesta de dos pasos principales: 1. La representacio´n de las emociones y las
frases en un espacio sema´ntico. 2. La asociacio´n entre frases y emociones.
En el primer paso, las frases y emociones
son representados en forma de vectores
distribucionales (word embedding ). Este fase se
divide en dos pasos: 1) el pre-procesamiento
de las frases y las emociones, donde se
construyen bolsas de palabras con vocabulario
relacionado con cada una de las emociones y de
las frases que deseamos anotar; y 2) la
creaci´on de un vector distribucional por cada una
de las emociones y las frases, sustituyendo y
sumando los vectores distribucionales de las
palabras contenidas en las bolsas de palabras
creadas en el paso anterior. Para la creacio´n
de las bolsas de palabras de las emociones es
necesario un lexic´on emocional y en nuestro
caso, EmoSenticNet
En el segundo paso, se lleva a cabo la
asociacio´n entre frases y emociones calculando la
similitud sem´antica entre vectores, asociado
aquellas emociones cuya similitud
sema´ntica con cada frase es mayor. Con el
objetivo de mejorar el conjunto de emociones
preseleccionadas, en este proceso tambi´en se
utiliza la informacio´n de polaridad y
subjetividad de cada una de las frases, utilizando
para ello la herramienta Pattern
Figura 1: La representacio´n de las emociones y las frases en el espacio sema´ntico.
Respecto al proceso supervisado basado en Aprendizaje Autom´atico, hemos utilizado corpus desarrollados hasta el momento en el campo de deteccio´n de emociones para crear modelos que nos permitan pre-anotar textos nuevos. En estas aproximaciones de Aprendizaje Autom´atico, hemos utilizado diferentes conjuntos de caracter´ısticas con el objetivo de evaluar cual de ellos nos proporcionaba mejores resultados.
Ambos procesos de pre-anotacio´n, tanto
el supervisado como el no supervisado, han
sido evaluados en dos corpus emocionales:
Aman corpus
Por ello, el siguiente paso es el desarrollo de la anotaci´on manual utilizando la preanotaci´on. Es un proceso que ya hemos disen˜ado y que ser´a llevado a cabo en las pr´oximas semanas. En esta experimentacio´n, nuestro objetivos es analizar las ventajas o mejoras que nos pueda aportar la pre-anotacio´n, tanto en la calidad del corpus como en la reduccio´n del tiempo y coste necesario para su desarrollo. 5
Este proyecto de tesis se enmarca dentro del campo de Inform´atica Afectiva y Ana´lisis de Sentimiento, lo que convierte la tarea en un reto, dado que tenemos que abarcar problemas como la iron´ıa o la subjetividad. Considerando, por tanto, esta situaci´on, surgen algunas cuestiones cuya puesta en comu´n resultar´ıa interesante: ¿Qu´e conjunto de caracter´ısticas podemos incorporar al proceso de preanotaci´on basado en Aprendizaje Automa´tico para mejorar dicho proceso? ¿Qu´e otras t´ecnicas no supervisadas podr´ıamos aplicar para mejorar el proceso de pre-anotacio´n? ¿Qu´e otras t´ecnicas podr´ıamos utilizar para alcanzar nuestro objetivo? ¿Podr´ıa ser Active Learning una buena t´ecnica para abarcar nuestro proyecto? Estudios psicol´ogicos muestran que las personas expresan sus emociones segu´n su cultura e idioma. Por tanto, ¿es necesario crear recursos emocionales teniendo en cuenta el idioma? o ¿una simple traducci´on entre recursos es suficiente?
Quiero agradecer al programa de Formaci´on de Personal Investigador (FPI) del Ministerio de Econom´ıa y Competitividad del Gobierno de Espan˜a por su apoyo a trav´es de una de sus becas pre-doctorales de investigaci´on (BES2013-065950) y por su apoyo a trav´es del proyecto REDES (TIN2015-65136-C02-2-R) y RESCATA (TIN2015-65100-R). Tambi´en, quiero agradecer el apoyo de la Generalitat Valenciana a trav´es del proyecto PROMETEOII/2014/00, la Universidad de Alicante con el proyecto GRE16-01: “Plataforma inteligente para recuperaci´on, ana´lisis y representacio´n de la informacio´n generada por usuarios en Internet” y a las ayudas de la Fundacio´n BBVA para equipos de investigaci´on cient´ıfica 2016 a trav´es del proyecto “An´alisis de Sentimientos Aplicado a la Prevenci´on del Suicidio en las Redes Sociales” (ASAP).