This paper describes the participation of ITAINNOVA at sentiment analysis at Tweet level task within TASS 2018 workshop. This work explores current state of the art models used in deep learning for modelling and classi cation tasks over text. It analyzes convolutional neural models (CNN), Long short Term Memory (LSTM), Bidirectional LSTM (BI-LSTM) and an hybrid approach of CNN-LSTM, for its use in sentiment analysis on Twitter data. CNN-LSTM combination has been chosen as it integrates the bene ts provided from both models. Finally, obtained results are presented and a possible future work line which combines this architecture with the algorithm presented in the previous TASS edition.
El taller de Analisis de Sentimiento celebrado
en el marco del congreso internacional de la
sociedad espan~ola para el procesamiento del
lenguaje natural (SEPLN), es un importante
punto de encuentro para profesionales e
investigadores en el que compartir y discutir
nuevos avances en el campo del PLN en
general y del analisis de sentimiento en
particular
Copyright © 2018 by the paper's authors. Copying permitted for private and academic purposes. cacion multiclase basado exclusivamente en la variedad de espan~ol hablado en Espan~a, utilizando para ello el dataset InterTASS ES junto con un subconjunto del corpus general utilizado desde las primeras ediciones, que permitira predecir la polaridad de los tweets en base a cuatro niveles: P (Positiva), N (Negativa), NEU (Neutra), NONE (sin opinion).
Finalmente los resultados obtenidos nos permitiran comprobar la capacidad de generalizacion del modelo a las otras variantes de espan~ol.
Nuestro grupo cuenta con experiencia de participacion en ediciones anteriores de talleres de analisis de opinion (Montan~es Salas et al., 2017)(del Hoyo Alonso et al., 2015).
En ellas veri camos y desarrollamos recursos
para el procesado del texto previo a su clasi
cacion, tales como la generacion de un
diccionario afectivo, y experimentamos con el
algoritmo FastText, capaz de aprender e
cientemente representaciones de palabras partiendo
de corpus de taman~o reducido. En el taller
de 2017
Las conclusiones extra das en dicha edicion han motivado que en nuestra participacion en el taller de 2018 hayamos centrado nuestro desarrollo en el estudio e implementacion de un algoritmo basado en una combinacion de este tipo de redes neuronales. Los resultados obtenidos nos permiten comprobar la capacidad de aprendizaje de este tipo de algoritmos en esta tarea de procesamiento del lenguaje natural.
Este art culo se organiza como sigue. En la seccion 2 se presenta el conjunto de trabajos relacionados que han inspirado la aproximacion propuesta. En la seccion 3 se describe la implementacion realizada y en la seccion 4 se presentan los resultados experimentales obtenidos. Finalmente, en la seccion 5 se recogen las conclusiones de nuestro estudio practico y se presentan posibles l neas de trabajo futuro a abordar. 2
La investigacion actual en el area de deep
learning ha dado lugar al desarrollo de
diversos tipos de redes neuronales que presentan
unas caracter sticas optimas para el
aprendizaje de ciertos tipos de informacion. Por
ejemplo, las redes convolucionales (CNNs)
han demostrado su excepcional capacidad de
aprendizaje en el area de vision por
computador, donde es necesario extraer
correlaciones locales en estructuras espacio-temporales
para el reconocimiento y clasi cacion de
objetos
Adicionalmente, en el campo del
procesado de texto, la necesidad de realizar un
correcto tratamiento de este tipo de datos para
su posterior uso en algoritmos de
Inteligencia Arti cial, ha sido estudiada
extensamente, desde el punto de vista del analisis de
sentimiento en general
La solucion propuesta en el taller de 2017 (Montan~es Salas et al., 2017) ten a su fundamento en dos de las anteriores aproximaciones, por un lado la aplicacion de un algoritmo basado en el uso de representaciones de palabras (word embeddings enriquecidos con informacion de n-gramas) y por otro lado la aplicacion de una fase previa de procesado de texto que mejoro ligeramente los resultados obtenidos, por lo que, siguiendo un planteamiento similar, se ha decidido continuar trabajando con dichas aproximaciones e ir un paso mas lejos con el uso de arquitecturas de deep learning. 3
Previamente a la eleccion del algoritmo nal utilizado, se han realizado varias pruebas de concepto con la intencion de veri car la benevolencia de la hibridacion de tecnicas convolucionales y recurrentes en el procesado de lenguaje natural. Para ello, por un lado, se han estudiado varios algoritmos convolucionales y recurrentes, en particular, una red neural convolucional (CNN), una red neuronal recurrente LSTM y una red recurrente LSTM bidireccional (BILSTM) y, por otro lado, el algoritmo h brido que combina la red convolucional con la red recurrente LSTM. Los conjuntos de entrenamiento y desarrollo usados son los utilizado en la tarea (InterTASS ES). Las metricas de accuracy se muestran en la tabla 1.
Red CNN LSTM CLSTM BLSTM
0.695114 0.654723 0.715961 0.682736
0.463303 0.441964 0.471964 0.426339
Como se ha adelantado en la seccion
anterior, las redes neuronales CNN y LSTM son
algoritmos que ofrecen resultados
satisfactorios en el estado del arte actual del analisis de
opinion. La solucion propuesta permite
combinar estos dos algoritmos, bene ciandose de
las ventajas de ambos: la extraccion de
terminos relevantes y correlaciones a nivel local de
las redes convolucionales junto con la
capacidad de aprendizaje sobre secuencias de datos
temporales y la estabilidad de las LSTMs. El
algoritmo propuesto se basa en la publicacion
Los resultados obtenidos que se muestran en la tabla 1 ponen de mani esto que la solucion h brida (CLSTM) es la mejor opcion.
La implementacion del sistema se ha llevado a cabo en Python, haciendo uso de la librer a Tensor ow con soporte para GPU. 3.1
Modelo C-LSTM
A la vista de los resultados expuestos, el
sistema elegido para la participacion en el taller
de este an~o es una implementacion del
modelo C-LSTM descrito por
Como paso previo al entrenamiento del modelo de analisis de sentimiento, el sistema calcula de forma no supervisada la representacion vectorial del vocabulario presente en el corpus, creando un conjunto de word embeddings con los que se generara la representacion matricial de las sentencias que alimentan el sistema. La red convolucional que recibe dicho input, aplica un ltrado convolucional segun los taman~os de ltros de nidos, generandose varios mapas de features que son reorganizados secuencialmente obteniendo una representacion del texto a un nivel conceptual mas alto que los embeddings. La red LSTM, compuesta por un conjunto de celdas que se de nira en la con guracion, recibe estas features como entrada, y se encarga determinar que informacion almacena en la memoria de cada celda o descarta en cada paso temporal de la secuencia, capturando de este modo dependencias a corto y largo plazo en las sentencias. La salida del modelo viene dada por la ultima capa oculta de la red LSTM. 3.2
Preprocesado de texto Adicionalmente, y del mismo modo que en la edicion TASS 2017, se ha realizado un preprocesado de los textos, aplicando las siguientes tecnicas:
Eliminacion de patrones como URLs, emails, menciones, etc., t picos en publicaciones de redes sociales.
Sinonimos basados en diccionarios emocionales.
Las etapas de lematizacion, eliminacion de stopwords y aplicacion de sinonimos basados en diccionarios emocionales, utilizan recursos propios desarrollados para el espan~ol hablado en Espan~a, por lo que se ha llevado a cabo esta fase en el experimento monolingue con el objetivo de comprobar su efectividad en el contexto de las redes neuronales profundas. 4
En la Tabla 2 se muestran los resultados obtenidos en las subtareas evaluadas por ITAINNOVA.
Los dos modelos (cl-base y cl-proc) se han
entrenado con el mismo conjunto de
hiperparametros, elegidos a partir de las
recomendaciones expuestas en
Numero de capas: 2 (1 CNN + 1 LSTM)
Si bien nuestro sistema no ha quedado dentro del ranking de los 10 mejores respecto al resto de sistemas presentados en esta edicion, los resultados obtenidos se aproximan a lo resultados publicados en el paper de referencia para la clasi cacion de polaridad en 5 niveles. Tras analizar los resultados de la evaluacion observamos que el modelo presenta ciertas de ciencias en la clasicacion de publicaciones como NEU y NONE, clases semanticamente y conceptualmente muy proximas y por tanto dif ciles de clasi car. Aunque pensamos que su diferenciacion podr a ser factible usando un modelo de representacion de palabras que disponga de un vocabulario mas extenso modelizando de forma mas precisa el lenguaje espan~ol.
Asimismo, el experimento monoligue
realizado, nos indica que en este caso, el
preprocesado de los textos no mejora la prediccion
del sentimiento. Idea que ya apuntaba
En cuanto a los experimentos entre variantes del espan~ol, aplicando el modelo de Espan~a a los textos de Peru (PE) y Costa Rica (CR), se observa que el sistema es bastante robusto a las diferencias lexicas y gramaticales que se pueden presentar en estos textos cortos. 5
En este art culo se ha presentado la aproximacion llevada a cabo por el equipo de ITAINNOVA en el TASS 2018. Dicha aproximacion ten a como objetivo principal la aplicacion de tecnicas basadas en redes neuronales profundas para la clasi cacion de la polaridad en tweets. Los resultados obtenidos de la aplicacion de algoritmos de CNN y LSTM y un algoritmo h brido combina ambos algoritmos mostraron obtener una mayor metrica de accuracy en el algoritmo h brido, razon por la que dicho algoritmo fue el elegido como solucion propuesta a la tarea.
El conjunto de entrenamiento sobre el que se ha trabajado es el INTERTASS ES uni cado con un subconjunto de las publicaciones del corpus general. Los resultados obtenidos en la tarea 'Monolingual ES' muestran que el preprocesado de textos considerado no mejora la prediccion del sentimiento. Por otro lado, se observa que el algoritmo entrenado solamente con el conjunto de datos en espan~ol de Espan~a produce resultados similares en el conjunto de test de textos de Peru y Costa RiAlgoritmo
cl-base cl-proc cl-base cl-base ca. No obstante, la solucion propuesta no ha conseguido quedarse en el ranking de las 10 propuestas con mejores valores en las metricas, obteniendo incluso metricas inferiores a las obtenidas en la solucion que propusimos en la tarea de 2017 (Montan~es Salas et al., 2017).
En base a los resultados obtenidos en
dicha tarea y en la tarea de 2017 en la que
participamos, vemos la necesidad de
aumentar el corpus en este tipo de redes o la
utilizacion de modelos de word embedding mas
extensos para introducir mas informacion al
sistema. Consideramos explorar una posible
l nea de trabajo futuro que podr a conducir
a la participacion en esta tarea de analisis de
sentimiento de proximas ediciones con un
algoritmo que integre las aspectos mas valiosos
de las aproximaciones consideradas. En
concreto, se aplicar a el algoritmo de FastText
utilizado en la tarea de 2017 para la
representacion vectorial de los tweets que ademas
ofrece una e ciencia computacional bastante
elevada. Posteriormente se aplicar a el
algoritmo h brido de CNN y LSTM para la
clasicacion, redes neuronales profundas con gran
potencial en tareas de procesamiento de
lenguaje natural y que, como se ha
demostrado en nuestros resultados y en
del Hoyo Alonso, R., V. Rodrigalvarez Chamarro, J. Vea-Murgu a Merck, y R. M. Montan~es Salas. 2015. Ensemble algorithm with syntactical tree features to improve the opinion analysis. En Proceedings of TASS 2015: Workshop on Sentiment Analysis at SEPLN, volumen 1397 de CEUR Workshop Proceedings, paginas 53{58, Alicante, Spain, September.
CEUR-WS.