This paper introduces the polarity classi cation system used by the SINAI team for the task 1 at the TASS 2017 workshop. This year, we have tried two new approaches to the polarity classi cation problem in Spanish, so three experiments have been accomplished: SVM classi cation over word embeddings, same as before, but adding word embeddings from user's timeline, and a new approach applying a neural network with a deep architecture. Results show that the rst approach is the best.
En este trabajo describimos las aportaciones
realizadas para participar en la tarea 1 del
taller TASS (Sentiment Analysis at global
level), en su edicion de 2017
Nuestros resultados demuestran que el rendimiento del sistema de clasi cacion puede verse sensiblemente mejorado gracias a la introduccion de estos datos en la generacion del modelo de palabras, no as en el entrenamiento del clasi cador de polaridad nal.
La tarea del TASS en 2017 denominada Sentiment Analysis at global level consiste en el desarrollo y evaluacion de sistemas que determinan la polaridad global de cada tweet del corpus general. Los sistemas presentados deben predecir la polaridad de cada tweet uti
1Puede descargarse http://crscardellino.me/SBWCE/ desde
Copyright © 2017 by the paper's authors. Copying permitted for private and academic purposes. lizando 4 etiquetas de clase (P, N, NEU, NONE).
El resto del art culo esta organizado de la siguiente forma. El apartado 2 describe el estado del arte de los sistemas de clasi cacion de polaridad en espan~ol, con una revision breve a las distintas ediciones de TASS. A continuacion, se describe el sistema desarrollado y en el apartado 4 los experimentos realizados, los resultados obtenidos y el analisis de los mismos. Finalmente, en el ultimo apartado exponemos las conclusiones y el trabajo futuro. 2
La mayor parte de los sistemas de clasi cacion de polaridad estan centrados en textos en ingles. Para textos en espan~ol, el sistema mas completo, en cuanto a tecnicas lingu sticas aplicadas, posiblemente sea The Spanish SO Calculator (Brooke, To loski, y Taboada, 2009), que ademas de resolver la polaridad de los componentes clasicos (adjetivos, sustantivos, verbos y adverbios) trabaja con modi cadores como la deteccion de negacion o los intensi cadores.
Los algoritmos de aprendizaje profundo
(deep-learning en ingles) estan dando
buenos resultados en tareas que parec an
haberse estancado (Bengio, 2009). Estas tecnicas
tambien son de aplicacion en el
procesamiento del lenguaje natural (Collobert y Weston,
2008), e incluso ya existen sistemas
orientados al analisis de sentimientos, como el de
Socher et al.
En la edicion de TASS en 2012 el equipo
que obtuvo mejores resultados
En la edicion de TASS en 2013 el mejor equipo (Fernandez et al., 2013) tuvo todos sus experimentos en el top 10 de los resultados, y la combinacion de ellos alcanzo la primera posicion. Presentaron un sistema con dos variantes: una version modi cada del algoritmo de ranking (RA-SR) utilizando bigramas, y una nueva propuesta basada en skipgrams. Con estas dos variantes crearon lexicones sobre sentimientos y los utilizaron junto con aprendizaje automatico (SVM) para detectar la polaridad de los tweets.
En 2014 el equipo con mejores resultados
en TASS se denominaba ELiRF-UPV
El equipo ELiRF-UPV
Tal y como se re eja en el resumen de
las actas
(w2v-nouser )
Word2Vec2 es una implementacion de la
arquitectura de representacion de las palabras
mediante vectores en el espacio continuo,
basada en bolsas de palabras o n-gramas
concebida por Tomas Mikolov y sus
colaboradores
Tal y como se ha indicado, para obtener los vectores Word2Vec representativos para cada palabra hay que generar un modelo a partir de un volumen de texto grande. Para ello, hemos utilizado el corpus SBWCE (Cardellino, 2016), que consiste en un recopilacion de textos desde diversos corpus y fuentes (Wikipedia, Ancora, OPUS Project...) con un total de casi 1.500 millones de palabras. Hemos utilizado el modelo que facilita este autor, que ha sido generado con los siguientes parametros de Word2Vec:
Modelo skip-gram con negative-sampling M nima frecuencia de palabra de 5 El valor para las palabras \ruido" en negative-sampling es de 20 Las 273 palabras mas comunes fueron reducidas El numero de dimensiones nales de los vectores de palabras es de 300
De esta forma, a diferencia de nuestras
propuestas anteriores, optamos por un
modelo de vectores de palabras ya preparado. En
cualquier caso, seguimos representando cada
tweet con el vector resultado de calcular la
media de los vectores Word2Vec de cada
palabra en el tweet y su desviacion t pica (por
lo que cada vector de palabras por modelo
es de 600 dimensiones). Se lleva a cabo una
simple normalizacion previa sobre el tweet,
eliminando repeticion de letras y poniendo
todo a minusculas. La segunda fase de
entrenamiento utiliza el algoritmo SVM y se
entrena con la coleccion de entrenamiento
facilitada por la organizacion, a diferencia de
la coleccion de tweets con emoticonos
usada en 2016
informacion de usuario (w2v-user ) Como segundo experimento hemos llevado a cabo una recopilacion de los timeline de los usuarios. De esta forma, obtenemos mediante el uso de la API de Twitter los 200 ultimos tweets de ese usuario. Con estos microtextos generamos un texto completo sobre el que calculamos tambien el vector de palabras medio. Esta informacion se concatena a los vectores de palabras de cada tweet en entrenamiento, desarrollo y test. Indicar que en nuestros experimentos hemos usado tanto la particion de entrenamiento como de desarrollo como un unico conjunto de entrenamiento.
De esta manera, tenemos vectores de 1.200 dimensiones (300 de la media de los vectores de cada palabra, 300 de las desviaciones t picas de esas dimensiones y, de igual forma, otro par de 300 mas 300 asociado al historico reciente del usuario). Nuestra pretension con este sistema es incorporar a los usuarios en el entrenamiento, creando un modelo para cada uno de ellos, que vendra expresado en w2v con su vocabulario y expresiones, concatenando estas componentes con el vector del tweet que se intenta etiquetar, como forma para reconocerlos en los tweets y a nar el modelo a los propios usuarios. 3.3
arquitectura profunda
completa (embed-rnn y
t df-rnn )
Como tercer experimento hemos realizado
una primera implementacion de una red
neuronal profunda sencilla. Para ello hemos
utilizado la biblioteca de deep learning para
Python denominada Keras4. Nuestra red
neuronal se alimenta directamente de los textos de
los tweets, con una primera capa que
calcula los vectores de palabras, una segunda que
utiliza una red recurrente LSTM clasica tal y
como esta de nida en
La capa nal que genera las polaridades es una capa totalmente conectada (dense layer ) con cuatro nodos, uno por clase (P, N, NEU, NONE), con una funcion de activacion "softmax"de tal forma que el peso en cada neurona de salida es equivalente a la "probabilidad"de pertenencia a la clase que la red asigna el texto de entrada. En la Figura 1 puede verse la con guracion completa de la red propuesta.
Figura 1: Topolog a de la red neuronal profunda
La red as con gurada se ha entrenado
mediante el metodo de optimizacion estocastico
por grandiente ADAM
Dado que no es viable entrenar una capa de vectores de palabras (word embeddings) con tan pocos datos, hemos realizado una segunda implementacion introduciendo directamente a la red LSTM atributos obtenidos siguiendo un modelo clasico TF.IDF. Este experimento es el que hemos denominado t dfrnn. 4
Los resultados segun las medidas de Accuracy y Macro F1 obtenidas se muestran en la Tabla 1. Nuestro mejor resultado (w2v-nouser ) ocupa la posicion 16 del total de 48 runs enviados por todos los participantes.
w2v-nouser w2v-user embed-rnn t df-rnn
57,5 % 56,9 % 33,3 % 40,4 %
44,2 % 42,8 % 39,1 % 14,4 % Tabla 1: Resultados obtenidos sobre la coleccion InterTASS
La introduccion de caracter sticas de usuario (w2v-user ) no ha mejorado los resultados con respecto a w2v-nouser, aunque tampoco ha llevado a un empeoramiento signi cativo de los mismos. Consideramos que, tal y como se han generado los vectores de usuario (ver descripcion en la Seccion 3.3), estas caracter sticas an~aden algo de ruido, en lugar de permitir al clasi cador a nar sobre la decision de polaridad nal. Como comentamos en las conclusiones, queremos seguir estudiando la mejor forma de incorporar la informacion de usuario en el vector de tweet, pues en otros trabajos esto s ha llevado a una mejor a del sistema (Garc a-Cumbreras, Montejo-Raez, y D az-Galiano, 2013). Tal vez sea conveniente una formula que sintetice mejor el caracter del autor.
Con respecto al uso de arquitecturas profundas en redes neuronales, no encontramos tampoco una mejor a con respecto al primer experimento. En este caso, dadas las caracter sticas de estas redes, consideramos que el motivo es la escasa informacion utilizada para su entrenamiento, con poco mas de 1500 tweets. Esto se evidencia al descartar la primera capa, en la que se entrenan los vectores de palabras, y sustituirla directamente por los pesos TF.IDF. La capa LSTM, no obstante, puede que no haya sido capaz de entrenarse adecuadamente. Una posible solucion a esto es entrenar esa capa con mas textos (un corpus de tweets mayor) y luego reajustarla con los datos de entrenamiento. Al revisar las matrices de confusion para cada experimento encontraremos que los cuatro sistemas propuestos tiene principalmente di cultades con la etiqueta NEU (neutral). Esto puede entenderse desde el punto de vista semantico, ya que esta etiqueta indica que hay una opinion en el tweet (es decir, una carga emocional determinada) pero que dicha opinion no es claramente positiva o negativa. La relativa ambiguedad de esta etiqueta es una di cultad y un reto para los algoritmos expuestos. 5
La experiencia que ganamos en la edicion anterior nos desaconsejaba usar la coleccion de tweets etiquetada con emoticonos, ademas, ante la disponibilidad de una nueva coleccion en esta edicion del TASS, hemos optado por descartar esa posibilidad.
S que tambien nos resulto interesante la
incorporacion de texto no formal (tweets)
para la generacion de los modelos de palabras
en los experimentos de 2016. Hemos optado
por usar solo el modelo de SBWCE dado su
taman~o, si bien los textos no son tan
informales como los que pueden obtenerse con una
recopilacion de Twitter. Nos planteamos esta
posibilidad para el an~o que viene usando, por
ejemplo, alguno de los modelos ya generados
como el de Godin y sus colaboradores
En el proceso de analisis de los resultados, re exionamos sobre la viabilidad de usar otros tipos de medidas de agregacion diferentes a la media. Consideramos que hacer una media aritmetica sobre los vectores de todas las palabras de un tweet puede no ser lo deseable segun se trate de obtener un vector representativo del tweet o representativo del usuario. Puede que, de nuevo, una red neuronal sea capaz de representar al usuario, usandola como transductor.
S que hemos realizado una primera exploracion en arquitecturas profundas, tal y como nos propusimos en la participacion anterior como tarea pendiente, pero los resultados no son prometedores. Esto era de esperar, sobre todo en la primera capa de la red neuronal en la que se calculan los vectores de palabras, ya que una coleccion de poco mas de 1.500 tweets es claramente insu ciente para entrenar este tipo de redes, donde el uso de gigabytes de texto son la practica habitual. Para ello, tenemos como experimento a realizar en breve el alimentar la red neuronal implementada con Keras directamente con los vectores de palabras que obtenemos de SBWCE.
Este estudio esta parcialmente nanciado por el proyecto TIN2015-65136-C2-1-R otorgado por el Ministerio de Econom a y Competitividad y por el Ministerio de Educacion, Cultura y Deporte (MECD - ayuda FPU014/00983) del Gobierno de Espan~a.
Bengio, Yoshua. 2009. Learning deep architectures for ai. Foundations and trends in Machine Learning, 2(1):1{127.
Brooke, Julian, Milan To loski, y Maite Taboada. 2009. Cross-linguistic sentiment analysis: From english to spanish. En Galia Angelova Kalina Bontcheva Ruslan Mitkov Nicolas Nicolov, y Nikolai Nikolov, editores, RANLP, paginas 50{54. RANLP 2009 Organising Committee / ACL. Cardellino, Cristian. 2016. Spanish Billion
Words Corpus and Embeddings, March. Cliche, Mathieu. 2017. Bb twtr at semeval2017 task 4: Twitter sentiment analysis with cnns and lstms. En Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017), paginas 573{580, Vancouver, Canada, August. Association for Computational Linguistics.
Collobert, Ronan y Jason Weston. 2008.
A uni ed architecture for natural language processing: Deep neural networks with multitask learning. En Proceedings of the 25th International Conference on Machine Learning, ICML '08, paginas 160{167, New York, NY, USA. ACM.
D az-Galiano, M.C. y A. Montejo-Raez. 2015. Participacion de SINAI DW2Vec en TASS 2015. En In Proc. of TASS 2015: Workshop on Sentiment Analysis at SEPLN. CEUR-WS.org, volumen 1397. Fernandez, Javi, Yoan Gutierrez, Jose M.
Gomez, Patricio Mart nez-Barco, Andres Montoyo, y Rafael Mun~oz. 2013. Sentiment analysis of spanish tweets using a ranking algorithm and skipgrams. En In Proc. of the TASS workshop at SEPLN 2013. Garc a-Cumbreras, Miguel Angel, Arturo Montejo-Raez, y Manuel Carlos D azGaliano. 2013. Pessimists and optimists: Improving collaborative ltering through sentiment analysis. Expert Systems with Applications, 40(17):6758{6765.