This paper introduces the polarity classi cation system used by the SINAI-DW2Vec team for the task 1 at the TASS 2015 workshop. Our approach does not follow the Vector Space Model nor applies syntactic or lexical analyses. This solution is based on a supervised learning algorithm over vectors resulting from concatenating two di erent weighted vectors. Those vectors are computed using two di erent, yet related, algorithms: Word2Vec and Doc2Vec. The rst algorithm is applied so as to generate a word vector from a deep neural net trained over Spanish Wikipedia. For Doc2Vec, the vector is generated with paragraph vectors (instead of word vectors) from a neural net trained over the tweets of the training collection. The experiments show that the combination of both vector distributions leads to better results rather than using them isolated.
En este art culo describimos el sistema
construido para participar en la tarea 1 del
workshop TASS (Sentiment Analysis at global
level), en su edicion de 2015
Esta investigacion ha sido subvencionada parcialmente por el proyecto del gobierno espan~ol ATTOS (TIN2012-38536-C03-0), por la Comision Europea bajo el Septimo programa Marco (FP7 - 2007-2013) a traves del proyecto FIRST (FP7-287607). utilizado con buenos resultados el an~o anterior, junto con la tecnica Doc2Vec que nos permite representar un trozo variable de texto, por ejemplo una frase, en un espacio n-dimensional. Por lo tanto, utilizando Word2Vec generamos un vector para cada palabra del tweet, y realizamos la media de dichos vectores para obtener una unica representacion con Word2Vec. A dicho vector le concatenamos el vector obtenido con el modelo Doc2Vec, para generar una unica representacion del tweet. Una vez obtenidos los vectores de todos los tweets utilizamos un proceso de aprendizaje supervisado, a partir del conjunto de entrenamiento facilitado por la organizacion y el algoritmo SVM. Nuestros resultados demuestran que el uso conjunto de Publicado en http://ceur-ws.org/Vol-1397/. CEUR-WS.org es una publicación en serie con ISSN reconocido ambas tecnicas mejora los resultados obtenidos utilizando solo una de las tecnicas presentadas.
Estos experimentos se presentan al amparo del TASS (Taller de Analisis de Sentimientos en la SEPLN), que es un evento satelite del congreso SEPLN, que nace en 2012 con la
nalidad de potenciar dentro de la comunidad investigadora en tecnolog as del lenguaje (TLH) la investigacion del tratamiento de la informacion subjetiva en espan~ol. En 2015 se vuelven a proponer los mismos dos objetivos que en la convocatoria anterior. Por un lado observar la evolucion de los sistemas de analisis de sentimientos, y por otro lado evaluar sistemas de deteccion de polaridad basados en aspectos.
La tarea del TASS en 2015 denominada Sentiment Analysis at global level consiste en el desarrollo y evaluacion de sistemas que determinan la polaridad global de cada tweet del corpus general. Los sistemas presentados deben predecir la polaridad de cada tweet utilizando 6 o 4 etiquetas de clase (granularidad na y gruesa respectivamente).
El resto del art culo esta organizado de la siguiente forma. El cap tulo 2 describe el estado del arte de los sistemas de clasi cacion de polaridad en espan~ol. En el cap tulo 3 se describe el sistema desarrollado y en el cap tulo 4 los experimentos realizados, los resultados obtenidos y el analisis de los mismos. Finalmente, en el ultimo cap tulo exponemos las conclusiones y el trabajo futuro. 2
La mayor parte de los sistemas de clasi cacion de polaridad estan centrados en textos en ingles, y para textos en espan~ol el sistema mas relevante posiblemente sea The Spanish SO Calculator (Brooke, To loski, y Taboada, 2009), que ademas de resolver la polaridad de los componentes clasicos (adjetivos, sustantivos, verbos y adverbios) trabaja con modi cadores como la deteccion de negacion o los intensi cadores.
Los algoritmos de aprendizaje profundo
(deep-learning en ingles) estan dando buenos
resultados en tareas donde el estado del
arte parec a haberse estancado (Bengio, 2009).
Estas tecnicas tambien son de aplicacion en
el procesamiento del lenguaje natural
(Collobert y Weston, 2008), e incluso ya existen
sistemas orientados al analisis de sentimientos,
como el de Socher et al.
En la edicion de TASS en 2012 el equipo
que obtuvo mejores resultados
En la edicion de TASS en 2013 el mejor equipo (Fernandez et al., 2013) tuvo todos sus experimentos en el top 10 de los resultados, y la combinacion de ellos alcanzaron la primera posicion. Presentaron un sistema con dos variantes: una version modi cada del algoritmo de ranking (RA-SR) utilizando bigramas, y una nueva propuesta basada en skipgrams. Con estas dos variantes crearon lexicones sobre sentimientos, y los utilizaron junto con aprendizaje automatico (SVM) para detectar la polaridad de los tweets. Otro equipo (Mart nez Camara et al., 2013) opto por una estrategia complemente no supervisada, frente a la supervisada desarrollada en 2012. Usaron como recursos lingu sticos SentiWordNet, Q-WordNet y iSOL, combinando los resultados y normalizando los valores. 3
Word2Vec1 es una implementacion de la
arquitectura de representacion de las palabras
mediante vectores en el espacio continuo,
basada en bolsas de palabras o n-gramas
concebida por Tomas Mikolov et al.
Basandose en Word2Vec, Le y Mikolov crearon el modelo Doc2Vec (Le y Mikolov, 2014). Este nuevo modelo calcula directamente un vector para cada parrafo o trozo de texto de longitud variable. El sistema para calcular dichos vectores es similar a Word2Vec, con la salvedad de que el contexto de cada palabra es inicializado en cada frase. Al igual que Word2Vec tambien existen dos topolog as para dichos contextos de la palabras, bolsa de palabras distribuida (DCBOW) o memoria distribuida (DM - Distributed Memory ).
Para calcular y utilizar el modelo Doc2Vec se ha utilizado una biblioteca para Python, denominada gensim2. Esta biblioteca tambien nos permite trabajar con el modelo Word2Vec generado anteriormente.
Tal y como se ha indicado, para obtener
los vectores Word2Vec representativos para
cada palabra tenemos que generar un modelo
a partir de un volumen de texto grande. Para
ello hemos utilizado los parametros que
mejores resultados obtuvieron en nuestra
par1https://code.google.com/p/word2vec/
2http://radimrehurek.com/gensim/
ticipacion del 2014
Para crear el modelo de Doc2Vec hemos utilizado los propios tweets de entrenamiento y test. El motivo de esta decision se debe principalmente a que la biblioteca Python para la creacion de vectores Doc2Vec no nos ha permitido procesar toda la wikipedia (la misma que la utilizada para Word2Vec). Para utilizar los propios tweets hemos etiquetado cada uno con un identi cador unico que nos permita recuperar su vector del modelo. Ademas hemos generado un modelo con los siguientes parametros: una ventana de 10 terminos, el modelo DM y un numero de dimensiones de 300. Estos parametros se han eligido a partir de distintas pruebas emp ricas realizadas con los tweets de entrenamiento.
Como puede verse en la Figura 1, nuestro
sistema tiene tres fases de aprendizaje, una
en la que entrenamos el modelo Word2Vec
haciendo uso de un volcado de la enciclopedia
on-line Wikipedia, en su version en espan~ol,
como hemos indicado anteriormente. Otra en
la que se entrena el modelo Doc2Vec con
todos los tweets disponibles, tanto los tweets de
entrenamiento como los de test. Y por
ultimo, otra en la que representamos cada tweet
como la concatenacion del vector obtenido
con Doc2Vec y el vector como la media de
los vectores Word2Vec de cada palabra en el
tweet. Una simple normalizacion previa sobre
el tweet es llevada a cabo, eliminando
repeticion de letras y poniendo todo a
minusculas. As , el algoritmo SVM se entrena con un
vector de 500 caracter sticas como dimension,
resultado de dicha concatenacion. La
implementacion de SVM utilizada es la basada en
kernel lineal con entrenamiento SGD
(Stochastic Gradient Descent) proporcionada por
la biblioteca Sci-kit Learn4
Obtenemos as tres modelos: uno para los vectores de palabras segun Wikipedia con 3http://dumps.wikimedia.org/eswiki 4http://scikit-learn.org/ Word2Vec, otro con los vectores de tweets segun Doc2Vec, y otro para la clasi cacion de la polaridad con SVM. Esta solucion es la utilizada en las dos variantes de la tarea 1 del TASS con prediccion de 4 clases: la que utiliza el corpus de tweets completo (full test corpus) y el que utiliza el corpus balanceado (1k test corpus).
Figura 1: Flujo de datos del sistema completo 4
Para evaluar nuestro sistema hemos realizado diversos tipos de experimentos. Estos se diferencian segun dos aspectos:
Segun el modelo utilizado para crear los vectores. Se han realizado experimentos utilizando solo Word2Vec (w2v ), solo Doc2Vec (d2v ) y concatenando los vectores de ambos modelos (dw2v ).
Segun la coleccion de evaluacion utilizada: Los organizadores pusieron a disposicion de los participantes la coleccion completa (full ) y una coleccion con un numero de etiquetas mas homogeneo que solo contiene 1.000 tweets. Los experimentos con esta ultima coleccion han sido nombrados como 1k.
Como se puede observar en la Tabla 1, los experimentos con mejores resultados son aquellos que utilizan los vectores generados por ambos modelos y la coleccion mas homogenea llegando a alcanzar una precision del 63 % y un 46 % de Macro-F1. Con la coleccion completa, tambien se alcanzan los mejores resultados utilizando ambos modelos a la vez, obteniendo una precision del 62 % aproximadamente y un 47 % de Macro-F1.
Modelo wd2v d2v w2v wd2v d2v w2v
Test coll full full full 1k 1k 1k
Estos datos nos indican que, aun siendo un sistema bastante sencillo, se obtienen unos resultados prometedores. En ambas colecciones se han mejorado los resultados obtenidos con un unico modelo (w2v y d2v) utilizando la conscatenacion de ambos (wd2v). Sin embargo nuestra clasi ciacion no ha obtenido los resultados esperados, debido a que la mejora obtenida uniendo ambos modelos es muy pequen~a en comparacion con la utilizacion del modelo Word2Vec. Esto signi ca, que la utilizacion del modelos Doc2Vec en nuestros experimentos no es la correcta. 5
Este trabajo describe una novedosa aplicacion de los vectores de palabras generados por el metodo Word2Vec y Doc2Vec a la clasi cacion de la polaridad, consiguiendo una pequen~a mejora en los resultados de precision y Macro-F1 en la competicion TASS 2015, tarea 1. Estos resultados son destacables dada la simplicidad de nuestro sistema, que realiza un aprendizaje no supervisado para generar un modelo para representar cada tweet. No obstante, existen disen~os experimentales que no han podido ser acometidos y que esperamos poder realizar para evaluar mejor nuestro sistema, como por ejemplo utilizar una coleccion de tweets mucho mayor para entrenar el sistema Doc2Vec, o incluso la propia Wikipedia segmentada en frases o parrafos. Aunque para el uso de la Wikipedia con Doc2Vec es necesario un gran sistema computacional, nuestro primer objetivo ser a reducir el numero de parrafos seleccionando estos de forma aleatoria o utilizando alguna metrica de seleccion de caracter sticas. De esta forma, podr amos observar si esta gran fuente de conocimiento es un recurso util para Doc2Vec y posteriormente estudiar la manera de usar el recurso completo.
Los algoritmos de aprendizaje profundo prometen novedosas soluciones en el campo del procesamiento del lenguaje natural. Los resultados obtenidos con un modelo de palabras general no orientado a dominio espec co alguno, ni a la tarea propia de clasi cacion de la polaridad, as como la no necesidad de aplicar tecnicas avanzadas de analisis de texto (analisis lexico, sintactico, resolucion de anafora, tratamiento de la negacion, etc.) nos llevan a continuar nuestra investigacion en una adecuacion mas espec ca de estos modelos neuronales en tareas concretas.
Es nuestra intencion, por tanto, construir un modelo propio de aprendizaje profundo orientado a la clasi cacion de la polaridad. Gracias a los grandes volumenes de datos, estas tecnicas de aprendizaje profundo pueden aportar buenos resultados en este campo cient co. En cualquier caso, es necesario un disen~o cuidadoso de estas redes para lograr resultados mas ventajosos y cercanos a otros grupos que han participado en esta edicion del TASS 2015, siendo este nuestro objetivo futuro.
Batista, Fernando y Ricardo Ribeiro. 2012.
The l2f strategy for sentiment analysis and topic classi cation. En TASS 2012 Working Notes.
Bengio, Yoshua. 2009. Learning deep architectures for ai. Foundations and trends in Machine Learning, 2(1):1{127.
Brooke, Julian, Milan To loski, y Maite Taboada. 2009. Cross-linguistic sentiment analysis: From english to spanish. En
Galia Angelova Kalina Bontcheva Ruslan Mitkov Nicolas Nicolov, y Nikolai Nikolov, editores, RANLP, paginas 50{54. RANLP 2009 Organising Committee / ACL. Castellanos, Angel, Juan Cigarran, y Ana Garc a-Serrano. 2012. Unedtass: Using information retrieval techniques for topicbased sentiment analysis through divergence models. En TASS 2012 Working Notes.
Collobert, Ronan y Jason Weston. 2008.
A uni ed architecture for natural language processing: Deep neural networks with multitask learning. En Proceedings of the 25th International Conference on Machine Learning, ICML '08, paginas 160{167, New York, NY, USA. ACM.
Fernandez, Javi, Yoan Gutierrez, Jose M.
Gomez, Patricio Mart nez-Barco, Andres Montoyo, y Rafael Mun~oz. 2013. Sentiment analysis of spanish tweets using a ranking algorithm and skipgrams. En In Proc. of the TASS workshop at SEPLN 2013.
Fernandez Anta, Antonio, Philippe Morere, Luis Nun~ez Chiroque, y Agust n Santos. 2012. Techniques for sentiment analysis and topic detection of spanish tweets: Preliminary report. En TASS 2012 Working Notes.
Hall, Mark, Eibe Frank, Geo rey Holmes, Bernhard Pfahringer, Peter Reutemann, y Ian H. Witten. 2009. The weka data mining software: An update. SIGKDD Explor. Newsl., 11(1):10{18, Noviembre. Le, Quoc V y Tomas Mikolov. 2014. Distributed representations of sentences and documents. arXiv preprint arXiv:1405.4053. Mart n-Wanton, Tamara y Jorge Carrillo de Albornoz. 2012. Uned en tass 2012: Sistema para la clasi cacion de la polaridad y seguimiento de temas. En TASS 2012 Working Notes.
Mart nez Camara, Eugenio, Miguel Angel Garc a Cumbreras, M. Teresa Mart n Valdivia, y L. Alfonso Uren~a Lopez. 2013. Sinai-emml: Sinai-emml: Combinacion de recursos lingu ticos para el analisis de la opinion en twitter. En In Proc. of the TASS workshop at SEPLN 2013.