=Paper=
{{Paper
|id=Vol-1397/itainnova
|storemode=property
|title=Ensemble Algorithm with Syntactical Tree Features to Improve the Opinion Analysis
|pdfUrl=https://ceur-ws.org/Vol-1397/itainnova.pdf
|volume=Vol-1397
|dblpUrl=https://dblp.org/rec/conf/sepln/del-Hoyo-Alonso15
}}
==Ensemble Algorithm with Syntactical Tree Features to Improve the Opinion Analysis==
https://ceur-ws.org/Vol-1397/itainnova.pdf
TASS 2015, septiembre 2015, pp 53-58 recibido 20-07-15 revisado 24-07-15 aceptado 29-07-15
Ensemble algorithm with syntactical tree features to improve the
opinion analysis
Algoritmo de ensamble con introducción de la estructura morfosintáctica para
la mejora del análisis de opinión
Rafael del-Hoyo- María de la Vega Jorge Vea-Murguía Rosa María Montañes-
Alonso Rodrigalvarez-Chamarro ITAINNOVA Salas
ITAINNOVA ITAINNOVA C/ María de Luna, nº 7. ITAINNOVA
C/ María de Luna, nº C/ María de Luna, nº 7. 50018 Zaragoza, Spain C/ María de Luna, nº 7.
7. 50018 Zaragoza, 50018 Zaragoza, Spain jveamurguia@itainnova.es 50018 Zaragoza, Spain
Spain vrodrigalvarez@itainnova.es rmontanes@itainnova.es
rdelhoyo@itainnova.es
Resumen: En este artículo se describe cómo la integración en modo ensamble de varias técnicas
de análisis de opinión permite mejorar la precisión del análisis u otros problemas de PLN donde
el tamaño disponible del corpus de entrenamiento es pequeño en comparación al espacio de
hipótesis y por tanto se deben explorar diversas estrategias. Dentro de las estrategias a
introducir, se presenta una nueva forma de introducir el análisis morfo-sintáctico con objeto de
encontrar relaciones que los métodos tradicionales no son capaces de realizar.
Palabras clave: Ensamble, árbol de Sintaxis, análisis de opinión. MaxEnt
Abstract: This article describes how the assemble of several opinion analysis techniques can
improve the accuracy or in other NLP problems where the available size of the training corpus
is small compared to the space of hypotheses and therefore should be explored a range of
strategies. One of the strategies is based in a new way to include morpho-syntactic features to
find relationships that traditional methods are not able to perform.
Keywords: Boosting, Sentiment Analysis, syntactic parser, MaxEnt
manualmente. En esta dirección, la mayoría de
1 Introducción los estudios (Feldman, 2013) buscan la manera
mejor de obtener las características (features)
El análisis de opinión es uno de los campos del
del texto para introducir a un clasificador. Esta
análisis lingüístico donde las técnicas de
extracción de características de basan en
minería de textos y de datos existentes es un
diferentes transformaciones cómo pueden ser
excelente campo de batalla. Dentro del
TF-IDF (del inglés Term frequency – Inverse
certamen TASS1 2015 (Villena-Román et al.,
document frequency), word2vector (Mikolov et
2015), se posibilita, a los diferentes grupos de
al., 2013) o a través de la búsqueda de
investigación, compartir experiencias y permitir
diccionarios donde se introduzca conocimiento
analizar el éxito de las diferentes
previamente preestablecido por sicólogos o
aproximaciones. Este trabajo se enmarca dentro
lingüistas y de de la búsqueda de expresiones
del reto primero de análisis de sentimiento.
polarizadas.
En el análisis del sentimiento, la mayoría de
Encontrar un algoritmo de aprendizaje
las aproximaciones emplean algoritmos de
supervisado eficiente no es una tarea fácil, en
aprendizaje automático (Machine Learning)
especial cuando el problema es altamente
(Pang et al., 2002) para construir clasificadores
complejo cómo en el caso del análisis del
en base a un corpus predefinido donde se ha
lenguaje natural. Cada algoritmo se caracteriza
anotado la polaridad de la opinión
porque emplea una representación diferente de
los datos. Encontrar una buena representación
1
TASS (Taller de Análisis de Sentimientos en la de estos algoritmos, que permita generalizar el
SEPLN) website. http://www.daedalus.es/TASS. problema a resolver, requiere de tiempo y de
Publicado en http://ceur-ws.org/Vol-1397/. CEUR-WS.org es una publicación en serie con ISSN reconocido ISSN 1613-0073
Rafael del-Hoyo-Alonso, María de la Vega Rodrigalvarez-Chamorro, Jorge Vea-Murguía, Rosa María Montañes-Salas
múltiples ensayos previos. Cada método o Cada algoritmo utilizado intenta explotar una
aproximación al problema de análisis de variante del análisis de opinión con objeto de
opinión han demostrado que ciertas partes del igualar el algoritmo de aprendizaje y de esta
espacio de datos es mejor modelarla por un forma evitar desviaciones en el algoritmo de
método de clasificación en comparación a otros. aprendizaje en el experimento, por el
El empleo de diferentes algoritmos o clasificador utilizado. El clasificador utilizado
aproximaciones al problema puede en todos los casos ha sido el modelo de
proporcionar información complementaria clasificación de máxima entropía (MaxEnt).
importante sobre la representación de los datos, MaxEnt pertenece a la familia de los
uno de los objetivos que queremos tratar con clasificadores exponenciales o log-lineales que
este artículo. Esto ha originado que utilizar una extraen un conjunto de características (features)
combinación o ensamble de clasificadores sea de la entrada, las combinan de modo lineal y
una buena alternativa para el análisis de un utiliza el resultado cómo un exponente. MaxEnt
corpus lingüístico. Varios métodos para la es uno de los algoritmos más usados
creación de ensamble de clasificadores ya han actualmente para análisis de Opinión.
sido propuestos, en análisis de opinión dentro Un paso más allá de la identificación de
del TASS 2013 (Martínez-Cámara et al., 2013). nuevas características o la introducción de
Un ensamble de clasificadores se define intensificadores o negaciones en el análisis
cómo la utilización de un conjunto de sintaxis del lenguaje es la introducción del
clasificadores que combinan de alguna forma análisis morfológico y análisis del árbol
las decisiones individuales de cada uno de ellos sintáctico dentro del análisis del sentimiento.
para clasificar nuevas instancias (Dzeroski & Uno de los modelos qué más éxito ha tenido en
Zenki, 2000). Esta técnica es común en el el análisis y la captura de los efectos del árbol
mundo del Machine Learning. Existen varias sintáctico es el modelo Recursive Neural
razones que justifican el ensamble de Tensor Network (RNTN), (Socher et al., 2013)
clasificadores. Algunas de éstas, son: i) los o modelos cómo convolutional neural network
datos para el entrenamiento pueden no proveer (Kalchbrenner et al., 2014), dentro de la familia
suficiente información para elegir un único de algoritmos denominados deep learning.
mejor clasificador debido a que el tamaño RNTN captura el cambio en la sintaxis cuando
disponible en estos datos es pequeño en se realiza un cambio en la opinión permitiendo
comparación al espacio de hipótesis, este es el alcanzar mayores tasas de éxito que los
caso más común que nos vamos a encontrar en métodos tradicionales de n-gramas a cambio de
el análisis del lenguaje natural y en especial en necesitar un corpus de entrenamiento de gran
el caso del TASS; ii) la combinación tamaño y basado en frases cómo el Stanford
redundante y complementaria de clasificadores Sentiment Treebank (Socher et al., 2013), no
mejora la robustez, exactitud y generalidad de siendo por tanto extrapolable a la competición
toda la clasificación; iii) diferentes TASS. Inspirado en esa idea y con la
clasificadores utilizan diferentes técnicas y introducción del ensamblado de algoritmos se
métodos de representación de los datos, lo que ha paliado el efecto negativo del reducido
permite obtener resultados de clasificación con tamaño del corpus de entrenamiento.
diferentes patrones de generalización; iv) los Finalmente diferentes pruebas y el
ensambles son frecuentemente mucho más prototipado de los algoritmos se ha realizado
exactos que los clasificadores individuales. Por mediante la herramienta Moriarty Analytics del
el contrario, podemos encontrar que la solución Instituto Tecnológico de Aragón.
global de diferentes clasificadores pueda En el siguiente artículo se describirá la
enmascarar la existencia de un clasificador arquitectura del algoritmo propuesto,
excelente. Existen diferentes técnicas de explicando cada una de las aproximaciones
ensamble, bagging, boosting, stacked utilizadas. A continuación, se realizará un
generalization, random subspace method. En resumen de los resultados obtenidos.
la aproximación seguida hemos utilizado una Finalmente se describirán unas conclusiones y
técnica de bagging, entrenando cada algoritmo trabajo futuro.
con una muestra del 80% del total, donde en
vez de votar la mejor de las salidas se entrena
un nuevo clasificador (meta-learner), al igual
que en el modelo de stacked generalization.
54
Ensemble algorithm with syntactical tree features to improve the opinion analysis
2 Arquitectura del Algoritmo 2.2 Diccionario Afectivo DAL
La composición de algoritmos permite explorar Esta aproximación se basa en la utilización de
aproximaciones distintas dentro del corpus de un diccionario afectivo, Dictionary of Affect in
entrenamiento. Los algoritmos utilizados han Language construido por Cynthia M. Whissell.
sido 4 que intentan cubrir diferentes aspectos,
cada uno de ellos se ha entrenado con un 80%
del corpus distinto y un 20% se ha dejado para
validar el resultado.
El primer algoritmo consiste en la
utilización de una aproximación simple de
Machine Learning tras una normalización
básica del texto. El segundo algoritmo consiste
en la utilización del algoritmo basado en
diccionario Afectivo de Cynthia M. Whissell
(Whissell et al., 1986). El tercer algoritmo
consiste en la utilización de otro diccionario
pero en este caso se utilizará un mayor número
de dimensiones de la psicóloga Margaret M. Figura 1 Arquitectura básica del algoritmo
Bradley (Bradley & Lang, 1999). Finalmente, basado en DAL.
como cuarto algoritmo, se introduce un último
método que incorpora la información del árbol
de sintaxis y la información morfológica. Una descripción del algoritmo utilizado
Para ello todos los algoritmos poseen una puede verse en (Del-Hoyo et al., 2009).
etapa de normalización, esta normalización
consiste en la lematización, la eliminación de 2.3 Diccionario ANEW (Affective
stopwords (sin eliminar las negaciones), Norms for English Words)
eliminación de URLs y menciones. Esta aproximación se basa en la utilización de
Con objetivo de evitar una desviación un diccionario afectivo Affective Norms for
debida al clasificador se ha optado en todos los English Words (ANEW; Bradley & Lang,
casos por utilizar el mismo y evitar las 1999) y en este caso el diccionario afectivo en
desviaciones motivadas por el tipo de español, ( Redondo et al., 2007). La utilización
clasificador. Este seleccionado ha sido el de de este lexicón se ha utilizado por varios
máxima entropía (MaxEnt). autores cómo ., 2012; Gilbert,
Finalmente la selección del resultado final 2014)
fue realizada con un segundo clasificador que El lexicón ANEW provee de un conjunto de
fue entrenado con el global de los datos. En este 1.034 palabras etiquetadas emocionalmente. El
caso se seleccionó un algoritmo Random diccionario de ANEW se ha etiquetado en tres
Forest, con objeto de poder interpretar los dimensiones placer, activación y dominancia
resultados obtenidos, evitar sobre ajuste al no (pleasure, arousal, y dominance). La valencia
ser un algoritmo paramétrico y por haber va desde un valor de 1 hasta nuevo siendo 5 el
obtenido los mejores resultados con otros valor considerado como neutro.
algoritmos en un 10 crosss validation. Existen diferentes formas de introducirlo por
diferentes autores desde el análisis de la suma
2.1 Aproximación básica de Machine de la valencia del texto o introducir un
Learning clasificador de los textos en función de las 3
El primer algoritmo consiste en la introducción dimensiones de cada texto. En nuestro caso,
de un modelo de extracción de features discretizaremos cada una de las dimensiones en
automático mediante la utiliza del algoritmo tf- 5 etiquetas, y se definirán al igual que en el
idf, y un máximo de 3 n-gramas. Estas features caso anterior de un nuevo número de
son introducidas al modelo de máxima entropía. características con las que entrenaremos el
algoritmo de clasificación.
55
Rafael del-Hoyo-Alonso, María de la Vega Rodrigalvarez-Chamorro, Jorge Vea-Murguía, Rosa María Montañes-Salas
2.4 Introduciendo la estructura existente entre las diferentes palabras de una
topológica en la ecuación frase, se obtienen todos los caminos (o paths)
existentes con cierto grado de profundidad.
Otra forma para poder evaluar y realizar un Siendo cada path una nueva característica a
análisis de opinión dentro de un texto es introducir al algoritmos MaxEnt.
estudiando su estructura morfo-sintáctica. Para detectar todos los paths existentes en
En primer lugar, el texto ha sido dividido en una frase, se ha generado un algoritmo que
frases. Utilizando las librerías proporcionadas detecta todos los nodos terminales del grafo, es
por Freeling (Padró & Stanilovsky, 2012), se ha decir, que no tienen ningún hijo y obtiene el
analizado cada una de las frases camino existente entre el nodo inicial y el nodo
morfológicamente, identificando cada una de final. Un path viene descrito por la propiedad
las palabras que forman parte de ella y chunk y parser que define la arista (unión entre
etiquetándolas. Para el idioma castellano, las dos vértices) y el análisis morfológico
etiquetas utilizadas son las propuestas por el simplificado de la palabra (vértice)
grupo EAGLES2. Por j mp o, n fr s “Hay Por ejemplo, para la rama:
varios cruceros atracados en el puerto de Santa “haber;en;puerto;de;Santa_Cruz”, path
Cruz”, ná isis morfo ógico qu d d resultante sería:
siguiente forma: grup-verb;top/VM/grup-sp;cc/S/sn;obj-
prep/NC00/sp-de;sp-mod/S/sn;obj-prep/NPG0
Palabra Etiqueta
Hay VMIP3S0 Todos los posibles paths obtenidos para esa
varios DI0MP0 rama con una longitud mínima de x y una
cruceros NCMP000
atracados VMP00PM
longitud máxima de y, siendo el nivel de
en SPS00 expansión en las pruebas realizadas de x=3 e
el DA0MS0 y=5, serían las mostradas en la tabla siguiente.
puerto NCMS000
de SPS00 Paths Posibles Rama
Santa Cruz NP00G00 grup-verb;top/VM/grup-sp;cc
grup-verb;top/VM/grup-sp;cc/S
Tabla 1: Análisis Morfológico. grup-verb;top/VM/grup-
sp;cc/S/sn;obj-prep
VM/grup-sp;cc/S
……
sp-de;sp-mod/S/sn;obj-prep
sp-de;sp-mod/S/sn;obj-prep/NPG0
S/sn;obj-prep/NPG0
Tabla 2: Ejemplo de cómo se mapea un grafo
en un conjunto de términos (posibles paths) del
modelo.
Este proceso se seguiría para todas las ramas
y se obtendrían todos los paths existentes para
una frase. Por tanto todos los paths se
incorporan cómo nuevas features para que, de
Figura 2: Árbol sintáctico obtenido. esta forma, el algoritmo MaxEnt pueda
encontrar las relaciones internamente no
Además, se genera el árbol sintáctico de solamente de los pesos de las palabras por su
cada una de las sentencias, generando un semántica sino que pueda introducir la relación
conjunto de grafos. El grafo resultante es el que sintáctica y morfológica de las oraciones. Esta
se muestra en la figura 2.: transformación, a diferencia de algoritmos
Una vez obtenido el grafo, donde se pueden cómo el RNTN que se desea mantener la
ver de forma más sencilla las relaciones estructura topológica de la entrada a través de la
utilización de tensores, pretende mapear
2
http://www.ilc.cnr.it/EAGLES96/home.html
56
Ensemble algorithm with syntactical tree features to improve the opinion analysis
espacios de dimensiones variables en un por tanto era de esperar encontrar esos datos de
espacio de dimensión menor. precisión. Pero sí que se ha analizado si la
inclusión de los datos sintácticos mejora o no el
3 Resultados sistema, y se ha visto que la precisión del
algoritmo mejoraba en un 2% con respecto a no
A continuación en la tabla 3 se detallan la
introducir la entrada correspondiente al
precisión en los datos test y desviación estándar
algoritmo sintáctico, y esta mejora era mayor
esperada de cada uno de los algoritmos de
que la desviación encontrada en los datos
forma independiente mediante la utilización de
obtenidos por las n iteraciones realizada por el
una evaluación 10 cross validation.
cross-validation.
Basic ANEW DAL Syntactic
44.8% 43.8% 46.9% 41.3%
Para validar globalmente el sistema
Accu.
Desv. 1.1% 1.7% 1.6% 1.4% correctamente utilizamos la validación de
TASS, para ello vamos a comparar el mejor de
los algoritmos por separado de forma
Tabla 3: Resultados estimados en test obtenidos independiente al algoritmo compuesto. Se
por cada una de los algoritmos mediante un 10 puede tabla 4 ver cómo en todos los casos el
cross validation. modelo compuesto gana al modelo DAL de
forma independiente. Analizando los resultados
Se puede observar cómo la aproximación por clases el sistema puede verse que el sistema
DAL obtiene unos mejores resultados en compuesto se comporta de la misma forma que
cambio, el algoritmo de análisis sintáctico los sistemas individuales, obteniendo mejores
obtiene peores resultados. Esto es debido a la resultados en las etiquetas Positivas que las
explosión de nuevas características que genera Negativas, y fallando más en diferenciar la
este sistema, y para explotar mejor estas etiqueta NEU de NONE. Utilizando datos de
características, se necesita de un corpus mayor, evaluación se puede analizar cómo en
cómo puede ser el Sentiment Treebank. determinados casos el modelo Sintáctico
encuentra relaciones que no son encontradas
5 levels, Full test corpus por los otros modelos. Vamos a poner varios
Accu. P R F1 ejemplos a continuación.
Ensem. 0.535 0.421 0.445 0.433
DAL. 0.524 0.419 0.397 0.408 “Y además no llueve! http://t.co/hXo9c8p9”
5 levels, 1k corpus
Accu. P R F1 “1.Primer acto. Mario Monti entra en escena
Ensem. 0.405 0.401 0.392 0.396 cambiando el panorama. Merkel con Berlusconi no
DAL. 0.384 0.400 0.373 0.386 hubiera confiado en las promesas de IT”
3 levels, Full test corpus
Accu. P R F1 En ambos casos se obtiene el siguiente
Ensem. 0.610 0.498 0.497 0.497 resultado:
DAL. 0.594 0.484 0.482 0.483
Basic ANEW DAL Sintactic
Predic. None None None N
Tabla 4: Resultados obtenidos en la prueba con
el modelo ensembled y el mejor de los 4 Tabla 5: Resultados de opinión negativa
modelos por separado, en cada una de las dónde la información morfo-sintáctica ofrece
evaluaciones. un valor añadido.
La composición de algoritmos se ha Puede verse que en frases donde existe una
realizado a través de un modelo de Random negación pero no existe ninguna palabra
Forest obteniendo una precisión de clasificación “ f c iv ” pu d v rs qu subj iv m n s
con los datos totales de entrenamiento de un negativa. En cambio los otros algoritmos al no
93%. Esto es así ya que se han utilizado un 80% encontrar ningún vocabulario específico nos
de cada uno de ellos para el entrenamiento y indican un valor nulo. Por el contrario, en
todos ellos han obtenido alrededor de un 90% varios c sos “Si” en oraciones condicionales
de precisión con los datos de entrenamiento, enfatiza y modifica las predicciones.
57
Rafael del-Hoyo-Alonso, María de la Vega Rodrigalvarez-Chamorro, Jorge Vea-Murguía, Rosa María Montañes-Salas
“Jejeje. Si lo escuche. RT @cris_rc: "@SilviaSanz7: Kalchbrenner, N., E. Grefenstette, & P.
Jajajajaja Suena @AlejandroSanz en el (cont) Blunsom, (2014). A convolutional neural
http://t.co/OVHwMetV” network for modelling sentences. In
Proceedings of the 52nd Annual Meeting of
Basic ANEW DAL Sintactic the Association for Computational
Predic. P P P P+ Linguistics. June, 2014
Tabla 6: Resultados de opinión dónde la Martinez-Cámara, E., Y. Gutiérrez-Vázquez, J.
información morfo-sintáctica ofrece un valor Fernández, A. Montejo-Ráez & R. Munoz-
añadido. Guillena. (2013) Ensemble classifier for
Twitter Sentiment Analysis. TASS 2013
4 Conclusiones Mikolov, T., K. Chen, G. Corrado, & J. Dean,
Se ha presentado la composición de algoritmos (2013). Efficient estimation of word
cómo herramienta para la mejora de la precisión representations in vector space. in
del análisis de sentimiento u otros problemas de International Conference on Learning
NLP donde el tamaño disponible del corpus de Representations
entrenamiento es pequeño en comparación al Padró, L., & E. Stanilovsky, (2012). Freeling
espacio de hipótesis y por tanto se deben 3.0: Towards wider multilinguality.
explorar diversas estrategias. Por otra parte, se Proceedings of the Language Resources and
presentado una nueva forma de introducir el Evaluation Conference (LREC)
análisis morfo-sintáctico con objeto de ELRA.Istanbul, Turkey.
encontrar nuevas relaciones.
Pang, B., L. Lee, & S. Vaithyanathan, (2002,
Bibliografía July). Thumbs up?: sentiment classification
using machine learning techniques. In
Bradley, M. M., & P. J. Lang, (1999). Affective Proceedings of the ACL-02 conference on
norms for English words (ANEW): Empirical methods in natural language
Instruction manual and affective ratings (pp. processing-Volume 10 (pp. 79-86).
1-45). Technical Report C-1, The Center for Association for Computational Linguistics.
Research in Psychophysiology, University
of Florida. Redondo, J., I. Fraga, I. Padrón, & M.
Comesaña, (2007). The Spanish adaptation
Del-Hoyo, R., I. Hupont, F. J. Lacueva, & D. of ANEW (affective norms for English
Abadía, (2009, November). Hybrid text words). Behavior research methods, 39(3),
affect sensing system for emotional 600-605.
language analysis. In Proceedings of the
international workshop on affective-aware Socher, R., A. Perelygin, J. Y. Wu, J. Chuang,
virtual agents and social robots (p. 3). ACM. C. D. Manning, A. Y. Ng, & C. Potts, (2013,
October). Recursive deep models for
Dzeroski, S. & B. Zenki (2000). Is Combining, semantic compositionality over a sentiment
Classifiers Better than Selecting the Best treebank. In Proceedings of on empirical
One.International Conference on Machine methods in natural language processing
Learning (ICML): 123-130. (EMNLP) (Vol. 1631, p. 1642).
Feldman, R. (2013). Techniques and Villena-Román, J., J. García-Morera, M. A.;
applications for sentiment analysis. García-Cumbreras, E. Martínez-Cámara, M.
Communications of the ACM, 56(4), 82-89. T. Martín-Valdivia, L. A. Ureña-López,
Gilbert, C. H. E. (2014). VADER: A (2015): Overview of TASS 2015, In
Parsimonious Rule-based Model for Proceedings of TASS 2015: Workshop on
Sentiment Analysis of Social Media Text. Sentiment Analysis at SEPLN. vol. 1397.
, D., E. bi ir, & G. Yı dırım, (2012, Whissell, C., M. Fournier, R. Pelland, D. Weir,
December). Predicting the sentiment in & K. A. Makarec, (1986) dictionary of
sentences based on words: An exploratory affect in language. IV. Reliability, validity,
study on ANEW and ANET. In Cognitive and applications. Perceptual and Motor
Infocommunications, 2012 IEEE 3rd Skills, 62(3), 875-888.
International Conference on (pp. 715-718)..
58