The XXXIV International Conference of the Spanish Society for the Natural Language Processing (SEPLN 2108) hosted the workshop on Negation in Spanish (NEGES 2018). The second shared task was dedicated to identifying the negation cues. This article presents the speci cations, the data set and the evaluation criteria of the task. Moreover, an overview of participating systems is provided and their results are summarised.
La negacion es un fenomeno lingu stico
complejo que se ha estudiado ampliamente desde
una perspectiva teorica
La deteccion de la negacion se esta
convirtiendo en una tarea importante en el
Procesamiento del Lenguaje Natural (PLN). De
hecho, en los ultimos an~os, varios desaf os y
tareas compartidas han incluido la
extraccion de este elemento del lenguaje
Aunque en menor medida, la deteccion de
la negacion en espan~ol se ha aplicado tambien
al analisis de sentimientos como medio para
determinar la polaridad de los sentimientos
y la opinion. Por ejemplo,
En un trabajo mas reciente, Jimenez-Zafra et al. (2018a) llevaron a cabo varios experimentos orientados a la clasi cacion de opiniones en los que se combinaban diferentes aspectos de la informacion de la negacion y distintos algoritmos de aprendizaje automatico. La coleccion de documentos utilizada en este caso fue el SFU ReviewSP-NEG corpus, anotado con claves de negacion, su alcance y la forma en que la negacion afecta a la polaridad de las palabras de su ambito (inversion, no efecto, incremento o reduccion) (JimenezZafra et al., 2018b). Los resultados obtenidos demostraron que considerar la negacion mejora el rendimiento de la tarea de clasi cacion de sentimientos.
A pesar de que, como demuestran los trabajos descritos anteriormente, el campo de la deteccion de la negacion en espan~ol es un area muy activa en los ultimos an~os, son necesarios mas esfuerzos que permitan avanzar en este area. Por ello, la tarea 2 del taller NEGES 2018 se propuso con el objetivo de promover el desarrollo y la evaluacion de los sistemas de identi cacion de claves de negacion en espan~ol en el area del analisis de opiniones.
El resto del documento esta organizado de la siguiente manera. La tarea propuesta se describe en la Seccion 2 y el corpus en la Seccion 3. Los sistemas participantes y sus resultados se resumen en la Seccion 4. Los enfoques utilizados por los sistemas participantes se describen en la Seccion 5, as como el analisis de los resultados. Finalmente, la Seccion 6 concluye el documento. 2
Como se ha especi cado en la introduccion, la tarea 2 del taller NEGES 20181 estuvo dedicada a la deteccion automatica de las claves de negacion en espan~ol en el dominio de las opiniones.
Por ejemplo, en la frase (1) los sistemas ten an que identi car la palabra no como clave de negacion.
(1) Yo [no] recomiendo el libro.
1http://www.sepln.org/workshops/neges/ index.php
Los sistemas participantes recibieron un
conjunto de datos de entrenamiento y
desarrollo para construir sus sistemas durante la
fase de entrenamiento. Todas las claves de
negacion utilizadas para las fases de
entrenamiento, desarrollo y test se generaron a traves
de una exhaustiva anotacion manual por
expertos del dominio, siguiendo unas gu as de
anotacion bien de nidas
El script de evaluacion fue el propuesto en el
*SEM 2012 Shared Task - Resolving the
Scope and Focus of Negation
Se utilizaron las medidas estandar de evaluacion de precision (P), cobertura (C) y Medida-F donde:
P = C =
V P V P + F P
V P V P + F N (1) (2)
Comp
Tabla 1: Distribucion de comentarios y claves de negacion en la coleccion de datos 3
El corpus SFU ReviewSP-NEG (JimenezZafra et al., 2018b) fue la coleccion de documentos utilizada para entrenar y probar los sistemas.
Los conjuntos de entrenamiento, desarrollo y test fueron generados de forma aleatoria manteniendo 33 comentarios por dominio en el entrenamiento, 7 por dominio en el desarrollo y 10 por dominio en el test. Las claves de negacion se corresponden con las estructuras neg y las que no niegan con las demas estructuras (noneg, contrast, comp). En total, 221.866 palabras y 9.455 frases, de las cuales, 3.022 frases contienen al menos una estructura de negacion. En la Tabla 1 puede verse la distribucion de comentarios y claves.
Los datos se proporcionaron en
formato CoNLL
Columna 1: dominio y nombre del archivo separados por barra baja.
Columna 2: numero de oracion dentro del archivo.
Columna 3: numero de token dentro de la oracion.
Columna 6: categor a gramatical.
Columna 7: tipo de categor a gramatical.
Los sistemas tuvieron que generar un archivo por dominio con el contenido de las 7 columnas anteriores mas las siguientes columnas (los archivos deb an tener el mismo orden de oraciones y tokens que los archivos de test):
Columnas 8 hasta el nal: Si la oracion no tiene negaciones, la columna 8 tiene un valor *** y no hay mas columnas. Si la oracion tiene negaciones, la anotacion para cada negacion se proporciona en tres columnas. La primera columna contiene la palabra que pertenece a la clave de negacion y la segunda y tercera columnas contienen -. 3.1
El SFU ReviewSP-NEG corpus2 consiste en 400 resen~as de coches, hoteles, lavadoras, libros, telefonos moviles, musica, ordenadores y pel culas extra das del sitio web ciao.es. Cada dominio contiene 25 revisiones positivas y 25 negativas. La anotacion se llevo a cabo a nivel de token para el lema y la categor a gramatical y a nivel de frase para las claves de negacion, su alcance lingu stico y el evento.
Las etiquetas utilizadas para la anotacion de la negacion son las siguientes: <review polarity=\positive/negative">. Describe la polaridad de la revision, que puede ser positiva o negativa. <sentence complex=\yes/no">. Esta etiqueta corresponde a una frase completa o fragmento de la misma en la que pueda aparecer una estructura negativa. Las frases sin claves negativas no son anotadas. Esta etiqueta lleva asociado un atributo que puede tomar los siguientes valores: \yes", si la frase contiene mas de una estructura negativa (<neg structure>). \no", si la frase contiene solo una estructura negativa. 2http://sinai.ujaen.es/sfu-review-sp-neg-2/ <neg structure>. Esta etiquta corresponde con una estructura sintactica en la que aparece una clave de negacion. Tiene 4 atributos posibles, dos de los cuales (change y polarity modi er son mutuamente excluyentes).
polarity: indica la orientacion semantica de la estrucutra de negacion (\positive", \negative" or \neutral"). change: indica si la orientacion o signi cado de la estructura de negacion se ha modi cado completamente a causa de la negacion (change=\yes" o change=\no"). polarity modi er: indica si la estructura negativa contiene un elemento que matiza su polaridad. Si hay un incremento en la intensidad del valor de polaridad, toma el valor \increment" y, en cambio, si hay una disminucion del valor de polaridad, toma el valor \reduction". value: muestra el signi cado de la estructura de negacion, esto es, \neg" si expresa negacion, \contrast" si expresa contraste u oposicion, \comp" si expresa comparacion o desigualdad entre terminos y \noneg" si no niega pese a contener una clave de negacion. <scope>. Esta etiqueta delimita la parte de la estructura negativa que esta dentro del alcance de la negacion. Incluye tanto la clave de negacion (<negexp>) como el evento (<event>). <negexp>. Esta etiqueta se corresponde con la(s) palabra(s) que indica(n) negacion. Puede tener asociado el atributo discid si la negacion esta expresada por mas de un elemento negativo discontinuo. <event>. Denota las palabras que estan afectadas directamente por la negacion. 4
Dos sistemas participaron en esta tarea
(Fabregat, Mart nez-Romo, y Araujo,
Tabla 4: Resultados o ciales por dominio para el equipo de la UPC en la tarea y expresaron que no participaron debido a la falta de tiempo. Los resultados o ciales se muestran en las Tablas 2, 3 y 4, evaluados en terminos de Precision (Prec), Cobertura (Cob) y Medida F (F).
Equipo UNED UPC
Prec 79,45 91,48
Cob 59,58 82,18 Si comparamos los resultados globales de la Tabla 2, vemos como la precision de ambos sistemas fue similar. Sin embargo, el nivel de cobertura que presento el sistema desarrollado por el equipo de la UNED fue bajo, lo que provoco la ca da de la medida-F. No obstante, hay que tener en cuenta que hubo un error al enviar los datos y el sistema no pudo ser evaluado sobre la subcoleccion de ordenadores, por lo que los resultados globales deben ser interpretados con precaucion. El mejor resultado lo obtuvo el equipo de la UPC con una medida-F del 86,25 %.
Tabla 3: Resultados o ciales por dominio para el equipo de la UNED
Dominio
Coches
Hoteles Lavadoras
Libros Telefonos moviles
Musica Ordenadores
Pel culas Dominio
Coches
Hoteles Lavadoras
Libros Telefonos moviles
Musica Ordenadores
Pel culas
Prec 94,23 97,67 92,00 79,52 93,33 92,59
86,26 Prec 95,08 94,00 94,74 84,19 89,80 92,96 91,36 89,68
Cob 72,06 71,19 66,67 66,27 73,68 57,47
69,33 Cob 85,29 79,66 78,26 84,52 77,19 75,86 91,36 85,28
F 81,67 82,35 77,31 72,29 82,35 70,92
76,87
F 89,92 86,24 85,72 84,35 83,02 83,54 91,36 87,42
Si analizamos los datos por dominio en las Tablas 3 y 4, hay subcolecciones como la de libros y moviles en la que ambos sistemas obtuvieron peores resultados en comparacion con el resto de subcolecciones. El sistema desarrollado por la UNED obtuvo el mayor rendimiento en las subcolecciones de moviles y hoteles, mientras que el sistema de la UPC mostro una mejor deteccion de las claves de negacion en la subcoleccion de ordenadores, en concreto, obtuvo una medida-F de 91,36 %. 5
Remitimos al lector a los art culos de los
participantes (Fabregat, Mart nez-Romo, y
Araujo,
Ambas propuestas utilizaron el esquema estandar de etiquetado BIO donde la primera palabra de una estructura de negacion de denota por B y las restantes por I. La etiqueta O indica que la palabra no se corresponde con una clave de negacion.
El equipo de la UNED
Los recursos utilizados por los
participantes son diversos. El equipo de la UNED hizo
uso de la librer as Keras
La tarea 2 del taller NEGES 2018 promovio el desarrollo de sistemas de deteccion automatica de la negacion en espan~ol en el ambito del analisis de sentimientos, una tarea clave de PLN. En concreto, se centro en la deteccion de las claves de negacion presentes en la coleccion de documentos SFU ReviewSP-NEG. Hasta donde conocemos, se trato de la primera tarea orientada a detectar la negacion en espan~ol, de ah la relevancia del taller. 2 fueron los sistemas presentados pero varios equipos mostraron su interes en la tarea, no pudiendo entregar sus propuestas a tiempo. Los participantes utilizaron enfoques supervisados basados en tecnicas de aprendizaje automatico y aprendizaje profundo, mostrando las primeras un mayor rendimiento.
En futuras ediciones del taller, las tareas podr an ir orientadas a detectar de forma automatica las claves de negacion en espan~ol en otros dominios como el cl nico. Ademas, se podr a incluir la deteccion del ambito o alcance de dichas claves de negacion.
Este trabajo ha sido parcialmente nanciado por el Ministerio de Educacion, Cultura y Deporte (MECD - ayuda FPU014/00983), el Fondo Europeo de Desarrollo Regional (FEDER) y el proyecto REDES (TIN2015-65136C2-1-R) del Gobierno de Espan~a. Roser Morante ha sido nanciada por la Organizacion Holandesa para la Investigacion Cient ca (NWO) a traves del premio Spinoza otorgado a Piek Vossen (SPI 30-673, 2014-2019).
Spanish Sentiment Analysis on Twitter. IEEE Transactions on A ective Computing.