=Paper=
{{Paper
|id=Vol-2174/paper1
|storemode=property
|title=Tarea 1 del Taller NEGES 2018: Guías de Anotación
(NEGES 2018 Task 1: Annotation Guidelines)
|pdfUrl=https://ceur-ws.org/Vol-2174/paper1.pdf
|volume=Vol-2174
|authors=Salud María Jiménez-Zafra,Noa P. Cruz Díaz,Roser Morante,María Teresa Martín Valdivia
}}
==Tarea 1 del Taller NEGES 2018: Guías de Anotación
(NEGES 2018 Task 1: Annotation Guidelines)==
https://ceur-ws.org/Vol-2174/paper1.pdf
Tarea 1 del Taller NEGES 2018: Guı́as de Anotación
NEGES 2018 Task 1: Annotation Guidelines
Salud Marı́a Jiménez-Zafra1 , Noa P. Cruz Dı́az2 ,
Roser Morante3 , Marı́a Teresa Martı́n-Valdivia1
1
SINAI, Centro de Estudios Avanzados en TIC (CEATIC), Universidad de Jaén
{sjzafra, maite}@ujaen.es
2
Savana Médica, Madrid
contact@noacruz.com
3
CLTL Lab, Computational Linguistics, VU University Amsterdam
r.morantevallejo@vu.nl
Resumen: En este trabajo se presenta la tarea 1 del taller NEGES 2018, taller de
NEGación en ESpañol, celebrado como parte de la XXXIV edición del Congreso
Internacional de la Sociedad Española para el Procesamiento del Lenguaje Natural.
El objetivo de esta tarea es llegar a un acuerdo sobre las directrices a seguir para la
anotación de la negación en textos escritos en español con el fin de poder desarrollar
sistemas capaces de procesar este fenómeno.
Palabras clave: Negación, directrices de anotación, NEGES 2018, SEPLN
Abstract: This paper presents task 1 of NEGES 2018, Workshop on Negation in
Spanish, held as part of the XXXIV edition of the International Conference of the
Spanish Society for Natural Language Processing. The objective of this task is to
reach an agreement on the guidelines to follow for the annotation of negation in
Spanish texts in order to develop negation processing systems.
Keywords: Negation, annotation guidelines, NEGES 2018, SEPLN
1 Introducción de influencia, es decir, cuáles son las palabras
cuyo significado se está viendo modificado.
La negación es un elemento lingüı́stico cla- Hasta ahora, la mayor parte de la investi-
ve en muchas aplicaciones relacionadas con el gación sobre la negación se ha realizado sobre
Procesamiento del Lenguaje Natural (PLN), textos en inglés. Sin embargo, la presencia de
como el análisis de sentimientos (Liu, 2012) otros idiomas en Internet, entre los que se
o la recuperación de información (Büttcher, encuentra el español, es cada vez mayor. Por
Clarke, y Cormack, 2010), ya que su presen- ello, este taller tiene como objetivo avanzar
cia en una oración puede cambiar totalmente en el estudio de la negación en español, ya
su significado (Horn, 1989). En un sistema que es una lengua bastante compleja en la
de análisis de opiniones, la valoración de una que aparte de los mecanismos habituales de
pelı́cula deberı́a ser totalmente diferente si los negación, se utiliza también la doble nega-
espectadores dicen “La pelı́cula me gustó mu- ción.
cho” que si dicen “La pelı́cula no me gustó La negación no sólo se emplea para de-
nada”. Un sistema de recuperación de infor- cir NO, como podemos pensar habitualmen-
mación como Google deberı́a devolver dife- te. En ocasiones utilizamos la negación para
rentes resultados ante las consultas “pelı́cu- reforzar el valor positivo de algo. Por ejem-
las que no sean de aventuras” y “pelı́culas que plo, en la oración “No puede ser más bonito”
sean de aventuras”, pero no es ası́. Al escu- estamos haciendo uso de la clave de negación
char estas frases, las personas somos capaces “No” para reforzar el valor positivo del adje-
de diferenciar el significado de cada una de tivo “bonito”.
ellas porque tenemos asimilado el concepto En español, también encontramos un uso
de negación. Si queremos que un sistema sea habitual de la doble negación. El lenguaje
capaz de ello, es necesario enseñarle cómo de- lógico es muy claro y estricto, dos negacio-
tectar la presencia de marcadores de negación nes forman una afirmación, pero el lenguaje
en una oración y cómo identificar su ámbito natural no siempre es uniforme. Podemos en-
15
Proceedings of NEGES 2018: Workshop on Negation in Spanish, pages 15-21
Seville, Spain, September, 18, 2018
contrar casos en los que dos negaciones tienen de casos y que tengan un tamaño considera-
un sentido positivo, por ejemplo, “No es ver- ble. Los corpus anotados hasta ahora perte-
dad que no me apasionen las matemáticas”, necen a 3 dominios (noticias, informes clı́ni-
o un sentido negativo, “No sé nada de as- cos y opiniones de productos) y se basan en
trologı́a”. En el primer caso, se niega que no directrices diferentes, por lo que no se pueden
me apasionen las matemáticas, lo cual quiere unir para entrenar un sistema de aprendizaje
decir que me apasionan. Mientras que en el automático.
segundo caso, “nada” está reforzando el sen- A pesar de que ya ha habido varios esfuer-
tido negativo del enunciado. zos de anotación, la comunidad carece de un
La negación es un elemento del lenguaje estándar para anotar la negación, al contrario
bastante complejo para el que la disponibili- de lo que sucede con otros fenómenos, como
dad de corpus anotados es fundamental por- los roles semánticos. La tarea 1 del taller NE-
que nos va a permitir entrenar sistemas para GES 2018 se propuso con este fin, tratar de
que sean capaces de procesar de forma ade- llegar a un acuerdo para generar un estándar
cuada este fenómeno. Sin embargo, no sólo para la anotación de la negación en español.
es importante que los corpus estén disponi- Para ello, las guı́as utilizadas para la ano-
bles sino que también deben estar bien do- tación de los corpus existentes hasta el mo-
cumentados y tener anotaciones de calidad. mento se han puesto a disposición de los par-
Además, para poder entrenar un sistema de ticipantes para que puedan analizarlas. Se ha
forma adecuada las anotaciones deben cubrir proporcionado un perı́odo de análisis y una
el mayor número posible de casos y seguir vez transcurrido el mismo, los participantes
unas directrices comunes. Por ello, en el taller han enviado un documento indicando con qué
NEGES 20181 se ha propuesto como tarea 1 aspectos de las guı́as están de acuerdo y con
una revisión de las guı́as de anotación exis- cuáles no, todo ello debidamente justificado.
tentes en español, con el objetivo de poder Está información se ha enviado a los partici-
definir unas directrices comunes. pantes, previamente a la celebración del ta-
El resto del documento está organizado ller, para que en el transcurso del taller se
como sigue: en la Sección 2 se describe la ta- puedan discutir los aspectos de interés y lle-
rea 1 del taller NEGES 2018, en la Sección gar a un consenso.
3 se presentan los corpus cuyas directrices de
anotación se han analizado, en la Sección 4 3 Corpus analizados
se presentan los participantes de la tarea y el En la tarea 1 se han analizado los 5 corpus en
análisis realizado y, por último, en la Sección español anotados con negación hasta el mo-
5 se presentan las conclusiones. mento, que pertenecen a 3 dominios diferen-
tes: noticias, informes clı́nicos y opiniones de
2 Descripción de la tarea
productos. A continuación, se describe breve-
La tarea 1 del taller NEGES 2018, “Guı́as mente cada uno de ellos.
de anotación”, tiene como objetivo llegar a
un acuerdo sobre las directrices a seguir pa- 3.1 UAM Spanish Treebank
ra anotar la negación en textos escritos en Sandoval y Salazar (2013) fueron los prime-
español. Jiménez-Zafra et al. (2018a) realiza- ros investigadores que enriquecieron un cor-
ron una recopilación de los corpus anotados pus en español, el UAM Spanish Treebank
con negación en español hasta el momento, (Moreno et al., 2003), con anotaciones sobre
mostrando que no son compatibles por di- claves de negación y sus respectivos ámbitos.
ferencias en el género, en las directrices de El corpus UAM Spanish Treebank está
anotación empleadas, en los aspectos de la formado por 1.500 oraciones extraı́das de
negación anotados (clave de negación, alcan- artı́culos periodı́sticos de El Paı́s Digital
ce, evento, foco) y en los patrones de nega- y Compra Maestra que inicialmente fueron
ción considerados (Martı́ et al., 2016). Para anotadas sintácticamente por Moreno et al.
poder desarrollar un sistema autómatico ca- (2003). Posteriormente, 10 años más tarde,
paz de procesar la negación es fundamental Sandoval y Salazar (2013) enriquecieron esta
disponer de corpus anotados con esta infor- versión del corpus con la anotación de claves
mación, que cubran el mayor número posible de negación sintácticas y con sus respectivos
1
http://www.sepln.org/workshops/neges/ ámbitos, identificando que el 10.67 % de las
index.php oraciones contenı́an negación, un total de 160
16
oraciones. polaridad, un incremento o una reducción de
Las anotaciones fueron realizadas por dos su valor.
expertos en lingüı́stica de corpus que siguie- Este corpus es una versión enriquecida de
ron unas directrices similares a las utilizadas la parte en español del corpus SFU de Ta-
para la anotación del corpus BioScope (Vin- boada, Anthony, y Voll (2006). Se trata de
cze et al., 2008). Las pautas empleadas pa- un corpus formado por 400 comentarios ex-
ra la anotación del corpus se encuentran en traı́dos de la web Ciao.es que pertenecen a 8
las páginas 51-55 del artı́culo de descripción dominios diferentes: automóviles, hoteles, la-
del corpus (Sandoval y Salazar, 2013) y es la vadoras, libros, teléfonos, música, ordenado-
información que fue revisada por los partici- res y pelı́culas. La versión inicial del corpus
pantes de la tarea. (Taboada, Anthony, y Voll, 2006) contiene in-
formación sobre la polaridad de los comenta-
3.2 IxaMed-GS rios en base al número de estrellas otorgado
El corpus IxaMed-GS (Oronoz et al., 2015) por la persona que ha escrito el comentario3 ,
está formado por 75 registros electrónicos de teniendo un total de 25 comentarios positivos
salud del Hospital Galdakao-Usansolo de Viz- y 25 comentarios negativos por cada domi-
caya. Fue anotado por dos expertos en far- nio. La versión enriquecida del corpus, deno-
macologı́a y farmacovigilancia con entidades minada SFU ReviewSP -NEG (Jiménez-Zafra
relacionadas con enfermedades y medicamen- et al., 2018b), ha sido anotada de forma au-
tos, y con las relaciones entre ellas que in- tomática a nivel de token con la categorı́a
dican efectos adversos. El principal objetivo gramatical y el lema, y de forma manual a
de la anotación fue la identificación de en- nivel de oración con marcadores de negación
tidades y eventos, pero la negación y la es- sintácticos y sus correspondientes ámbitos y
peculación se tuvieron en cuenta en el pro- eventos. En total, de las 9.455 oraciones que
ceso de anotación. De esta manera, se ano- forman el corpus, el 31.97 % contienen al me-
taron 2.362 enfermedades, de las cuales 490 nos un marcador de negación (3.022 oracio-
(20,75 %) se etiquetaron como enfermedades nes). Además, como se ha indicado inicial-
negadas y 40 (1,69 %) como enfermedades es- mente en la descripción del corpus, cada es-
peculadas. Además, se identificaron 404 enti- tructura de negación ha sido anotada con el
dades relacionadas con alergias, de las cuales tipo del patrón de negación empleado y con
273 (67,57 %) fueron negadas y 13 (3,22 %), el efecto que provoca la negación sobre las
especuladas. palabras de su alcance.
Para la anotación del corpus, los anotado- Las anotaciones fueron realizadas por dos
res definieron sus propias pautas de anota- investigadores experimentados con amplia
ción teniendo en cuenta las consideraciones experiencia en la anotación de corpus que su-
de Ananiadou y McNaught (2006). Estas di- pervisaron todo el proceso y dos anotadores
rectrices son las que fueron analizadas por los entrenados que llevaron a cabo la tarea de
participantes de la tarea y se encuentran en anotación. Se tuvieron en cuenta las direc-
la página 322 del artı́culo de descripción del trices utilizadas para la anotación del corpus
corpus (Oronoz et al., 2015). Bioscope (Vincze et al., 2008), pero después
de un análisis exhaustivo de la negación en
3.3 SFU ReviewSP -NEG español, se definió una tipologı́a de patrones
El corpus SFU ReviewSP -NEG2 (Jiménez- de negación en español (Martı́ et al., 2016).
Zafra et al., 2018b) es el primer corpus en es- Las pautas utilizadas para la anotación de
pañol en el que se realiza la anotación de mar- este corpus, que fueron analizadas por los
cadores de negación discontı́nuos y en el que participantes, se encuentran en las páginas
se define una tipologı́a de patrones de nega- 538-559 del artı́culo de descripción del cor-
ción para llevar a cabo la anotación (Martı́ et pus (Jiménez-Zafra et al., 2018b).
al., 2016). Además, es el primer corpus don-
de se anota el efecto de la negación sobre las 3.4 UHU-HUVR
palabras que están dentro de su alcance, es El corpus UHU-HUVR (Cruz et al., 2017) es
decir, si la negación provoca un cambio en la el primer corpus en español en el que se rea-
2 3
Fue publicado online el 22 de mayo de 2017, por 1-2 estrellas = comentario negativo, 3 estrellas no
eso se sitúa cronológicamente en tercer lugar se tuvieron en cuenta, y 4-5 estrellas = comentario
https://doi.org/10.1007/s10579-017-9391-x positivo
17
liza la anotación de la negación morfológica, Antonia Martı́ y Mariona Taulé de la Uni-
también conocida como negación afijal. Está versidad de Barcelona, y Lucia Donatelli de
compuesto por 604 informes clı́nicos del Hos- la Universidad de Georgetown.
pital Virgen del Rocı́o de Sevilla, de los cuales Martı́ y Taulé (2018) comienzan el análi-
276 se corresponden con informes de radio- sis comparando el tipo de información de los
logı́a y 328 con la historia personal de infor- corpus. Los 3 corpus del dominio biomédi-
mes de anamnesis escritos en texto libre. Fue co (IxaMed-GS, UHU-HUVR e IULA Spa-
anotado con marcadores de negación sintácti- nish Clinical Record) contienen información
cos, léxicos y morfológicos y con los eventos semi-estructurada, mientras que los otros dos
negados. En total, de las 3.065 oraciones de corpus (SFU ReviewSP -NEG y UAM Spanish
informes de anamnesis, el 35,20 % contienen Treebank) contienen información no estruc-
claves de negación (1.079 oraciones). En los turada. Posteriormente se centran en analizar
informes de radiologı́a, este porcentaje es me- cinco aspectos de relevancia para la anotación
nor, de 5.347 oraciones, el 22.80 % contienen de la negación: i) el marcador de negación, ii)
negación (1.219 oraciones). el ámbito y la inclusión del sujeto en el ámbi-
La anotación fue realizada por dos ano- to, iii) las estructuras coordinadas, iv) las lo-
tadores expertos en el dominio teniendo en cuciones de negación y v) la negación léxica
cuenta las directrices seguidas para la anota- y afijal. A continuación resumimos el análisis
ción del corpus Thyme (Styler IV et al., 2014) realizado por Martı́ y Taulè sobre cada unos
con algunas adaptaciones. Los detalles de las de los aspectos:
pautas empleadas para la anotación del cor-
pus que los participantes tenı́an que revisar se 1. Marcador de negación. Las autoras des-
encuentran en las páginas 54-57 del artı́culo tacan el hecho de que en todos los corpus
de descripción del corpus (Cruz et al., 2017). se anota el marcador de negación, excep-
to en el corpus IxaMed-GS, e indican que
3.5 IULA Spanish Clinical Record se debe a que el objetivo del mismo sólo
El último corpus en español anotado con ne- es extraer qué entidades están negadas
gación del que tenemos consciencia es el IU- y, por lo tanto, ignoran el marcador.
LA Spanish Clinical Record (Marimon et al.,
2017). Se trata de un corpus formado por 300 2. Ámbito. En relación al ámbito, todos los
informes clı́nicos anónimos de varios servicios corpus lo han anotado, pero divergen en
de uno de los principales hospitales de Bar- si incluyen (SFU ReviewSP -NEG y UAM
celona. Contiene anotaciones sobre marcar- Spanish Treebank) o no (UHU-HUVR e
dores de negación sintácticos y léxicos y so- IULA Spanish Clinical Record) el sujeto
bre sus respectivos ámbitos. En total contiene dentro del ámbito. Indican que este he-
3.194 oraciones, de las cuales el 34.22 % fue- cho puede deberse a las caracterı́sticas
ron anotadas con claves de negación (1.093 del dominio biomédico, ya que muchas
oraciones). de las expresiones utilizadas no tienen
La anotación del corpus fue realizada estructura oracional (1), por lo que no
por tres lingüistas computacionales asesora- tiene sentido marcar el sujeto.
dos por un clı́nico. Los anotadores definieron 3. Estructuras coordinadas. Respecto a la
sus propias pautas de anotación teniendo en negación en estructuras coordinadas,
cuenta las directrices de Mutalik, Deshpan- también observan diferencias. Sólo se
de, y Nadkarni (2001) y las empleadas para tratan en los corpus SFU ReviewSP -
la anotación del corpus BioScope (Szarvas et NEG, UHU-HUVR e IULA Spanish Cli-
al., 2008) y del corpus ConanDoyle-neg (Mo- nical Record, aunque de manera distin-
rante y Daelemans, 2012). Estas pautas son ta. En el corpus SFU ReviewSP -NEG se
las que los participantes de la tarea 1 tenı́an distingue entre las estructuras negativas
que analizar y se encuentras definidas en las coordinadas (2), donde cada marcador
páginas 45-49 del artı́culo de descripción del de negación es independiente y tiene su
corpus (Marimon et al., 2017). propio ámbito, y las estructuras negati-
vas que contienen marcadores de nega-
4 Participantes y análisis ción discontı́nuos (3), donde el ámbito
La tarea 1 de NEGES 2018 ha tenido dos par- incluye toda la coordinación. Sin embar-
ticipantes: el equipo CLiC formado por M. go, en el corpus IULA Spanish Clinical
18
Record siempre se incluye la coordina- 3. Realizar un tratamiento de la negación
ción dentro del ámbito (4), mientras que coordinada.
en el corpus UHU-HUVR cualquier tipo
de coordinación da lugar a dos estructu- 4. Anotar las locuciones negativas (ej. en
ras distintas con sus marcadores de ne- absoluto), aunque no contengan marca-
gación y correspondientes ámbitos (5) y dores explı́citos de negación.
(6). 5. Anotar la negación léxica y morfológica.
4. Locuciones de negación. Con respecto a 6. Anotar el foco de la negación, que no se
las locuciones de negación, expresiones trata en ninguna de las guı́as analizadas.
multipalabra que expresan negación (ej.
en la vida), sólo se tratan en el corpus Donatelli (2018) describe de forma indivi-
SFU ReviewSP -NEG. dual cada corpus e indica los elementos que
5. Negación léxica y afijal. Por último, en echa en falta en la anotación de cada uno de
cuanto a la negación léxica y afijal, sólo ellos y aquellos aspectos que deberı́an haber-
se anota en los corpus UHU-HUVR e se tenido en cuenta. Considera que se pueden
IULA Spanish Clinical Record, aunque combinar algunos componentes de las pro-
de forma limitada. IULA Spanish Cli- puestas de anotación de los distintos corpus
nical Record limita la negación léxica a para dar lugar a un conjunto de directrices
los predicados ‘descartar’, ‘ausencia de’ e lingüı́sticamente precisas y neutras en cuan-
‘incapaz de’, y en el corpus UHU-HUVR, to al dominio. Indica que para representar la
sólo se mencionan los negadores ‘aban- semántica de la negación se deben anotar los
dono’, ‘negativo, ‘-‘ y ‘/’, pero no se dan siguientes elementos:
más detalles.
1. La clave de negación: elemento léxico
(1) No alergias medicamentosas que expresa la negación.
(UHU-HUVR)
2. El ámbito: parte del texto que es negada.
(2) No [soy muy alta] tampoco [un pitufo] 3. El foco: parte del ámbito que es negada
(SFU ReviewSP -NEG) de forma prominente o explı́cita.
(3) No [es ni muy pesado ni muy ligero] 4. El refuerzo (en caso de que exista): ne-
(SFU ReviewSP -NEG) gación auxiliar o elemento de polaridad
negativa, conocido como NPI (Negative
(4) No [masas ni megalias] Polarity Item) (Altuna, Minard, y Spe-
(IULA Spanish Clinical Record) ranza, 2017).
(5) No hemos observado [alteraciones a A continuación podemos ver, en un
nivel de los distintos ligamentos (. . . )], ası́ ejemplo proporcionado por la autora (7),
como [de las restantes partes blandas] los diferentes elementos explicados ante-
(UHU-HUVR) riormente. La clave de negación aparece en
negrita, el ámbito en cursiva, el foco entre
(6) No [hay evidencia de módulos pulmo- corchetes y el refuerzo en negrita y en cursiva.
nares] / [adenomegalias mediastı́nicas]
(UHU-HUVR) (7) Juan no come [carne] sino verduras.
En cuanto a las directrices propuestas pa- Donatelli considera que el esquema pro-
ra tratar de llegar a un consenso sobre la puesto por Jiménez-Zafra et al. (2018b) para
anotación de la negación en español, Martı́ y la anotación del corpus SFU ReviewSP -NEG
Taulé (2018) proponen lo siguiente: es adecuado para capturar las capas de com-
plejidad de la negación y propone combinarlo
1. Anotar los marcadores de negación, dis- con el uso de la etiqueta NegPolItem utilizada
tinguiendo entre marcadores simples (ej. por Marimon et al. (2017) en la anotación del
no, sin) y complejos (ej. no...nadie). corpus IULA Spanish Clinical Record para
2. Anotar el ámbito de la negación inclu- marcar los ı́tems de polaridad negativa (NPI)
yendo el sujeto dentro del mismo. o negaciones auxiliares.
19
5 Conclusiones Ananiadou, S. y J. McNaught. 2006. Text
La negación es un fenómeno lingüı́stico com- mining for biology and biomedicine. Ar-
plejo que se ha estudiado ampliamente des- tech House London.
de una perspectiva teórica. La detección de Büttcher, S., C. L. Clarke, y G. V. Cormack.
aserciones negativas es relevante en una am- 2010. Information Retrieval: Implemen-
plia gama de aplicaciones, como la extracción ting and Evaluating Search Engines. MIT
de información, la traducción automática o Press.
el análisis de sentimientos, donde es crucial Cruz, N., R. Morante, M. J. M. López, J. M.
conocer cuándo una parte del texto tiene un Vázquez, y C. L. P. Calderón. 2017.
significado diferente por la presencia de la ne- Annotating negation in Spanish clinical
gación. La detección de la negación se está texts. En Proceedings of the Workshop
convirtiendo en una tarea relevante para el Computational Semantics Beyond Events
PLN, de hecho, algunos autores lo definen and Roles, páginas 53–58.
como un desafı́o (Liu, 2012). Sin embargo,
la mayor parte de la investigación sobre la Donatelli, L. 2018. Cues, Scope, and Fo-
negación se ha realizado para el inglés. Por cus: Annotating Negation in Spanish Cor-
lo tanto, con este taller, se pretende avanzar pora. En Proceedings of NEGES 2018:
en el estudio de este fenómeno en español, la Workshop on Negation in Spanish, volu-
segunda lengua más hablada en el mundo y men 2174, páginas 29–34.
la tercera más utilizada en Internet. Horn, L. R. 1989. A natural history of nega-
El principal objetivo de la tarea 1 es reunir tion. CSLI Publications.
a la comunidad cientı́fica que está trabajando
Jiménez-Zafra, S. M., R. Morante, M. Mar-
en este tema para poder llegar a un acuer-
tin, y L. A. U. Lopez. 2018a. A review of
do sobre las directrices a seguir para anotar
Spanish corpora annotated with negation.
la negación, ya que aunque ha habido varios
En Proceedings of the 27th International
esfuerzos de anotación, la comunidad carede
Conference on Computational Linguistics,
de un estándar, lo que dificulta el desarrollo
páginas 915–924.
de sistemas automáticos para procesar este
fenómeno. Jiménez-Zafra, S. M., M. Taulé, M. T.
El análisis realizado por los participantes Martı́n-Valdivia, L. A. Ureña-López, y
se utilizará como punto de partida para que M. A. Martı́. 2018b. SFU ReviewSP-
en el transcurso del taller se puedan discutir NEG: a Spanish corpus annotated with
los aspectos de interés y llegar a un consenso. negation for sentiment analysis. A typo-
Asimismo, la discusión originada marcará las logy of negation patterns. Language Re-
lı́neas de futuro de esta tarea. sources and Evaluation, 52(2):533–569.
Liu, B. 2012. Sentiment analysis and opi-
Agradecimientos nion mining. Synthesis lectures on human
Este trabajo ha sido parcialmente financia- language technologies, 5(1):1–167.
do por el Ministerio de Educación, Cultura y Marimon, M., J. Vivaldi, N. Bel, y R. Bo-
Deporte (MECD - ayuda FPU014/00983), el ronat. 2017. Annotation of negation in
Fondo Europeo de Desarrollo Regional (FE- the IULA Spanish Clinical Record Corpus.
DER) y el proyecto REDES (TIN2015-65136- SemBEaR 2017, 5(36.41):43.
C2-1-R) del Gobierno de España. Roser Mo-
rante ha sido financiada por la Organiza- Martı́, M. A. y M. Taulé. 2018. Análisis
ción Holandesa para la Investigación Cientı́fi- Comparativo de los Sistemas de Anota-
ca (NWO) a través del premio Spinoza otor- ción de la Negación en Español. En Pro-
gado a Piek Vossen (SPI 30-673, 2014-2019). ceedings of NEGES 2018: Workshop on
Negation in Spanish, volumen 2174, pági-
Bibliografı́a nas 23–28.
Altuna, B., A.-L. Minard, y M. Speranza. Martı́, M. A., M. Taulé, M. Nofre, L. Marsó,
2017. The Scope and Focus of Negation: M. T. Martı́n-Valdivia, y S. M. Jiménez-
A Complete Annotation Framework for Zafra. 2016. La negación en español:
Italian. En Proceedings of the Workshop análisis y tipologı́a de patrones de nega-
Computational Semantics Beyond Events ción. Procesamiento del Lenguaje Natural,
and Roles, páginas 34–42. (57):41–48.
20
Morante, R. y W. Daelemans. 2012. negation and their scopes. BMC bioinfor-
ConanDoyle-neg: Annotation of negation matics, 9(11):1.
in Conan Doyle stories. En Proceedings
of the Eighth International Conference on
Language Resources and Evaluation, Is-
tanbul. Citeseer.
Moreno, A., S. López, F. Sánchez, y R. Grish-
man. 2003. Developing a syntactic an-
notation scheme and tools for a Spanish
treebank. En Treebanks. Springer, pági-
nas 149–163.
Mutalik, P. G., A. Deshpande, y P. M. Nad-
karni. 2001. Use of general-purpose ne-
gation detection to augment concept in-
dexing of medical documents: a quantita-
tive study using the UMLS. Journal of
the American Medical Informatics Asso-
ciation, 8(6):598–609.
Oronoz, M., K. Gojenola, A. Pérez,
A. D’ıaz de Ilarraza, y A. Casillas.
2015. On the creation of a clinical gold
standard corpus in Spanish: Mining
adverse drug reactions. Journal of
biomedical informatics, 56:318–332.
Sandoval, A. M. y M. G. Salazar. 2013. La
anotación de la negación en un corpus es-
crito etiquetado sintácticamente. Annota-
tion of negation in a written treebank. Re-
vista Iberoamericana de Linguistica, 8.
Styler IV, W. F., S. Bethard, S. Finan,
M. Palmer, S. Pradhan, P. de Groen,
B. Erickson, T. Miller, C. Lin, G. Savo-
va, y others. 2014. Temporal annota-
tion in the clinical domain. Transactions
of the Association for Computational Lin-
guistics, 2:143–154.
Szarvas, G., V. Vincze, R. Farkas, y J. Csirik.
2008. The BioScope corpus: annotation
for negation, uncertainty and their scope
in biomedical texts. En Proceedings of the
Workshop on Current Trends in Biome-
dical Natural Language Processing, pági-
nas 38–45. Association for Computational
Linguistics.
Taboada, M., C. Anthony, y K. Voll. 2006.
Methods for creating semantic orientation
dictionaries. En Proceedings of the 5th
Conference on Language Resources and
Evaluation (LREC’06), páginas 427–432.
Vincze, V., G. Szarvas, R. Farkas, G. Móra, y
J. Csirik. 2008. The BioScope corpus: bio-
medical texts annotated for uncertainty,
21