Tarea 1 del Taller NEGES 2018: Gu as de Anotacion

Abstract

This paper presents task 1 of NEGES 2018, Workshop on Negation in Spanish, held as part of the XXXIV edition of the International Conference of the Spanish Society for Natural Language Processing. The objective of this task is to reach an agreement on the guidelines to follow for the annotation of negation in Spanish texts in order to develop negation processing systems.

-

La negacion es un elemento lingu stico clave en muchas aplicaciones relacionadas con el Procesamiento del Lenguaje Natural (PLN), como el analisis de sentimientos (Liu, 2012) o la recuperacion de informacion (Buttcher, Clarke, y Cormack, 2010), ya que su presencia en una oracion puede cambiar totalmente su signi cado (Horn, 1989) . En un sistema de analisis de opiniones, la valoracion de una pel cula deber a ser totalmente diferente si los espectadores dicen \La pel cula me gusto mucho" que si dicen \La pel cula no me gusto nada". Un sistema de recuperacion de informacion como Google deber a devolver diferentes resultados ante las consultas \pel culas que no sean de aventuras" y \pel culas que sean de aventuras", pero no es as . Al escuchar estas frases, las personas somos capaces de diferenciar el signi cado de cada una de ellas porque tenemos asimilado el concepto de negacion. Si queremos que un sistema sea capaz de ello, es necesario ensen~arle como detectar la presencia de marcadores de negacion en una oracion y como identi car su ambito de in uencia, es decir, cuales son las palabras cuyo signi cado se esta viendo modi cado.

Hasta ahora, la mayor parte de la investigacion sobre la negacion se ha realizado sobre textos en ingles. Sin embargo, la presencia de otros idiomas en Internet, entre los que se encuentra el espan~ol, es cada vez mayor. Por ello, este taller tiene como objetivo avanzar en el estudio de la negacion en espan~ol, ya que es una lengua bastante compleja en la que aparte de los mecanismos habituales de negacion, se utiliza tambien la doble negacion.

La negacion no solo se emplea para decir NO, como podemos pensar habitualmente. En ocasiones utilizamos la negacion para reforzar el valor positivo de algo. Por ejemplo, en la oracion \No puede ser mas bonito" estamos haciendo uso de la clave de negacion \No" para reforzar el valor positivo del adjetivo \bonito".

En espan~ol, tambien encontramos un uso habitual de la doble negacion. El lenguaje logico es muy claro y estricto, dos negaciones forman una a rmacion, pero el lenguaje natural no siempre es uniforme. Podemos encontrar casos en los que dos negaciones tienen un sentido positivo, por ejemplo, \No es verdad que no me apasionen las matematicas", o un sentido negativo, \No se nada de astrolog a". En el primer caso, se niega que no me apasionen las matematicas, lo cual quiere decir que me apasionan. Mientras que en el segundo caso, \nada" esta reforzando el sentido negativo del enunciado.

La negacion es un elemento del lenguaje bastante complejo para el que la disponibilidad de corpus anotados es fundamental porque nos va a permitir entrenar sistemas para que sean capaces de procesar de forma adecuada este fenomeno. Sin embargo, no solo es importante que los corpus esten disponibles sino que tambien deben estar bien documentados y tener anotaciones de calidad. Ademas, para poder entrenar un sistema de forma adecuada las anotaciones deben cubrir el mayor numero posible de casos y seguir unas directrices comunes. Por ello, en el taller NEGES 20181 se ha propuesto como tarea 1 una revision de las gu as de anotacion existentes en espan~ol, con el objetivo de poder de nir unas directrices comunes.

El resto del documento esta organizado como sigue: en la Seccion 2 se describe la tarea 1 del taller NEGES 2018, en la Seccion 3 se presentan los corpus cuyas directrices de anotacion se han analizado, en la Seccion 4 se presentan los participantes de la tarea y el analisis realizado y, por ultimo, en la Seccion 5 se presentan las conclusiones. 2

Descripcion de la tarea

La tarea 1 del taller NEGES 2018, \Gu as de anotacion", tiene como objetivo llegar a un acuerdo sobre las directrices a seguir para anotar la negacion en textos escritos en espan~ol. Jimenez-Zafra et al. (2018a) realizaron una recopilacion de los corpus anotados con negacion en espan~ol hasta el momento, mostrando que no son compatibles por diferencias en el genero, en las directrices de anotacion empleadas, en los aspectos de la negacion anotados (clave de negacion, alcance, evento, foco) y en los patrones de negacion considerados (Mart et al., 2016) . Para poder desarrollar un sistema automatico capaz de procesar la negacion es fundamental disponer de corpus anotados con esta informacion, que cubran el mayor numero posible 1http://www.sepln.org/workshops/neges/ index.php de casos y que tengan un taman~o considerable. Los corpus anotados hasta ahora pertenecen a 3 dominios (noticias, informes cl nicos y opiniones de productos) y se basan en directrices diferentes, por lo que no se pueden unir para entrenar un sistema de aprendizaje automatico.

A pesar de que ya ha habido varios esfuerzos de anotacion, la comunidad carece de un estandar para anotar la negacion, al contrario de lo que sucede con otros fenomenos, como los roles semanticos. La tarea 1 del taller NEGES 2018 se propuso con este n, tratar de llegar a un acuerdo para generar un estandar para la anotacion de la negacion en espan~ol. Para ello, las gu as utilizadas para la anotacion de los corpus existentes hasta el momento se han puesto a disposicion de los participantes para que puedan analizarlas. Se ha proporcionado un per odo de analisis y una vez transcurrido el mismo, los participantes han enviado un documento indicando con que aspectos de las gu as estan de acuerdo y con cuales no, todo ello debidamente justi cado. Esta informacion se ha enviado a los participantes, previamente a la celebracion del taller, para que en el transcurso del taller se puedan discutir los aspectos de interes y llegar a un consenso. 3

Corpus analizados

En la tarea 1 se han analizado los 5 corpus en espan~ol anotados con negacion hasta el momento, que pertenecen a 3 dominios diferentes: noticias, informes cl nicos y opiniones de productos. A continuacion, se describe brevemente cada uno de ellos. 3.1

UAM Spanish Treebank

Sandoval y Salazar (2013) fueron los primeros investigadores que enriquecieron un corpus en espan~ol, el UAM Spanish Treebank (Moreno et al., 2003) , con anotaciones sobre claves de negacion y sus respectivos ambitos.

El corpus UAM Spanish Treebank esta formado por 1.500 oraciones extra das de art culos period sticos de El Pa s Digital y Compra Maestra que inicialmente fueron anotadas sintacticamente por Moreno et al. (2003) . Posteriormente, 10 an~os mas tarde, Sandoval y Salazar (2013) enriquecieron esta version del corpus con la anotacion de claves de negacion sintacticas y con sus respectivos ambitos, identi cando que el 10.67 % de las oraciones conten an negacion, un total de 160 oraciones.

Las anotaciones fueron realizadas por dos expertos en lingu stica de corpus que siguieron unas directrices similares a las utilizadas para la anotacion del corpus BioScope (Vincze et al., 2008) . Las pautas empleadas para la anotacion del corpus se encuentran en las paginas 51-55 del art culo de descripcion del corpus (Sandoval y Salazar, 2013) y es la informacion que fue revisada por los participantes de la tarea. 3.2

IxaMed-GS

El corpus IxaMed-GS (Oronoz et al., 2015) esta formado por 75 registros electronicos de salud del Hospital Galdakao-Usansolo de Vizcaya. Fue anotado por dos expertos en farmacolog a y farmacovigilancia con entidades relacionadas con enfermedades y medicamentos, y con las relaciones entre ellas que indican efectos adversos. El principal objetivo de la anotacion fue la identi cacion de entidades y eventos, pero la negacion y la especulacion se tuvieron en cuenta en el proceso de anotacion. De esta manera, se anotaron 2.362 enfermedades, de las cuales 490 (20,75 %) se etiquetaron como enfermedades negadas y 40 (1,69 %) como enfermedades especuladas. Ademas, se identi caron 404 entidades relacionadas con alergias, de las cuales 273 (67,57 %) fueron negadas y 13 (3,22 %), especuladas.

Para la anotacion del corpus, los anotadores de nieron sus propias pautas de anotacion teniendo en cuenta las consideraciones de Ananiadou y McNaught (2006). Estas directrices son las que fueron analizadas por los participantes de la tarea y se encuentran en la pagina 322 del art culo de descripcion del corpus (Oronoz et al., 2015) . 3.3

SFU ReviewSP-NEG

El corpus SFU ReviewSP-NEG2 (JimenezZafra et al., 2018b) es el primer corpus en espan~ol en el que se realiza la anotacion de marcadores de negacion discont nuos y en el que se de ne una tipolog a de patrones de negacion para llevar a cabo la anotacion (Mart et al., 2016) . Ademas, es el primer corpus donde se anota el efecto de la negacion sobre las palabras que estan dentro de su alcance, es decir, si la negacion provoca un cambio en la 2Fue publicado online el 22 de mayo de 2017, por eso se situa cronologicamente en tercer lugar https://doi.org/10.1007/s10579-017-9391-x polaridad, un incremento o una reduccion de su valor.

Este corpus es una version enriquecida de la parte en espan~ol del corpus SFU de Taboada, Anthony, y Voll (2006). Se trata de un corpus formado por 400 comentarios extra dos de la web Ciao.es que pertenecen a 8 dominios diferentes: automoviles, hoteles, lavadoras, libros, telefonos, musica, ordenadores y pel culas. La version inicial del corpus (Taboada, Anthony, y Voll, 2006) contiene informacion sobre la polaridad de los comentarios en base al numero de estrellas otorgado por la persona que ha escrito el comentario3, teniendo un total de 25 comentarios positivos y 25 comentarios negativos por cada dominio. La version enriquecida del corpus, denominada SFU ReviewSP-NEG (Jimenez-Zafra et al., 2018b) , ha sido anotada de forma automatica a nivel de token con la categor a gramatical y el lema, y de forma manual a nivel de oracion con marcadores de negacion sintacticos y sus correspondientes ambitos y eventos. En total, de las 9.455 oraciones que forman el corpus, el 31.97 % contienen al menos un marcador de negacion (3.022 oraciones). Ademas, como se ha indicado inicialmente en la descripcion del corpus, cada estructura de negacion ha sido anotada con el tipo del patron de negacion empleado y con el efecto que provoca la negacion sobre las palabras de su alcance.

Las anotaciones fueron realizadas por dos investigadores experimentados con amplia experiencia en la anotacion de corpus que supervisaron todo el proceso y dos anotadores entrenados que llevaron a cabo la tarea de anotacion. Se tuvieron en cuenta las directrices utilizadas para la anotacion del corpus Bioscope (Vincze et al., 2008) , pero despues de un analisis exhaustivo de la negacion en espan~ol, se de nio una tipolog a de patrones de negacion en espan~ol (Mart et al., 2016) . Las pautas utilizadas para la anotacion de este corpus, que fueron analizadas por los participantes, se encuentran en las paginas 538-559 del art culo de descripcion del corpus (Jimenez-Zafra et al., 2018b) . 3.4

UHU-HUVR

El corpus UHU-HUVR (Cruz et al., 2017) es el primer corpus en espan~ol en el que se rea31-2 estrellas = comentario negativo, 3 estrellas no se tuvieron en cuenta, y 4-5 estrellas = comentario positivo liza la anotacion de la negacion morfologica, tambien conocida como negacion a jal. Esta compuesto por 604 informes cl nicos del Hospital Virgen del Roc o de Sevilla, de los cuales 276 se corresponden con informes de radiolog a y 328 con la historia personal de informes de anamnesis escritos en texto libre. Fue anotado con marcadores de negacion sintacticos, lexicos y morfologicos y con los eventos negados. En total, de las 3.065 oraciones de informes de anamnesis, el 35,20 % contienen claves de negacion (1.079 oraciones). En los informes de radiolog a, este porcentaje es menor, de 5.347 oraciones, el 22.80 % contienen negacion (1.219 oraciones).

La anotacion fue realizada por dos anotadores expertos en el dominio teniendo en cuenta las directrices seguidas para la anotacion del corpus Thyme (Styler IV et al., 2014) con algunas adaptaciones. Los detalles de las pautas empleadas para la anotacion del corpus que los participantes ten an que revisar se encuentran en las paginas 54-57 del art culo de descripcion del corpus (Cruz et al., 2017) . 3.5

IULA Spanish Clinical Record

El ultimo corpus en espan~ol anotado con negacion del que tenemos consciencia es el IULA Spanish Clinical Record (Marimon et al., 2017) . Se trata de un corpus formado por 300 informes cl nicos anonimos de varios servicios de uno de los principales hospitales de Barcelona. Contiene anotaciones sobre marcardores de negacion sintacticos y lexicos y sobre sus respectivos ambitos. En total contiene 3.194 oraciones, de las cuales el 34.22 % fueron anotadas con claves de negacion (1.093 oraciones).

La anotacion del corpus fue realizada por tres linguistas computacionales asesorados por un cl nico. Los anotadores de nieron sus propias pautas de anotacion teniendo en cuenta las directrices de Mutalik, Deshpande, y Nadkarni (2001 ) y las empleadas para la anotacion del corpus BioScope (Szarvas et al., 2008) y del corpus ConanDoyle-neg (Morante y Daelemans, 2012) . Estas pautas son las que los participantes de la tarea 1 ten an que analizar y se encuentras de nidas en las paginas 45-49 del art culo de descripcion del corpus (Marimon et al., 2017) . 4

Participantes y analisis

La tarea 1 de NEGES 2018 ha tenido dos participantes: el equipo CLiC formado por M.

Antonia Mart y Mariona Taule de la Universidad de Barcelona, y Lucia Donatelli de la Universidad de Georgetown.

Mart y Taule (2018 ) comienzan el analisis comparando el tipo de informacion de los corpus. Los 3 corpus del dominio biomedico (IxaMed-GS, UHU-HUVR e IULA Spanish Clinical Record) contienen informacion semi-estructurada, mientras que los otros dos corpus (SFU ReviewSP-NEG y UAM Spanish Treebank) contienen informacion no estructurada. Posteriormente se centran en analizar cinco aspectos de relevancia para la anotacion de la negacion: i) el marcador de negacion, ii) el ambito y la inclusion del sujeto en el ambito, iii) las estructuras coordinadas, iv) las locuciones de negacion y v) la negacion lexica y a jal. A continuacion resumimos el analisis realizado por Mart y Taule sobre cada unos de los aspectos: 1. Marcador de negacion. Las autoras destacan el hecho de que en todos los corpus se anota el marcador de negacion, excepto en el corpus IxaMed-GS, e indican que se debe a que el objetivo del mismo solo es extraer que entidades estan negadas y, por lo tanto, ignoran el marcador. 2. Ambito. En relacion al ambito, todos los corpus lo han anotado, pero divergen en si incluyen (SFU ReviewSP-NEG y UAM Spanish Treebank) o no (UHU-HUVR e IULA Spanish Clinical Record) el sujeto dentro del ambito. Indican que este hecho puede deberse a las caracter sticas del dominio biomedico, ya que muchas de las expresiones utilizadas no tienen estructura oracional (1), por lo que no tiene sentido marcar el sujeto. 3. Estructuras coordinadas. Respecto a la negacion en estructuras coordinadas, tambien observan diferencias. Solo se tratan en los corpus SFU ReviewSPNEG, UHU-HUVR e IULA Spanish Clinical Record, aunque de manera distinta. En el corpus SFU ReviewSP-NEG se distingue entre las estructuras negativas coordinadas (2), donde cada marcador de negacion es independiente y tiene su propio ambito, y las estructuras negativas que contienen marcadores de negacion discont nuos (3), donde el ambito incluye toda la coordinacion. Sin embargo, en el corpus IULA Spanish Clinical Record siempre se incluye la coordinacion dentro del ambito (4), mientras que en el corpus UHU-HUVR cualquier tipo de coordinacion da lugar a dos estructuras distintas con sus marcadores de negacion y correspondientes ambitos (5) y (6). 4. Locuciones de negacion. Con respecto a las locuciones de negacion, expresiones multipalabra que expresan negacion (ej. en la vida), solo se tratan en el corpus SFU ReviewSP-NEG. 5. Negacion lexica y a jal. Por ultimo, en cuanto a la negacion lexica y a jal, solo se anota en los corpus UHU-HUVR e IULA Spanish Clinical Record, aunque de forma limitada. IULA Spanish Clinical Record limita la negacion lexica a los predicados `descartar', `ausencia de' e `incapaz de', y en el corpus UHU-HUVR, solo se mencionan los negadores `abandono', `negativo, `-` y `/', pero no se dan mas detalles.

(1) No alergias medicamentosas (UHU-HUVR)

(2) No [soy muy alta] tampoco [un pitufo] (SFU ReviewSP-NEG)

(3) No [es ni muy pesado ni muy ligero] (SFU ReviewSP-NEG)

(4) No [masas ni megalias] (IULA Spanish Clinical Record)

(5) No hemos observado [alteraciones a nivel de los distintos ligamentos (. . . )], as como [de las restantes partes blandas] (UHU-HUVR)

(6) No [hay evidencia de modulos pulmonares] / [adenomegalias mediast nicas] (UHU-HUVR)

En cuanto a las directrices propuestas para tratar de llegar a un consenso sobre la anotacion de la negacion en espan~ol, Mart y Taule (2018 ) proponen lo siguiente: 1. Anotar los marcadores de negacion, distinguiendo entre marcadores simples (ej. no, sin) y complejos (ej. no...nadie). 2. Anotar el ambito de la negacion incluyendo el sujeto dentro del mismo. 3. Realizar un tratamiento de la negacion coordinada. 4. Anotar las locuciones negativas (ej. en absoluto), aunque no contengan marcadores expl citos de negacion. 5. Anotar la negacion lexica y morfologica. 6. Anotar el foco de la negacion, que no se trata en ninguna de las gu as analizadas.

Donatelli (2018) describe de forma individual cada corpus e indica los elementos que echa en falta en la anotacion de cada uno de ellos y aquellos aspectos que deber an haberse tenido en cuenta. Considera que se pueden combinar algunos componentes de las propuestas de anotacion de los distintos corpus para dar lugar a un conjunto de directrices lingu sticamente precisas y neutras en cuanto al dominio. Indica que para representar la semantica de la negacion se deben anotar los siguientes elementos: 1. La clave de negacion: elemento lexico que expresa la negacion. 2. El ambito: parte del texto que es negada. 3. El foco: parte del ambito que es negada de forma prominente o expl cita. 4. El refuerzo (en caso de que exista): negacion auxiliar o elemento de polaridad negativa, conocido como NPI (Negative Polarity Item) (Altuna, Minard, y Speranza, 2017).

A continuacion podemos ver, en un ejemplo proporcionado por la autora (7), los diferentes elementos explicados anteriormente. La clave de negacion aparece en negrita, el ambito en cursiva, el foco entre corchetes y el refuerzo en negrita y en cursiva. (7) Juan no come [carne] sino verduras.

Donatelli considera que el esquema propuesto por Jimenez-Zafra et al. (2018b) para la anotacion del corpus SFU ReviewSP-NEG es adecuado para capturar las capas de complejidad de la negacion y propone combinarlo con el uso de la etiqueta NegPolItem utilizada por Marimon et al. (2017) en la anotacion del corpus IULA Spanish Clinical Record para marcar los tems de polaridad negativa (NPI) o negaciones auxiliares.

Conclusiones

La negacion es un fenomeno lingu stico complejo que se ha estudiado ampliamente desde una perspectiva teorica. La deteccion de aserciones negativas es relevante en una amplia gama de aplicaciones, como la extraccion de informacion, la traduccion automatica o el analisis de sentimientos, donde es crucial conocer cuando una parte del texto tiene un signi cado diferente por la presencia de la negacion. La deteccion de la negacion se esta convirtiendo en una tarea relevante para el PLN, de hecho, algunos autores lo de nen como un desaf o (Liu, 2012) . Sin embargo, la mayor parte de la investigacion sobre la negacion se ha realizado para el ingles. Por lo tanto, con este taller, se pretende avanzar en el estudio de este fenomeno en espan~ol, la segunda lengua mas hablada en el mundo y la tercera mas utilizada en Internet.

El principal objetivo de la tarea 1 es reunir a la comunidad cient ca que esta trabajando en este tema para poder llegar a un acuerdo sobre las directrices a seguir para anotar la negacion, ya que aunque ha habido varios esfuerzos de anotacion, la comunidad carede de un estandar, lo que di culta el desarrollo de sistemas automaticos para procesar este fenomeno.

El analisis realizado por los participantes se utilizara como punto de partida para que en el transcurso del taller se puedan discutir los aspectos de interes y llegar a un consenso. Asimismo, la discusion originada marcara las l neas de futuro de esta tarea.

Agradecimientos

Este trabajo ha sido parcialmente nanciado por el Ministerio de Educacion, Cultura y Deporte (MECD - ayuda FPU014/00983), el Fondo Europeo de Desarrollo Regional (FEDER) y el proyecto REDES (TIN2015-65136C2-1-R) del Gobierno de Espan~a. Roser Morante ha sido nanciada por la Organizacion Holandesa para la Investigacion Cient ca (NWO) a traves del premio Spinoza otorgado a Piek Vossen (SPI 30-673, 2014-2019).

Bibliograf a

Altuna, B., A.-L. Minard, y M. Speranza. 2017. The Scope and Focus of Negation: A Complete Annotation Framework for Italian. En Proceedings of the Workshop Computational Semantics Beyond Events and Roles, paginas 34{42. negation and their scopes. BMC bioinformatics, 9(11):1.

References

Ananiadou , S. y J. McNaught . 2006 . Text mining for biology and biomedicine . Artech House London.

Cruz , N. , R. Morante , M. J. M. Lopez , J. M. Vazquez , y C. L. P. Calderon . 2017 . Annotating negation in Spanish clinical texts . En Proceedings of the Workshop Computational Semantics Beyond Events and Roles , paginas 53 { 58 .

Donatelli , L. 2018 . Cues, Scope, and Focus: Annotating Negation in Spanish Corpora . En Proceedings of NEGES 2018 : Workshop on Negation in Spanish, volumen 2174 , paginas 29 { 34 .

Horn , L. R. 1989 . A natural history of negation . CSLI Publications.

Jimenez-Zafra , S. M. , R. Morante , M. Martin, y L. A. U. Lopez . 2018a . A review of Spanish corpora annotated with negation . En Proceedings of the 27th International Conference on Computational Linguistics , paginas 915 { 924 .

Jimenez-Zafra , S. M. , M. Taule , M. T. Mart n-Valdivia, L. A. Uren~ a-Lopez, y M. A. Mart . 2018b . SFU ReviewSPNEG: a Spanish corpus annotated with negation for sentiment analysis. A typology of negation patterns . Language Resources and Evaluation , 52 ( 2 ): 533 { 569 .

Liu , B. 2012 . Sentiment analysis and opinion mining . Synthesis lectures on human language technologies , 5 ( 1 ):1{ 167 .

Marimon , M. , J. Vivaldi , N. Bel, y R. Boronat . 2017 . Annotation of negation in the IULA Spanish Clinical Record Corpus . SemBEaR 2017 , 5 ( 36 .41): 43 .

Mart , M. A . y M. Taule . 2018 . Analisis Comparativo de los Sistemas de Anotacion de la Negacion en Espan~ol. En Proceedings of NEGES 2018 : Workshop on Negation in Spanish, volumen 2174 , paginas 23 { 28 .

Mart , M. A. , M. Taule , M. Nofre , L. Marso , M. T. Mart n-Valdivia, y S. M. JimenezZafra . 2016 . La negacion en espan~ol: analisis y tipolog a de patrones de negacion . Procesamiento del Lenguaje Natural , ( 57 ): 41 { 48 .

Morante , R. y W. Daelemans . 2012 . ConanDoyle-neg: Annotation of negation in Conan Doyle stories . En Proceedings of the Eighth International Conference on Language Resources and Evaluation , Istanbul. Citeseer.

Moreno , A ., S. Lopez , F. Sanchez , y R. Grishman . 2003 . Developing a syntactic annotation scheme and tools for a Spanish treebank . En Treebanks . Springer, paginas 149 { 163 .

Mutalik , P. G. , A . Deshpande, y P. M. Nadkarni . 2001 . Use of general-purpose negation detection to augment concept indexing of medical documents: a quantitative study using the UMLS . Journal of the American Medical Informatics Association , 8 ( 6 ): 598 { 609 .

Oronoz , M. , K. Gojenola , A. Perez , A. D' az de Ilarraza, y A. Casillas . 2015 . On the creation of a clinical gold standard corpus in Spanish: Mining adverse drug reactions . Journal of biomedical informatics , 56 : 318 { 332 .

Sandoval , A. M. y M. G. Salazar . 2013 . La anotacion de la negacion en un corpus escrito etiquetado sintacticamente. Annotation of negation in a written treebank . Revista Iberoamericana de Linguistica , 8 .

Styler IV , W. F., S. Bethard , S. Finan , M. Palmer , S. Pradhan , P. de Groen, B. Erickson , T. Miller , C. Lin , G. Savova, y others. 2014 . Temporal annotation in the clinical domain . Transactions of the Association for Computational Linguistics , 2 : 143 { 154 .

Szarvas , G. , V. Vincze , R. Farkas, y J. Csirik . 2008 . The BioScope corpus: annotation for negation, uncertainty and their scope in biomedical texts . En Proceedings of the Workshop on Current Trends in Biomedical Natural Language Processing , paginas 38 { 45 . Association for Computational Linguistics .

Taboada , M. , C. Anthony , y K. Voll . 2006 . Methods for creating semantic orientation dictionaries . En Proceedings of the 5th Conference on Language Resources and Evaluation (LREC'06) , paginas 427 { 432 .

Vincze , V. , G. Szarvas , R. Farkas , G. Mora, y J. Csirik . 2008 . The BioScope corpus: biomedical texts annotated for uncertainty,