<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta>
      <journal-title-group>
        <journal-title>Seville, Spain, September</journal-title>
      </journal-title-group>
    </journal-meta>
    <article-meta>
      <title-group>
        <article-title>Análisis Comparativo de los Sistemas de Anotación de la Negación en Español</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>M. Antònia Martí</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Mariona Taulé</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>CLiC-UBICS, Universitat de Barcelona Gran Via de Les Corts Catalanes 585</institution>
          ,
          <addr-line>08029 Barcelona</addr-line>
        </aff>
      </contrib-group>
      <pub-date>
        <year>2018</year>
      </pub-date>
      <volume>18</volume>
      <issue>2018</issue>
      <fpage>23</fpage>
      <lpage>28</lpage>
      <abstract>
        <p>In this paper we present a comparative analysis of the different negation guidelines in Spanish in the framework of Task-1 at the NEGES-2018, Workshop on Negation in Spanish.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>
        En este artículo presentamos un análisis
comparativo de las diferentes guías de
anotación de la negación en español en el marco
de la Tarea 1 del taller NEGES-2018, Workshop
on Negation in Spanish
        <xref ref-type="bibr" rid="ref2 ref3">(Jiménez-Zafra et al.,
2018b)</xref>
        . El objetivo principal de esta tarea
(Annotation Guidelines) es analizar los
diferentes aspectos relacionados con la
negación para llegar a un acuerdo en la
definición de unas directrices comunes para la
anotación de la negación en español.
      </p>
      <p>
        El análisis se basa en la comparación de
cinco sistemas de anotación, tres de ellos del
dominio biomédico, uno sobre opiniones de
productos y uno del dominio periodístico. Los
tres corpus del dominio biomédico
–IULASCRC
        <xref ref-type="bibr" rid="ref5">(Marimon, Vivaldi y Bel, 2017)</xref>
        ,
IxaMed-GS (Oronoz et al., 2017) y
UHUHUVR (Cruz et al., 2017)– se caracterizan por
contener información semi-estructurada,
mientras que los otros dos contienen
información no estructurada. El corpus de
opiniones –SFU ReviewSP-NEG
        <xref ref-type="bibr" rid="ref1">(JiménezZafra et al., 2018a)</xref>
        – utiliza un lenguaje más
informal que el periodístico –UAM Spanish
Treebank
        <xref ref-type="bibr" rid="ref7">(Moreno y Garrote, 2013)</xref>
        .
      </p>
      <p>El artículo se estructura de la siguiente
manera. En la sección 2 se presenta un análisis
lingüístico de las características generales de los
cinco corpus. En la sección 3 se presentan los
datos comparativos de las cinco guías de
anotación. En la sección 4 se proponen
directrices generales para la anotación de la
negación en español como resultado del análisis
realizado en 2 y 3. En la sección 5 se presentan
las conclusiones.
2</p>
    </sec>
    <sec id="sec-2">
      <title>Análisis de los corpus</title>
      <p>Una primera distinción a destacar en el análisis
comparativo de los 5 corpus presentados en
NEGES viene determinada tanto por el dominio
temático como por la estructura discursiva de
los textos. Estas dos características inciden en el
modo de expresar la negación. En este sentido,
en el dominio biomédico, las estructuras
negativas predominantes constituyen un
subconjunto de las estructuras de negación
posibles en la lengua: predominan los
sintagmas nominales precedidos por un
marcador de negación, mayoritariamente ‘no’ y
‘sin’, donde el nombre suele ser una Named
Entity (NE) del dominio biomédico:
(1) No alergias medicamentosas1
(UHU</p>
      <p>HUVR)
(2) No edemas en extremidades inferiores
(IULA-SCRC)</p>
      <p>Es importante señalar que las estructuras de
(1) y (2) no se atienen a la gramática estándar
de la lengua y se pueden considerar
características de este dominio. Pueden
considerarse oraciones en las que se ha omitido
el verbo por ser fácilmente inferible. En
general, las oraciones del dominio biomédico
son cortas y los predicados verbales utilizados
constituyen un conjunto restringido y de alta
frecuencia (3), (4) y (5), lo que explica también
su omisión.</p>
      <p>(3) No ausculto soplos (IULA-SCRC)
(4) Se descarta enolismo (IULA-SCRC)
(5) No visualizamos alteraciones
(UHU</p>
      <p>HUVR)</p>
      <p>Otra característica importante en este
dominio es que determinados documentos son
textos semiestructurados (por ejemplo, informes
radiológicos o anamnesis), donde la negación es
un valor de algún tipo de exploración o test
médico:
(6) Serología materna: Toxoplasma:
Negativo. VHB: Negativo. Rubeola:
Negativo. Lues: Negativo.
(UHUHUVR)</p>
      <p>En el corpus UHU-HUVR, se anotan como
marcadores de negación los símbolos ‘-‘ y ‘/’,
que tienen este valor solo en determinados
dominios. También se utilizan abreviaturas que
contienen negación ‘namc’ (no alergias
medicamentos conocidos) como marcadores de
negación.</p>
      <p>En cuanto a los otros dos corpus analizados
en el taller NEGES-2018, aunque el SFU
corresponde a un uso más informal de la lengua
y el UAM-Treebank es un corpus de la lengua
estándar, ambos hacen un uso normativo de la
lengua y presentan una estructura discursiva
estándar.</p>
      <p>1 Los ejemplos se han obtenido de los artículos
en los que se describen los criterios de anotación.</p>
      <p>En este caso, fundamentalmente, importa dar
cuenta de todas las estructuras de negación
posibles y determinar si tienen o no un valor de
negación. Se trata de una aproximación que
atiende tanto a la cobertura de estructuras
posibles como al valor de negación de las
expresiones estudiadas. La aproximación que se
sigue en ambos casos es de carácter sintáctico y
se trata de detectar y anotar todas las posibles
estructuras de negación.</p>
      <p>Sin embargo, en los corpus de dominio
biomédico, el objetivo fundamental es, en
último término, determinar si los hechos,
eventos o entidades afectados por la negación
son o no son factuales: la negación constituye
una subtarea en el marco de los sistemas de
Extracción de Información (EI) o minería de
datos. La negación puede cambiar el estatus
factual de la información y, por ello, se sigue
una aproximación semántico-pragmática, que
adopta soluciones no generalizables ni al
dominio general de la lengua ni a otros
dominios (7):
(7) Técnicas de Z-N (normal y largo)
negativo (UHU-HUVR)</p>
      <p>Los autores consideran que no hay negación
porque no hay hechos negados ya que la técnica
Z-N se ha llevado a cabo (Cruz et al., 2017).</p>
      <p>A pesar de estas divergencias debidas al
carácter general de dos de los corpus y al
carácter específico del dominio biomédico de
los otros tres, se puede llevar a cabo una
comparación conjunta ya que muchos de los
temas abordados son comunes. La comparativa
se presenta en la sección 3.</p>
      <p>3</p>
    </sec>
    <sec id="sec-3">
      <title>Datos comparativos</title>
      <p>Los corpus del ámbito biomédico corresponden
a informes médicos en soporte electrónico
(Electronic Health Records, EHRs) del hospital
Galdako-Usansolo del País Vasco, como es el
caso de IxaMed-GS, y a informes médicos
sobre diagnósticos de radiología y de historia
personal (anamnesis) del hospital Virgen del
Rocío de Sevilla en el caso de UHU-HUVR. En
el caso del corpus IULA-SCRC son informes
sobre diferentes servicios de un hospital, cuyo
nombre no se especifica. El corpus SFU
consiste en 400 reseñas de productos, extraídos
de la página web Ciao.es y el corpus
UAMTreebank es un corpus formado por oraciones
extraídas de textos periodísticos del
UAMSpanish Treebank (El País Digital y Compra
Maestra).</p>
      <p>En la Tabla 1 se muestran el número de
documentos (Doc.), oraciones y tokens que
conforman cada uno de los corpus anotados con
negación.</p>
      <sec id="sec-3-1">
        <title>IxaMed-GS IULA-SCRC UHU-HUVR SFU</title>
        <p>ReviewSPNEG
UAM-Treebank</p>
        <p>La Tabla 2 resume los distintos aspectos de
la negación anotados en cada uno de los corpus:
la anotación del marcador de negación
(columna 2); el alcance o ámbito (scope) de la
negación (columna 3); si se incluye o no el
sujeto dentro del alcance (columna 4);
anotación de estructuras coordinadas (columna
5); anotación de las locuciones de negación
(columna 6); anotación de la negación léxica y
por afijación (columna 7) y anotación de la
especulación (columna 8).</p>
        <p>s
u
p
r
o</p>
        <p>C</p>
      </sec>
      <sec id="sec-3-2">
        <title>IULASCRC IxaMedGS</title>
        <p>UHUHUVR</p>
        <p>SFUReviewSPNEG</p>
        <p>UAMTreebank
e
d
rado icón
rc a
aM eng
e
p
o
c
S
)
j
b
u
S
(
e
p
o
c
S
n
ó
i
c
a
n
i
d
r
o
o
C
sí
no
sí
sí
sí
sí
sí
sí
sí
sí
no
no
sí
sí
sí
sí
sí
sí
.
g
e
N
n
ó
i
c
u
c
o
L
.ag .f</p>
        <p>A
eN ./x
é
L
n
ó
i
c
a
l
u
c
e
p
s
E
sí(r)
no
sí(r)
no
no
sí
no
no</p>
        <sec id="sec-3-2-1">
          <title>Tabla 2: Corpus comparativa</title>
          <p>Por lo que respecta al marcador de negación,
el único corpus que no lo marca explícitamente
es el IxaMed-GS. Los otros cuatro sí lo marcan.
Los objetivos en función de los cuales se anota
un corpus justifican este tipo de decisiones. En
el caso de SFU-ReviewSP-NEG y UAM Spanish
Treebank, el objetivo de la anotación es obtener
datos empíricos sobre las diferentes formas que
adopta la negación en español. Por este motivo,
se anotan todos aquellos elementos que aportan
información relevante sobre el tema, mientras
que en IxaMed-GS interesa sólo extraer qué
entidades están negadas y, por lo tanto, ignoran
el marcador.</p>
          <p>Respecto de los marcadores que contienen
más de un ítem, SFU-ReviewSP-NEG distingue
los continuos (8) y (9) de los discontinuos (10):
(8) La calidad del sonido no es mala
(9) En_mi_vida he hecho una reserva con
tanta antelación
(10) El coche no frena en absoluto</p>
          <p>Mientras que IULA-SCRC y
UAMTreebank para los marcadores complejos,
distinguen los ítems que aparecen en posición
preverbal (inductores de negación) de los que
aparecen en posición postverbal (ítems de
polaridad negativa):
(11) No[NI] objetivando ninguna[NPI]
focalidad neurológica (IULA-SCRC)</p>
          <p>Todos los corpus han marcado el alcance o
ámbito (scope) de la negación, pero divergen en
si incluyen (SFU-ReviewSP-NEG,
UAMTreebank) o no (UHU-HUVR, IULA-SCRC) el
sujeto dentro del ámbito. Consideramos que
esta decisión está determinada por las
características del dominio biomédico, ya que
muchas de las expresiones utilizadas no tienen
estructura oracional, por lo que no tiene sentido
marcar el sujeto.</p>
          <p>Respecto de la negación en estructuras
coordinadas, sólo se tratan en
SFU-ReviewSPNEG, UHU-HUVR e IULA-SCRC aunque se
abordan de manera distinta. A diferencia de
IULA-SCRC y UHU-HUVR, en
SFUReviewSP-NEG se distingue entre las
estructuras negativas coordinadas (12) y las
estructuras negativas que contienen elementos
coordinados, anotados mediante la etiqueta
discid (elementos discontinuos) (13). En el
primer caso, cada marcador de negación tiene
su propio scope (12), mientras que en el
segundo caso el scope incluye toda la
coordinación (13).
(12) No [soy muy alta] tampoco [un pitufo]
(SFU-ReviewSP-NEG)
(13) No [es ni muy pesado ni muy ligero]
(SFU-ReviewSP-NEG)
Sin embargo, esta distinción no se establece en
los corpus de IULA-SCRC y UHU-HUVR, que
adoptan soluciones distintas. En el corpus de
IULA-SCRC siempre se incluye la
coordinación dentro del scope (14), mientras
que en UHU-HUVR cualquier tipo de
coordinación da lugar a dos estructuras distintas
con sus marcadores de negación y
correspondientes scopes (15) y (16).</p>
          <p>(14) No [masas ni megalias] (IULA-SCRC)
(15) No hemos observado [alteraciones a
nivel de los distintos ligamentos (…)],
así como [de las restantes partes
blandas]. (UHU-HUVR)
(16) No [hay evidencia de módulos
pulmonares] / [adenomegalias
mediastínicas] (UHU-HUVR)</p>
          <p>El ejemplo (16), según los criterios de SFU,
se interpretaría como una sola estructura
negativa y, por lo tanto, con un único scope.
Estas estructuras dependen de la interpretación
del anotador, según considere que la estructura
coordinada tiene, o no, el mismo predicado
verbal, generalmente elidido.</p>
          <p>Sólo SFU-ReviewSP-NEG trata
explícitamente las locuciones de negación.
Éstas incluyen todo tipo de expresión
multipalabra que expresa negación, contenga o
no un marcador de negación, por ejemplo: ‘en
la vida’, ‘en absoluto’.</p>
          <p>UHU-HUVR e IULA-SCRC anotan la
negación léxica, aunque de manera restringida.
IULA-SCRC limita la negación léxica a los
predicados: ‘descartar’, ‘ausencia de’, ‘incapaz
de’. En el caso de UHU-HUVR, sólo se da unos
ejemplos: ‘abandono’, ‘negativo, ‘-‘ y ‘/’, pero
no se dan más detalles.</p>
          <p>Sólo el corpus IxaMed-GS anota la
especulación, tema fundamental en el dominio
médico.</p>
          <p>4</p>
        </sec>
      </sec>
    </sec>
    <sec id="sec-4">
      <title>Propuesta de anotación</title>
      <p>Del análisis comparativo de las guías de
anotación presentadas en NEGES-2018 se
desprende, en una primera aproximación, que el
objetivo de la anotación de la negación en los
corpus semiestructurados del dominio
biomédico y el de los corpus de texto libre
presentan marcadas diferencias. Los primeros
requieren a menudo una solución ad hoc para
marcar la negación; en los segundos se aborda
la anotación de la negación desde una
perspectiva más general, basada en la estructura
lingüística.</p>
      <p>Ambas aproximaciones son necesarias y
adecuadas teniendo en cuenta los objetivos que
se quieren alcanzar.</p>
      <p>
        Además, en el dominio biomédico, negación
y especulación son dos temas que encontramos
tratados conjuntamente en diversos corpus del
inglés
        <xref ref-type="bibr" rid="ref10 ref4 ref6 ref9">(Vincze et al. 2008; Vincze, 2010;
Konstantinova et al., 2012; Morante y
Sporleder, 2012)</xref>
        y también del español (Oronoz
et al., 2017). Se trata de dos temas que se
interrelacionan ya que ambos inciden en el
carácter factual o no factual de lo que se
expresa. Este interés que se detecta en un
dominio específico, sugiere que se trata de un
tema de calado que debería tratarse en un
contexto más amplio, en el marco de la lengua
en general.
      </p>
      <p>A continuación presentamos nuestras
recomendaciones respecto de los diferentes
rasgos anotados en los corpus.</p>
      <p>Marcadores de negación:
- Siempre que sea posible, consideramos
necesario anotar el marcador de negación
ya que aporta información al conocimiento
general de la lengua: si se marcan, siempre
se pueden recuperar y así facilitar, por
ejemplo, la creación de un léxico de
marcadores de negación.
- Es necesario distinguir los marcadores
simples (‘no’, ‘sin’, etc.) de los complejos
(‘no…nadie’), donde uno implica la
presencia del otro. En este sentido,
consideramos pertinente la distinción de
SFU-ReviewSP-NEG entre simples y
complejos, continuos y discontinuos y,
dentro de los complejos, los que actúan
como modificadores.</p>
      <sec id="sec-4-1">
        <title>Scope (ámbito o alcance):</title>
        <p>
          Consideramos necesario marcar siempre el
scope e incluir el sujeto siempre que sea
posible. Esta recomendación está justificada por
el hecho de que estamos anotando un corpus
donde se marca el foco de la negación
          <xref ref-type="bibr" rid="ref1">(Guzzi et
al., 2018)</xref>
          y, en algunos casos, éste es el sujeto
(17). Por tanto, no marcar el sujeto dentro del
scope puede presentar problemas de cara a
futuras anotaciones.
        </p>
        <p>(17) Dice que [no vendrá Luisa].2</p>
        <p>En (17) el sujeto enfático 'Luisa' está
dislocado en posición postverbal y es el foco de
la negación, por lo tanto, el sujeto debe
incluirse en el ámbito de la negación.</p>
        <p>Coordinación:</p>
        <p>En el estudio comparativo de las guías, se
detectan dos enfoques para el tratamiento de la
negación coordinada: a) considerar un único
marcador de negación (el primero en el texto) y
el resto de la estructura de negación como
scope, incluyendo los subsiguientes
marcadores; y b) distinguir un scope para cada
marcador de negación coordinado. En
SFUReviewSP-NEG se contemplan ambas
anotaciones, reservando la primera para
sintagmas coordinados afectados por un mismo
predicado y marcador de negación (13) y la
segunda para estructuras coordinadas con
marcadores y predicados independientes (12).
Locuciones</p>
        <p>En lo que respecta a locuciones,
consideramos apropiada la anotación de
locuciones que expresan negación, contengan o
no (18) marcadores explícitos de negación, ya
que en la lengua se da una variedad importante
de las mismas y su valor funcional es de
negación. En SFU-ReviewSP-NEG se marcan
también los marcadores de negación que en
determinados contextos no tienen un valor
funcional de negación (19).</p>
        <p>(18) En su vida ha hecho una reserva con
tanta antelación.
(19) No pienso irme hasta que no vengas.</p>
        <p>En el ejemplo (19), el segundo ‘no’ tiene un
valor puramente retórico.</p>
        <p>Negación léxica y morfológica</p>
        <p>Consideramos también importante
identificar la negación léxica y morfológica.
Son pocos los corpus que incluyen esta
información. En este análisis, sólo se ha
aplicado a los corpus UHU-HUVR e
IULA2 En el ejemplo (17) utilizamos la cursiva para
marcar el foco de la negación.</p>
        <p>SCRC, aunque de manera restringida. De la
observación de los casos anotados, se desprende
la necesidad de abordar a fondo el scope de la
negación léxica y morfológica.</p>
        <p>5</p>
      </sec>
    </sec>
    <sec id="sec-5">
      <title>Conclusiones</title>
      <p>En este trabajo se realiza un análisis
comparativo de cinco guías de anotación de la
negación en español en el marco de la Tarea 1
del taller NEGES-2018. El análisis parte de la
distinción inicial entre corpus pertenecientes al
dominio biomédico (textos semiestructurados)
y corpus de dominio temático más general
como son la noticias y las reseñas de productos,
porqué las características del dominio
condicionan la estructura discursiva de los
textos y la manera de expresar la negación y, en
consecuencia, también los criterios de anotación
aplicados. Se comparan las distintas propuestas
para la anotación de los aspectos básicos
tratados en las diferentes guías y se proponen
unas directrices (recomendaciones) para la
anotación de la negación en español. Las
recomendaciones incluyen: 1) la anotación de
los marcadores de negación, distinguiendo entre
marcadores simples y complejos; 2) la
anotación del scope o ámbito de la negación,
incluyendo el sujeto dentro del ámbito; 3) el
tratamiento de la negación coordinada; 4) la
anotación de las locuciones negativas (aunque
no contengan marcadores explícitos de
negación) y 5) la anotación de la negación
léxica y morfológica. También sería muy
recomendable la anotación del foco de la
negación, que no se trata en ninguna de las
guías analizadas.</p>
    </sec>
    <sec id="sec-6">
      <title>Agradecimientos</title>
      <p>Este trabajo ha sido posible gracias al proyecto
TIN2015-71147-C2-2 del Ministerio de
Economía y Competitividad y a la Generalitat
de Catalunya (2017 SGR 3419).</p>
    </sec>
    <sec id="sec-7">
      <title>Bibliografía</title>
      <p>Cruz, N., R. Morante, M.J. Maña-López, J.</p>
      <p>Mata-Vázquez y C. L. Parra-Calderón. 2017.
Annotating negation in Spanish Clinical
Texts. Proceedings of the Workshop
Computational Semantics Beyond Events
and Roles, (SemBEaR), páginas 53-58,
Valencia, Spain.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          <string-name>
            <surname>Guzzi</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>M.A.</given-names>
            <surname>Martí</surname>
          </string-name>
          , M. Nofre y
          <string-name>
            <given-names>M.</given-names>
            <surname>Taulé</surname>
          </string-name>
          .
          <year>2018</year>
          .
          <article-title>Guidelines for the annotation of negation in Spanish, UB</article-title>
          , Barcelona.
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          <string-name>
            <surname>Jiménez-Zafra</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>M.</given-names>
            <surname>Taulé</surname>
          </string-name>
          , M. T. MartínValdivia,
          <string-name>
            <given-names>L. A.</given-names>
            <surname>Ureña López y M.</surname>
          </string-name>
          <article-title>A. Martí. 2018a. SFU ReviewSP-NEG: a Spanish corpus annotated with negation for sentiment analysis. A typology of negation patterns</article-title>
          .
          <source>Language, Resources and Evaluation</source>
          ,
          <volume>52</volume>
          (
          <issue>2</issue>
          ):
          <fpage>533</fpage>
          -
          <lpage>569</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          <string-name>
            <surname>Jiménez-Zafra</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>N. P.</given-names>
            <surname>Cruz-Díaz</surname>
          </string-name>
          ,
          <string-name>
            <given-names>R.</given-names>
            <surname>Morante y M. T.</surname>
          </string-name>
          Martín-Valdivia.
          <year>2018b</year>
          .
          <source>Resumen de la Tarea 1 del Taller NEGES</source>
          <year>2018</year>
          : Guías de Anotación.
          <source>Proceedings of NEGES</source>
          <year>2018</year>
          : Workshop on Negation in Spanish, volumen
          <volume>2174</volume>
          , páginas 15-
          <fpage>21</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          <string-name>
            <surname>Konstantinova</surname>
          </string-name>
          , N.,
          <string-name>
            <surname>S. C.M. de Sousa</surname>
            ,
            <given-names>N.P.</given-names>
          </string-name>
          <string-name>
            <surname>Cruz</surname>
            ,
            <given-names>M.J.</given-names>
          </string-name>
          <string-name>
            <surname>Maña</surname>
            , M. Taboada y
            <given-names>R.</given-names>
          </string-name>
          <string-name>
            <surname>Mitkov</surname>
          </string-name>
          .
          <year>2012</year>
          .
          <article-title>A review corpus annotated for negation, speculation and their scope</article-title>
          .
          <source>Proceedings of LREC 2012</source>
          . Turquía.
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          <string-name>
            <surname>Marimon</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>J. Vivaldi y N.</given-names>
            <surname>Bel</surname>
          </string-name>
          .
          <year>2017</year>
          .
          <article-title>Annotation of negation in the IULA Spanish Clinical Record corpus</article-title>
          .
          <source>Proceedings of the Workshop Computational Semantics Beyond Events and Roles</source>
          , (SemBEaR),
          <source>páginas 43- 52</source>
          , Valencia, Spain.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          <string-name>
            <surname>Morante</surname>
            , R. y
            <given-names>C.</given-names>
          </string-name>
          <string-name>
            <surname>Sporleder</surname>
          </string-name>
          .
          <year>2012</year>
          .
          <article-title>Modality and Negation: An introduction to the special issue</article-title>
          .
          <source>Computational Linguistics</source>
          <volume>38</volume>
          (
          <issue>2</issue>
          ):
          <fpage>223</fpage>
          -
          <lpage>260</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <string-name>
            <surname>Moreno-Sandoval A. y M. Garrote-Salazar</surname>
          </string-name>
          .
          <year>2013</year>
          .
          <article-title>La anotación de la negación en un corpus escrito etiquetado sintácticamente</article-title>
          .
          <source>Revista Iberoamericana de Lingüística</source>
          <volume>8</volume>
          :
          <fpage>45</fpage>
          -
          <lpage>60</lpage>
          , Valladolid, España.
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          <string-name>
            <surname>Oronoz</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>K.</given-names>
            <surname>Gojenola</surname>
          </string-name>
          ,
          <string-name>
            <given-names>A.</given-names>
            <surname>Pérez</surname>
          </string-name>
          ,
          <string-name>
            <surname>A</surname>
          </string-name>
          . Díaz de Ilarraza y
          <string-name>
            <given-names>A.</given-names>
            <surname>Casillas</surname>
          </string-name>
          .
          <year>2015</year>
          .
          <article-title>On the creation of a clinical gold standard corpus in Spanish: Mining adverse drug reactions</article-title>
          .
          <source>Journal of Biomedical Informatics</source>
          ,
          <volume>56</volume>
          :
          <fpage>318</fpage>
          -
          <lpage>332</lpage>
          . Elsevier.
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          <string-name>
            <surname>Szarvas</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>V.</given-names>
            <surname>Vincze</surname>
          </string-name>
          , R. Farkas y
          <string-name>
            <given-names>J.</given-names>
            <surname>Csirik</surname>
          </string-name>
          .
          <year>2008</year>
          .
          <article-title>The Bioscope corpus: annotation for negation, uncertainty and their scope in biomedical texts</article-title>
          .
          <source>BioNLP</source>
          <year>2008</year>
          :
          <article-title>Current Trends in Biomedical Natural Language Processing</article-title>
          , páginas
          <volume>38</volume>
          -
          <fpage>45</fpage>
          . Columbus,
          <string-name>
            <surname>Ohio.</surname>
          </string-name>
          (USA)
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          <string-name>
            <surname>Vincze</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          <year>2010</year>
          .
          <article-title>Speculation and negation annotation in Natural Language Texts: What the case of Bioscope might (not) reveal</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          <source>Proceedings of the Workshop on Negation and Speculation in NLP, ACL páginas 28- 31.</source>
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>