<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Deteccion de la negacion en textos en espan~ol y aplicacion al Analisis de Sentimientos</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Salud Mar a Jimenez-Zafra</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Departamento de Informatica, Escuela Politecnica Superior de Jaen Universidad de Jaen</institution>
          ,
          <addr-line>E-23071 - Jaen</addr-line>
        </aff>
      </contrib-group>
      <abstract>
        <p>Negation detection is an open challenge in Natural Language Processing and speci cally in Sentiment Analysis. It is a linguistic phenomenon that is used to change the truth value of a linguistic unit and it needs speci c treatment, but it has not been su ciently studied due to its complexity. Therefore, in this work, we describe a thesis project that will focus on the treatment of negation in Spanish. Particularly, the research will be directed to the analysis of opinions, since it is intended to improve the predictive capacity of the opinions classi cation systems that are so demanded currently. Nevertheless, the study related to the identi cation of the negation and its scope will also allow to extrapolate the conclusions drawn for its application to any task of Natural Language Processing.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>En este trabajo se presenta un proyecto de
tesis que tiene como objetivo el estudio de
uno de los grandes desaf os del analisis de
opiniones: el tratamiento de la negacion. La
mayor parte de las investigaciones realizadas
hasta el momento sobre este fenomeno se
centran en opiniones escritas en ingles, pero hay
otros idiomas, entre los que se encuentra el
espan~ol, cuya presencia en Internet es cada
vez mayor. Un adecuado tratamiento de este
fenomeno supondr a un gran avance en esta
area. Por ello, esta investigacion se va a
centrar fundamentalmente en textos en espan~ol.</p>
      <p>El resto del trabajo se organiza como
sigue. En primer lugar, se mostraran los
motivos que han llevado a la eleccion de este tema
para la realizacion de esta tesis. A
continuacion, se llevara a cabo una breve revision de
los antecedentes y trabajos relacionados.
Posteriormente, se describira la investigacion que
se va a llevar a cabo y, por ultimo, se mostrara
la metodolog a a seguir y se plantearan
algunas cuestiones espec cas relacionadas con la
investigacion.
2</p>
    </sec>
    <sec id="sec-2">
      <title>Motivacion</title>
      <p>Las opiniones son fundamentales en muchas
de las actividades que realizamos, ya que son
una clara in uencia en nuestro
comportamiento. La posibilidad de publicar contenido
en la web ha generado un gran interes por
conocer las opiniones que se comparten en este
medio. Cada d a son mas las empresas
interesadas en la opinion que los usuarios tienen
acerca de sus productos o servicios, pero este
conocimiento no solo ha originado interes en
las empresas, sino que los propios
consumidores antes de adquirir un producto o
contratar un servicio, utilizan la web para buscar
opiniones de otros usuarios. Se trata de una
informacion muy util que se ha convertido en
un recurso indispensable en la toma de
decisiones y en la de nicion de las estrategias
de marketing. Ademas, esta informacion se
puede emplear incluso para predecir los
resultados de unas elecciones o el exito de una
pel cula.</p>
      <p>La gran cantidad de fuentes y el
elevado volumen de textos disponibles en la web
hacen que resulte complicado seleccionar
informacion de interes. Por ello, es necesario
desarrollar sistemas automaticos de
extraccion, clasi cacion y presentacion de opiniones
que ayuden a los usuarios a tomar decisiones
y que, por otro lado, muestren a las empresas
la opinion que los consumidores tienen
acerca de sus productos, para ayudarles a
decidir que deben mantener, que deben eliminar
o que deben mejorar. La disciplina conocida
como Miner a de Opiniones (MO) o Analisis
de Sentimientos (AS) surge para dar solucion
a este problema.</p>
      <p>
        La MO es una disciplina que combina
tecnicas de Procesamiento del Lenguaje
Natural (PLN) y de la Lingu stica
Computacional para detectar la informacion subjetiva de
un texto y clasi carla. El amplio abanico de
aplicaciones en las que se puede emplear ha
provocado un gran interes por parte de la
comunidad cient ca. Existen muchos trabajos
centrados en este tema, la mayor a de ellos en
ingles, pero son muchos los frentes que aun
siguen abiertos y que requieren un estudio
profundo, como el tratamiento de la negacion,
el analisis a nivel de aspecto, el tratamiento
de la iron a y del sarcasmo. . . Algunos
autores los de nen incluso como desaf os
        <xref ref-type="bibr" rid="ref11 ref15 ref8">(Pang y
Lee, 2008; Liu, 2012)</xref>
        . Un correcto
tratamiento de estos fenomenos supondr a un avance
importante en esta area. Por ello, el
objetivo de esta tesis es ir un paso mas alla de los
sistemas tradicionales para tratar de dar
solucion, en la medida de lo posible, a uno de
estos desaf os, el tratamiento de la negacion.
Ademas, en contraposicion de la mayor a de
los estudios existentes hasta el momento, se
va a realizar sobre espan~ol, ya que su
presencia en Internet, cada vez mayor, pone de
mani esto la necesidad de su tratamiento.
3
      </p>
    </sec>
    <sec id="sec-3">
      <title>Antecedentes y trabajos relacionados</title>
      <p>
        El tratamiento de la negacion es un problema
abierto dentro del PLN en general y dentro de
la MO en particular, que no ha sido
estudiado su cientemente y que requiere un analisis
profundo. Se trata de un fenomeno lingu stico
que se utiliza para modi car el valor de
verdad de la unidad lingu stica (proposicion,
sintagma o palabra) sobre la que se aplica. Hasta
ahora, la mayor parte de las investigaciones
relacionadas con la negacion en el AS se han
realizado sobre opiniones escritas en ingles.
Las primeras aproximaciones comenzaron en
el an~o 2001 y sugieren metodos relativamente
sencillos. Das y Chen (2001) proponen an~adir
\NOT" (\NOT word") a las palabras de la
oracion que se encuentren proximas a
marcadores de negacion, como por ejemplo \no" o
\don't".
        <xref ref-type="bibr" rid="ref12">Pang, Lee, y Vaithyanathan (2002</xref>
        )
siguen un enfoque similar al anterior, pero
considerando que las palabras afectadas por
la negacion son todas aquellas que aparecen
despues de una clave de negacion hasta
encontrar el primer signo de puntuacion.
Estos autores realizan experimentos utilizando
algoritmos de aprendizaje automatico para
comprobar si la clasi cacion de opiniones
teniendo en cuenta la negacion mejora,
llegando a la conclusion de que con el metodo
propuesto se produce una mejora insigni cante.
En 2004, a la vista de los resultados
obtenidos hasta el momento,
        <xref ref-type="bibr" rid="ref13">Polanyi y Zaenen
(2004</xref>
        ) dan un paso mas alla y tienen en
cuenta ademas de la negacion, intensi cadores y
atenuantes. Ademas, presentan el primer
modelo que asigna puntuaciones a palabras de
opinion, invirtiendo la polaridad de las
expresiones negadas. Desafortunadamente este
modelo no se llego a implementar, por lo que
solo podemos especular sobre su efectividad.
Posteriormente,
        <xref ref-type="bibr" rid="ref6">Kennedy y Inkpen (2006</xref>
        )
desarrollan un modelo de negacion muy
similar al propuesto por Polanyi y Zaenen, en
el que de nen como ambito de un marcador
de negacion/intensi cador/atenuante aquella
palabra inmediatamente posterior. En el
caso de las palabras afectadas por la negacion
siguen un enfoque basado en invertir la
polaridad de las mismas, mientras que en el caso
de las palabras que se encuentran en el
ambito de intensi cadores/atenuantes, lo que
hacen es incrementar/disminuir el grado de
positividad/negatividad segun sea el caso. Para
clasi car las opiniones emplean dos metodos,
el primero de ellos consiste en clasi car un
comentario en funcion del numero de palabras
de opinion positivas y negativas que contiene
y el segundo se basa en el uso del algoritmo
de aprendizaje automatico SVM, llegando a
la conclusion de que el tratamiento de la
negacion es un hecho importante. Por otro lado,
Wilson, Wiebe, y Ho mann (2005) proponen
utilizar una ventana ja de taman~o 4 para
determinar el ambito de la negacion. Los
trabajos presentados son los pioneros en el
modelado de la negacion en el AS en ingles, pero la
comunidad cient ca sigue trabajando en
este tema ya que los enfoques presentados
hasta ahora no son lo su cientemente precisos.
En los ultimos trabajos se plantean metodos
basados en la de nicion de reglas lingu
sticas a partir de arboles sintacticos
        <xref ref-type="bibr" rid="ref1 ref7">(Jia, Yu,
y Meng, 2009; de Albornoz et al., 2012)</xref>
        y,
metodos mas complejos como el de Taboada,
Voll, y Brooke (2008) en el que se de nen
diferentes reglas para determinar el ambito de
la negacion teniendo en cuenta la categor a
gramatical de las palabras adyacentes y en el
que se introduce una nueva forma de tratar
la negacion que consiste en reducir el valor
de polaridad de las palabras negadas en
lugar de invertirlo. Ademas, algunos trabajos
recientes estan incorporando el uso de Deep
Learning
        <xref ref-type="bibr" rid="ref14">(Socher et al., 2013)</xref>
        y de tecnicas
de Machine Learning para detectar este tipo
de informacion de forma automatica (Cruz,
Taboada, y Mitkov, 2016) haciendo uso de
un corpus anotado previamente para tal n
        <xref ref-type="bibr" rid="ref7">(Konstantinova et al., 2012)</xref>
        . Incluso, se
pueden encontrar excelentes estudios como el de
        <xref ref-type="bibr" rid="ref18">Wiegand et al. (2010)</xref>
        en el que se realiza una
revision del estado del arte del tratamiento de
la negacion en el AS en ingles y el estudio de
        <xref ref-type="bibr" rid="ref10">Morante y Sporleder (2012</xref>
        ) sobre modalidad
y negacion en lingu stica computacional.
      </p>
      <p>
        Por otra parte, la investigacion existente
en espan~ol sobre este tema es muy limitada.
El primer trabajo que se conoce es el de
Brooke, To loski, y Taboada (2009) en el que
utilizan el mismo enfoque que el empleado en
su primera version en ingles
        <xref ref-type="bibr" rid="ref11 ref15">(Taboada, Voll,
y Brooke, 2008)</xref>
        pero adaptado al espan~ol.
Vilares, Alonso and Gomez-Rodr guez
tambien han trabajado en este reto demostrando
que tener en cuenta la estructura sintactica
del texto para el tratamiento de la negacion,
de la intensi cacion y de las oraciones
subordinadas mejora con respecto a los sistemas
puramente lexicos
        <xref ref-type="bibr" rid="ref16 ref17">(Vilares, Alonso, y
GomezRodr guez, 2013; Vilares, Alonso, y
GomezRodr guez, 2015)</xref>
        .
4
      </p>
    </sec>
    <sec id="sec-4">
      <title>Descripcion de la investigacion propuesta</title>
      <p>Este proyecto de tesis se encuentra
actualmente en la fase de desarrollo de un sistema
automatico para la deteccion de la negacion
y su ambito, por lo que, en las fases previas,
se van a ir indicando los trabajos realizados
hasta el momento.</p>
      <p>
        El punto de partida de esta investigacion
comenzo con el analisis de los trabajos
existentes en ingles y en espan~ol. Este analisis fue
una pieza clave para el inicio de la
investigacion en espan~ol, ya que permitio conocer los
enfoques utilizados en ingles y reproducir los
mas usados con el objetivo de comprobar su
funcionamiento en espan~ol
        <xref ref-type="bibr" rid="ref3 ref4 ref5">(Jimenez-Zafra et
al., 2015; Jimenez-Zafra et al., 2017a)</xref>
        .
      </p>
      <p>
        Teniendo en cuenta que la negacion es un
fenomeno lingu stico y que para determinar
las palabras que se encuentra en su ambito
in uye la estructura de la oracion, un
enfoque bastante util ser a aquel que tuviera
en cuenta las relaciones sintacticas. Por ello,
en esta investigacion, se proponen metodos
basados en el analisis de arboles sintacticos
para determinar el ambito de la negacion
        <xref ref-type="bibr" rid="ref3 ref4 ref5">(Jimenez-Zafra et al., 2015; Jimenez-Zafra et
al., 2017a)</xref>
        .
      </p>
      <p>
        El analisis de los enfoques aplicados hasta
el momento en espan~ol permitio detectar la
necesidad de generar un corpus anotado con
la negacion y su ambito para poder
determinar donde esta la fortaleza de los sistemas
estudiados, es decir, si esta se encuentra en
la identi cacion de la negacion y su alcance
o en el metodo de clasi cacion utilizado. Los
enfoques propuestos hasta ahora para la
deteccion del ambito de la negacion han
centrado sus esfuerzos en la de nicion de reglas que
no han podido ser correctamente evaluadas
debido a la inexistencia de un corpus
anotado con tal informacion. Por ello, otra de las
aportaciones de esta tesis es un corpus
anotado con la negacion y su ambito, as como
con informacion sobre como actua la
negacion sobre las palabras de su ambito, es decir,
si modi ca su polaridad o si por el contrario
la intensi ca o reduce
        <xref ref-type="bibr" rid="ref4 ref5">(Jimenez-Zafra et al.,
2017b)</xref>
        . Para la anotacion de este corpus se
llevo a cabo un analisis de la negacion en
espan~ol y se de nieron los criterios de
anotacion y la tipolog a lingu stica
correspondiente
        <xref ref-type="bibr" rid="ref9">(Mart et al., 2016)</xref>
        . Las principales
fuentes de desacuerdo y los casos problematicos
encontrados durante el proceso de anotacion
fueron analizados y puestos a disposicion de
la comunidad cient ca con el objetivo de
facilitar futuras anotaciones
        <xref ref-type="bibr" rid="ref2">(Jimenez-Zafra et
al., 2016)</xref>
        .
      </p>
      <p>Finalmente, esta investigacion se va a
centrar en el desarrollo de un sistema automatico
para la deteccion de la negacion y su ambito
en textos escritos en espan~ol para su
posterior aplicacion al analisis de opiniones. Para
ello, se llevara a cabo un estudio de cuales
son las caracter sticas mas adecuadas para
identi car de forma correcta la negacion y
su ambito de in uencia, as como de la
estrategia a seguir para desarrollar un sistema
con la habilidad de interpretar como afecta
la negacion a las palabras de su ambito (si
cambia su signi cado o no, o si lo intensi ca
o reduce).
5</p>
    </sec>
    <sec id="sec-5">
      <title>Metodolog a</title>
      <p>La metodolog a propuesta para la
consecucion de esta tesis se presenta a continuacion:
1. Estudio y revision del estado del arte.
2. Adaptacion de recursos existentes para
poder realizar un analisis de los metodos
propuestos.</p>
      <sec id="sec-5-1">
        <title>3. Desarrollo de un prototipo.</title>
      </sec>
      <sec id="sec-5-2">
        <title>Disen~o de una arquitectura modular que permita integrar nuevas funcionalidades a medida que se vaya avanzando en la investigacion.</title>
      </sec>
      <sec id="sec-5-3">
        <title>Construccion de la arquitectura modular disen~ada. Prueba del correcto funcionamiento del prototipo.</title>
        <p>4. Experimentacion y evaluacion. Se
utilizaran los recursos generados para llevar
a cabo la experimentacion y
posteriormente se procedera a la evaluacion del
prototipo, llevando a cabo una
comparacion de los resultados obtenidos con los
ya existentes. Los resultados obtenidos
se pondran a disposicion de la
comunidad cient ca.</p>
      </sec>
    </sec>
    <sec id="sec-6">
      <title>Cuestiones de investigacion</title>
      <p>Las principales cuestiones de investigacion a
las que se pretende responder con este
proyecto de tesis son las siguientes:
&gt;El estudio de la negacion es
independiente de la lengua?
&gt;Es posible generalizar su tratamiento
para cualquier idioma?
&gt;Es necesario invertir esfuerzos en la
generacion de corpus anotados con
negacion y su ambito?
&gt;Cuales son las caracter sticas mas
adecuadas para identi car la presencia de
negacion? &gt;Y para determinar su
ambito?
&gt;Como se puede utilizar esta
informacion para mejorar los sistemas de clasi
cacion de opiniones?
&gt;Que algoritmos son mas adecuados
para la fase de identi cacion? &gt;Y para la
de clasi cacion?</p>
    </sec>
    <sec id="sec-7">
      <title>Agradecimientos</title>
      <p>Este trabajo ha sido parcialmente
nanciado por el Ministerio de Educacion, Cultura y
Deporte (MECD - ayuda FPU014/00983), el
Fondo Europeo de Desarrollo Regional
(FEDER) y el proyecto REDES
(TIN2015-65136C2-1-R) del Gobierno de Espan~a.</p>
    </sec>
    <sec id="sec-8">
      <title>Bibliograf a</title>
      <p>Brooke, J., M. To loski, y M. Taboada.
2009. Cross-Linguistic Sentiment
Analysis: From English to Spanish. En RANLP,
paginas 50{54.</p>
      <p>Cruz, N. P., M. Taboada, y R. Mitkov.
2016. A machine-learning approach to
negation and speculation detection for
sentiment analysis. Journal of the Association
for Information Science and Technology,
67(9):2118{2136.</p>
      <p>Das, S. y M. Chen. 2001. Yahoo! for
Amazon: Extracting market sentiment from
stock message boards. En Proceedings
of the Asia Paci c nance association
annual conference (APFA), volumen 35,
pagina 43. Bangkok, Thailand.
of negation. En Proceedings of the First
Joint Conference on Lexical and
Computational Semantics-Volume 1: Proceedings
of the main conference and the shared
task, and Volume 2: Proceedings of the
Sixth International Workshop on
Semantic Evaluation, paginas 282{287.
Association for Computational Linguistics.
the role of negation in sentiment analysis.
En Proceedings of the workshop on
negation and speculation in natural language
processing, paginas 60{68. Association for
Computational Linguistics.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          <string-name>
            <surname>de Albornoz</surname>
            ,
            <given-names>J. C.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>L.</given-names>
            <surname>Plaza</surname>
          </string-name>
          , A. D az, y M.
          <year>Ballesteros</year>
          .
          <year>2012</year>
          .
          <article-title>Ucm-i: A rule-based syntactic approach for resolving the scope Jia</article-title>
          , L.,
          <string-name>
            <given-names>C.</given-names>
            <surname>Yu</surname>
          </string-name>
          , y
          <string-name>
            <given-names>W.</given-names>
            <surname>Meng</surname>
          </string-name>
          .
          <year>2009</year>
          .
          <article-title>The e ect of negation on sentiment analysis and retrieval e ectiveness</article-title>
          .
          <source>En Proceedings of the 18th ACM conference on Information and knowledge management</source>
          , paginas
          <year>1827</year>
          {
          <year>1830</year>
          . ACM.
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          <string-name>
            <surname>Jimenez-Zafra</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>M. T.</given-names>
            <surname>Mart</surname>
          </string-name>
          n-Valdivia,
          <string-name>
            <given-names>L. A.</given-names>
            <surname>Uren</surname>
          </string-name>
          <article-title>~a-</article-title>
          <string-name>
            <surname>Lopez</surname>
            ,
            <given-names>M. A.</given-names>
          </string-name>
          <string-name>
            <surname>Mart</surname>
            , y
            <given-names>M.</given-names>
          </string-name>
          <string-name>
            <surname>Taule</surname>
          </string-name>
          .
          <year>2016</year>
          .
          <article-title>Problematic cases in the annotation of negation in Spanish</article-title>
          .
          <source>ExProM</source>
          <year>2016</year>
          , paginas
          <volume>42</volume>
          {
          <fpage>48</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          <string-name>
            <surname>Jimenez-Zafra</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>E.</surname>
          </string-name>
          <article-title>Mart nez-</article-title>
          <string-name>
            <surname>Camara</surname>
            ,
            <given-names>M. T.</given-names>
          </string-name>
          <string-name>
            <surname>Mart</surname>
          </string-name>
          n-Valdivia, y M. D. MolinaGonzalez.
          <year>2015</year>
          .
          <article-title>Tratamiento de la negacion en el analisis de opiniones en espan~ol</article-title>
          .
          <volume>54</volume>
          :
          <issue>37</issue>
          {
          <fpage>44</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          <string-name>
            <surname>Jimenez-Zafra</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>M.</given-names>
            <surname>Taule</surname>
          </string-name>
          ,
          <string-name>
            <given-names>M. T.</given-names>
            <surname>Mart</surname>
          </string-name>
          n-Valdivia,
          <string-name>
            <given-names>L. A.</given-names>
            <surname>Uren~</surname>
          </string-name>
          a-Lopez,
          <string-name>
            <given-names>y M. A.</given-names>
            <surname>Mart</surname>
          </string-name>
          .
          <year>2017b</year>
          .
          <article-title>SFU ReviewSPNEG: a Spanish corpus annotated with negation for sentiment analysis. A typology of negation patterns</article-title>
          .
          <source>Language Resources and Evaluation, paginas</source>
          <volume>1</volume>
          {
          <fpage>37</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          <string-name>
            <surname>Jimenez-Zafra</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>M. T.</given-names>
            <surname>Mart n Valdivia</surname>
          </string-name>
          , E. Mart nez Camara, y
          <string-name>
            <given-names>L. A.</given-names>
            <surname>Uren</surname>
          </string-name>
          <article-title>~aLopez. 2017a. Studying the Scope of Negation for Spanish Sentiment Analysis on Twitter</article-title>
          .
          <source>IEEE Transactions on A ective Computing</source>
          ,
          <source>PP(99):</source>
          <volume>1</volume>
          {
          <fpage>14</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          <string-name>
            <surname>Kennedy</surname>
            , A. y
            <given-names>D.</given-names>
          </string-name>
          <string-name>
            <surname>Inkpen</surname>
          </string-name>
          .
          <year>2006</year>
          .
          <article-title>Sentiment classi cation of movie reviews using contextual valence shifters</article-title>
          .
          <source>Computational intelligence</source>
          ,
          <volume>22</volume>
          (
          <issue>2</issue>
          ):
          <volume>110</volume>
          {
          <fpage>125</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <string-name>
            <surname>Konstantinova</surname>
            , N.,
            <given-names>S.</given-names>
          </string-name>
          <string-name>
            <surname>CM. De Sousa</surname>
            ,
            <given-names>N. P.</given-names>
          </string-name>
          <string-name>
            <surname>Cruz-D az</surname>
            , M. J. Lopez Man~a, M. Taboada, y
            <given-names>R.</given-names>
          </string-name>
          <string-name>
            <surname>Mitkov</surname>
          </string-name>
          .
          <year>2012</year>
          .
          <article-title>A review corpus annotated for negation, speculation and their scope</article-title>
          .
          <source>En LREC</source>
          , paginas
          <volume>3190</volume>
          {
          <fpage>3195</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          <string-name>
            <surname>Liu</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          <year>2012</year>
          .
          <article-title>Sentiment analysis and opinion mining</article-title>
          .
          <source>Synthesis Lectures on Human Language Technologies</source>
          ,
          <volume>5</volume>
          (
          <issue>1</issue>
          ):1{
          <fpage>167</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          <string-name>
            <surname>Mart</surname>
            ,
            <given-names>M. A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>M. T. Mart</surname>
            n-Valdivia,
            <given-names>M.</given-names>
          </string-name>
          <string-name>
            <surname>Taule</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          <string-name>
            <surname>Jimenez-Zafra</surname>
            , M. Nofre, y
            <given-names>L.</given-names>
          </string-name>
          <string-name>
            <surname>Marso</surname>
          </string-name>
          .
          <year>2016</year>
          .
          <article-title>La negacion en espan~ol: analisis y tipolog a de patrones de negacion</article-title>
          .
          <source>Procesamiento del Lenguaje Natural</source>
          ,
          <volume>57</volume>
          :
          <fpage>41</fpage>
          {
          <fpage>48</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          <string-name>
            <surname>Morante</surname>
            , R. y
            <given-names>C.</given-names>
          </string-name>
          <string-name>
            <surname>Sporleder</surname>
          </string-name>
          .
          <year>2012</year>
          .
          <article-title>Modality and negation: An introduction to the special issue</article-title>
          .
          <source>Computational linguistics</source>
          ,
          <volume>38</volume>
          (
          <issue>2</issue>
          ):
          <volume>223</volume>
          {
          <fpage>260</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          <string-name>
            <surname>Pang</surname>
            ,
            <given-names>B. y L.</given-names>
          </string-name>
          <string-name>
            <surname>Lee</surname>
          </string-name>
          .
          <year>2008</year>
          .
          <article-title>Opinion mining and sentiment analysis</article-title>
          .
          <source>Foundations and trends in information retrieval</source>
          ,
          <volume>2</volume>
          (
          <issue>1</issue>
          -2):1{
          <fpage>135</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          <string-name>
            <surname>Pang</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          , L. Lee, y
          <string-name>
            <given-names>S.</given-names>
            <surname>Vaithyanathan</surname>
          </string-name>
          .
          <year>2002</year>
          .
          <article-title>Thumbs up?: sentiment classi cation using machine learning techniques</article-title>
          .
          <source>En Proceedings of the ACL-02 conference on Empirical methods in natural language processing-</source>
          Volume
          <volume>10</volume>
          , paginas
          <volume>79</volume>
          {
          <fpage>86</fpage>
          .
          <article-title>Association for Computational Linguistics</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          <string-name>
            <surname>Polanyi</surname>
            , L. y
            <given-names>A.</given-names>
          </string-name>
          <string-name>
            <surname>Zaenen</surname>
          </string-name>
          .
          <year>2004</year>
          .
          <article-title>Contextual valence shifters</article-title>
          .
          <source>En Proceedings of the AAAI Spring Symposium on Exploring Attitude and A ect in Text, paginas</source>
          <volume>1</volume>
          {
          <fpage>10</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          <string-name>
            <surname>Socher</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>A.</given-names>
            <surname>Perelygin</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J. Y.</given-names>
            <surname>Wu</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Chuang</surname>
          </string-name>
          ,
          <string-name>
            <given-names>C. D.</given-names>
            <surname>Manning</surname>
          </string-name>
          ,
          <string-name>
            <given-names>A. Y.</given-names>
            <surname>Ng</surname>
          </string-name>
          , C. Potts, y others.
          <year>2013</year>
          .
          <article-title>Recursive deep models for semantic compositionality over a sentiment treebank</article-title>
          .
          <source>En Proceedings of the conference on empirical methods in natural language processing (EMNLP)</source>
          ,
          <source>volumen 1631, pagina 1642.</source>
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          <string-name>
            <surname>Taboada</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>K.</given-names>
            <surname>Voll</surname>
          </string-name>
          ,
          <string-name>
            <given-names>y J.</given-names>
            <surname>Brooke</surname>
          </string-name>
          .
          <year>2008</year>
          .
          <article-title>Extracting sentiment as a function of discourse structure and topicality</article-title>
          .
          <source>Simon Fraser Univeristy School of Computing Science Technical Report, paginas</source>
          <volume>1</volume>
          {
          <fpage>22</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          <string-name>
            <surname>Vilares</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>M. A.</given-names>
            <surname>Alonso</surname>
          </string-name>
          , y C.
          <article-title>GomezRodr guez</article-title>
          .
          <year>2013</year>
          .
          <article-title>Clasi cacion de polaridad en textos con opiniones en espan~ol mediante analisis sintactico de dependencias</article-title>
          .
          <source>Procesamiento del lenguaje natural</source>
          ,
          <volume>50</volume>
          :
          <fpage>13</fpage>
          {
          <fpage>20</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          <string-name>
            <surname>Vilares</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>M. A.</given-names>
            <surname>Alonso</surname>
          </string-name>
          , y C.
          <article-title>GomezRodr guez</article-title>
          .
          <year>2015</year>
          .
          <article-title>A syntactic approach for opinion mining on Spanish reviews</article-title>
          .
          <source>Natural Language Engineering</source>
          ,
          <volume>21</volume>
          (
          <issue>1</issue>
          ):
          <volume>139</volume>
          {
          <fpage>163</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          <string-name>
            <surname>Wiegand</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>A.</given-names>
            <surname>Balahur</surname>
          </string-name>
          ,
          <string-name>
            <given-names>B.</given-names>
            <surname>Roth</surname>
          </string-name>
          , D. Klakow, y
          <string-name>
            <given-names>A.</given-names>
            <surname>Montoyo</surname>
          </string-name>
          .
          <year>2010</year>
          . A survey on Wilson, T., J. Wiebe, y P. Ho mann.
          <year>2005</year>
          .
          <article-title>Recognizing contextual polarity in phraselevel sentiment analysis</article-title>
          .
          <source>En Proceedings of the conference on human language technology and empirical methods in natural language processing</source>
          , paginas
          <volume>347</volume>
          {
          <fpage>354</fpage>
          .
          <article-title>Association for Computational Linguistics</article-title>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>