<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>El uso de informacion del discurso en el analisis de sentimientos en euskera</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Jon Alkorta</string-name>
          <email>jon.alkorta@ehu.eus</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Universidad del Pa s Vasco/Euskal Herriko Unibertsitatea (UPV/EHU) Facultad de Informatica.</institution>
          <addr-line>Manuel Lardizabal s/n</addr-line>
        </aff>
      </contrib-group>
      <abstract>
        <p>Sentiment analysis is required in natural language processing (NLP) because it helps to identify the subjectivity of texts and their evaluative information. It is possible to classify texts according to their evaluation and obtain statistics about events, objects or people through this type of information. This work describes the creation of a corpus of reviews in Basque, a polarity dictionary and the study about the interaction between the dictionary and relational discourse structures.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>
        El analisis de sentimientos esta siendo
tratado con interes en el procesamiento del
lenguaje natural por su utilidad. Hay varias
aproximaciones a esta area de investigacion y una
de ellas se basa en la informacion del
discurso. Como muestra del interes que genera
esta investigacion tenemos las tareas
compartidas que se organizan anualmente en
SEMEVAL
        <xref ref-type="bibr" rid="ref14">(Pontiki et al., 2014)</xref>
        ,
        <xref ref-type="bibr" rid="ref15">(Rosenthal et al.,
2015)</xref>
        ,
        <xref ref-type="bibr" rid="ref12">(Nakov et al., 2016)</xref>
        . El trabajo de
tesis Diskurtso-egituren eragina iritzi-testuetan
(La in uencia de estructuras del discurso en
los textos de opinion) tambien combina la
informacion del discurso (basandose en
Rhetorical Structure Theory) y el analisis de
sentimientos.
La motivacion de esta investigacion consiste
en la necesidad de procesar la subjetividad
      </p>
      <p>Esta investigacion se esta llevando a cabo con la
ayuda de la beca predoctoral PRE 2016 2 0153 del
Gobierno Vasco/Eusko Jaurlaritza y bajo la
supervision de los directores Koldo Gojenola y Mikel
Iruskieta.
de los textos de opinion en euskera teniendo
en cuenta la estructura del discurso de los
textos.</p>
      <p>La investigacion tiene dos objetivos: i)
estudiar la relacion entre la estructura del
discurso y el analisis de sentimientos y ii)
hacer una aportacion a la comunidad cient ca
con esta investigacion, ya que el euskera es
una lengua aglutinante y muy rica
morfologicamente y esto di ere de la mayor a de los
trabajos que conocemos en este campo.</p>
      <p>
        El grupo de investigacion IXA1, dentro del
proyecto IXA-CLARIN-K2, tiene varias
herramientas que son necesarias para este tipo
de analisis de sentimientos, como el
lematizador Eustagger (Alegria et al., 2002), y
tambien esta participando en proyectos que
tienen como objetivo analizar la estructura del
discurso como el Multilingual RST Treebank
        <xref ref-type="bibr" rid="ref1 ref8">(Iruskieta, Da Cunha, y Taboada, 2015)</xref>
        .
3
      </p>
      <p>
        Origen y trabajos relacionados
Como mencionan
        <xref ref-type="bibr" rid="ref13">Pang et al. (2008)</xref>
        el
analisis de sentimientos empezo a principios de
1http://ixa.si.ehu.es/
2http://ixa2.si.ehu.es/clarink/index.php?lang=es
los 2000 como l nea de investigacion,
aunque hay varios trabajos relacionados que son
anteriores, por ejemplo: la interpretacion de
metaforas
        <xref ref-type="bibr" rid="ref10">(Lako , 1993)</xref>
        , la narrativa
        <xref ref-type="bibr" rid="ref21">(Wiebe, 1994)</xref>
        , el punto de vista
        <xref ref-type="bibr" rid="ref16">(Sack, 1994)</xref>
        , la
afectividad
        <xref ref-type="bibr" rid="ref9">(Kantrowitz, 2003)</xref>
        , la
evidencialidad en los textos y otras areas relacionadas.
      </p>
      <p>Alrededor del an~o 2000 hubo una gran
cantidad de publicaciones relacionadas con el
analisis de sentimientos a causa de tres
factores: i) el uso mas frecuente del aprendizaje
automatico en el procesamiento del lenguaje
natural, ii) la disponibilidad de datasets para
el aprendizaje automatico a causa de la
expansion del Internet y iii) el interes de crear
aplicaciones con nes comerciales.</p>
      <p>
        Por otra parte, el estudio de la in uencia
de la estructura del discurso en el analisis de
sentimientos empezo mas tarde.
        <xref ref-type="bibr" rid="ref23">Zhou et al.
(2011)</xref>
        ,
        <xref ref-type="bibr" rid="ref20">Wang, Wu y Qiu (2012</xref>
        ),
        <xref ref-type="bibr" rid="ref6">Chardon et
al. (2013)</xref>
        y Trnavac, Das, y Taboada (2016)
son algunos ejemplos donde se intentan
identi car las partes mas utiles de la estructura
del discurso en el analisis de sentimientos.
4
      </p>
      <p>
        Descripcion de la investigacion
El objetivo de esta investigacion es analizar
la in uencia de la estructura del discurso en
los textos de opinion. La estructura del
discurso es la estructura que forman todas las
relaciones de coherencia
        <xref ref-type="bibr" rid="ref7">(Iruskieta, 2014)</xref>
        .
Figura 1: Estructura y recursos de la
investigacion.
      </p>
      <p>
        Para ello hemos realizado y se realizaran
estas tareas como se puede observar en la
Figura (1): i) la creacion de un corpus con
textos de opinion en euskera, ii) la traduccion
y creacion de un diccionario de palabras con
orientacion semantica, iii) el etiquetado del
corpus usando Rhetorical Structure Theory
(RST)
        <xref ref-type="bibr" rid="ref11">(Mann y Thompson, 1988)</xref>
        , iv) el
estudio de como in uyen las reglas sintacticas
en el analisis de sentimientos y v) el analisis
sobre la in uencia de la estructura del
discurso (utilizando el corpus etiquetado) en el
analisis de sentimientos (efectos en la
orientacion semantica).
      </p>
      <p>Nuestra principal hipotesis es que la
estructura del discurso y las relaciones de
coherencia in uyen de una manera importante en
el analisis de sentimientos. En lingu stica es
conocido que no todas las partes de un texto
tienen la misma importancia y tambien que
las relaciones entre distintas unidades de
discurso son diferentes.
5</p>
      <p>
        Metodolog a y experimentos
propuestos
1. Corpus de opiniones en euskera. El
corpus presentado en
        <xref ref-type="bibr" rid="ref1 ref12 ref19">(Alkorta,
Gojenola, y Iruskieta, 2016a)</xref>
        tiene 240 textos
de diversas areas (literatura, musica,
pel culas, deporte, tiempo y pol tica).
Es equilibrado: 120 textos de
evaluacion positiva y otros 120 de negativa.
Ademas, el corpus esta dividido en tres
partes (desarrollo, entrenamiento y test)
para la evaluacion y pruebas, y porque
en el futuro queremos llevar a cabo
estudios con aprendizaje automatico.
      </p>
      <p>
        El corpus tiene 52.092 tokens y 3.711
oraciones y ha sido evaluado
comparando con el SFU Review Corpus
        <xref ref-type="bibr" rid="ref18">(Taboada, 2008)</xref>
        y con dos corpus objetivos en
euskera e ingles. Los resultados muestran
que: i) el porcentaje de la primera
persona gramatical es parecido en los dos
corpus subjetivos y es mas alto que en
los corpus objetivos, ii) el porcentaje de
adjetivos es similar en los cuatro corpus,
iii) hay variedad de estructuras del
discurso y relaciones de coherencia en
nuestro corpus y iv) hay variedad
sintactica (por ejemplos, la negacion y el modo
irreal) tambien en el corpus.
2. Creacion del diccionario de polaridad.
      </p>
      <p>
        El euskera tiene menos recursos de PLN
comparado con otras lenguas y, con
el objetivo de crear un diccionario de
buena calidad, hemos optado por
traducir la version espan~ola del diccionario
de la herramienta SO-CAL
        <xref ref-type="bibr" rid="ref5">(Brooke,
To loski, y Taboada, 2009)</xref>
        . De esta
manera se ha conseguido: i) la traduccion
de las palabras semi-automaticamente
utilizando los diccionarios Elhuyar
        <xref ref-type="bibr" rid="ref22">(Zerbitzuak, 2013)</xref>
        y Zehazki
        <xref ref-type="bibr" rid="ref17">(Sarasola,
2005)</xref>
        manteniendo sus valores, ii) la
eleccion del valor de cada palabra
manualmente al haber palabras con varios
signi cados y valores tras la traduccion,
iii) la clasi cacion gramatical de las
palabras. Finalmente, se ha obtenido un
diccionario con las caracter sticas de la
Tabla (1).
      </p>
      <p>Categor a
Nombres
Adjectivos
Adverbios
Verbos
Total</p>
      <p>
        Mediante este diccionario con
orientacion semantica hemos podido asignar
valores a las palabras que aparecen en el
corpus, como se puede observar en el
Ejemplo (1).
(1) "Behi eroak( 3)"bilduman, ordea,
egileak aurrekoan izan zituen arazoak( 1)
konpondu(+3) ditu. Zoritxarrez( 4)
bilduma honek batzuetan xelebrekeria( 1)
merketik(+3) badu nahiko( 2).
(LIB34b EVA)
Castellano3: Pero, en la coleccion "Behi
eroak( 3)", el autor ha solucionado(+3)
los problemas( 1) que ten a
anteriormente. Desafortunadamente( 4), esta
coleccion tiene algunas veces bastante( 2) de
ocurrencia( 1) barata(+3).
3. Estructura del discurso. Hasta ahora
se ha observado que i) los resultados del
aprendizaje automatico se mejoran con
los datos de la estructura del discurso
        <xref ref-type="bibr" rid="ref1 ref2">(Alkorta et al., 2015)</xref>
        (ver la Tabla (2))
y ii) la asignacion del peso a las palabras
con orientacion semantica segun su lugar
en la estuctura del discurso mejora los
3La traducciones al castellano se han realizado de
forma literal.
resultados
        <xref ref-type="bibr" rid="ref1 ref19">(Alkorta, Gojenola, y
Iruskieta, 2016b)</xref>
        , ya que, los resultados estan
mas cerca del patron oro (28,27 puntos
de diferencia frente a 39,27 sin
asignacion del peso).
      </p>
      <p>Num. categor as
3
5
5</p>
      <p>Caracter sticas
lexicas
lexicas
discursivas
Tabla 2: Resultados con la Regresion log stica
(LR).
Tabla 3: Resultados con la Optimizacion
secuencial m nima (SMO).</p>
      <p>Los resultados de las Tablas (2) y (3)
demuestran que, con los modelos Regresion
log stica (LR) y Optimizacion secuencial
m nima (SMO) y utilizando las
caracter sticas de la estructura del discurso
se mejoran los resultados (pasando del
22,22 % al 88,88 % en el caso de la LR y
al 77,77 % en el caso de la SMO).</p>
      <p>Ademas en (Alkorta et al., en revision)
se ha demostrado que i) la mayor
concentracion de palabras con orientacion
semantica se situa en los
subconstituyentes centrales de los satelites
Evaluacion, Interpretacion y Fondo (ver
la Tabla (4)), ii) el subconstituyente
central del satelite Evaluacion puede
ayudar a mejorar los resultados de la
orientacion semantica de textos (ver el
Ejemplo (2)), iii) hay una tendencia hacia la
orientacion positiva que es mayor a
medida que el texto es mas largo (ver la
Tabla (5)) y iv) hay necesidad de
implementar la informacion sintactica
para mejorar la orientacion semantica de
textos, por ejemplo, la negacion
(Ejemplo (3)).
(2)</p>
      <p>Kresaletik kalera. Alvaro Rabelli.
200310-14 (LIB34)
El Ejemplo (1) forma parte de la cr
tica literaria (Ejemplo (2)). Segun la
herramienta basada en nuestro diccionario,
LIB34 (Ejemplo (2)) tiene una
orientacion positiva; ya que le asigna el valor
+0,15, pero en realidad es una
evaluacion negativa. El subconstituyente
central del satelite Evaluacion
(Ejemplo (1)) tiene asignado un valor
negativo 0;2 ( 5/25= 0;24), por lo
tanto, asignando un peso a esta relacion de
discurso se podr a mejorar el analisis de
sentimientos. Esta tecnica ayudar a en el
86,20 % de los textos.</p>
      <p>RR
Evaluacion
Interpretacion
Fondo
Otros
Total
Tabla 4: Fuerza de la polaridad superior a +1
y 1) en los subconstituyentes centrales del
corpus.</p>
      <p>Textos
Positivo
Negativo
Total
Tabla 5: Tendencia a la polaridad positiva en
los textos del corpus.</p>
      <p>(3) (...) narrazioak ere ez du arretarik
bereganatzen(+4) (...) (LIB18 EVA).</p>
      <p>Castellano: (...) la narracion tambien no
consigue llamar la atencion(+4) (...)</p>
      <p>Este Ejemplo (3) es de orientacion
positiva (+4) segun nuestro clasi cador, pero eso
ocurre porque no tiene informacion sobre la
negacion (ez \no").
4. En el futuro. Se preve estudiar: i) si
todos los textos de opinion tienen la misma
estructura del discurso (y tambien, las
mismas relaciones de coherencia), ii) si
hay gran concentracion de palabras con
orientacion semantica en otras
estructuras de relacion, iii) profundizar en el
estudio de relaciones de coherencia del
estudio de (Alkorta et al., en revision): se
propondra estudiar toda la relacion de
4La herramienta asigna la orientacion semantica
dividiendo la suma de valores por la cantidad de
palabras.
coherencia y no solo el
subconstituyente central, iii) resolver el problema de la
tendencia positiva y iv) como asignar
pesos diferentes a distintas estructuras del
discurso.
6</p>
    </sec>
    <sec id="sec-2">
      <title>Elementos de investigacion espec cos propuestos para discusion</title>
      <p>El analisis de sentimientos es un tema de
interes en el PLN y nuestra intencion en este
simposio es discutir la metodolog a acerca de
esta investigacion para poder orientarla
despues. Algunos aspectos a profundizar son:
1- &gt;Como podemos dar mas importancia a
algunas partes de la estructura del
discurso?
2- &gt;Como se puede afrontar el problema de
tendencia a la orientacion positiva?</p>
    </sec>
    <sec id="sec-3">
      <title>Bibliograf a</title>
      <p>Alegria, I., M. Aranzabe, A. Ezeiza, N.
Ezeiza, y R. Urizar. 2002. Robustness and
customisation in an analyser/lemmatiser
for basque. En Proceedings of Workshop
on \Customizing knowledge in NLP
applications". Third International Conference
on Language Resources and Evaluation.
Alkorta, J., K. Gojenola, y M. Iruskieta.
2016a. Creating and evaluating a polarity
- balanced corpus for basque sentiment
analysis. En IWoDA16 Fourth
International Workshop on Discourse Analysis.
Santiago de Compostela , September 29 th
- 30 th . Extended Abstracts. ISBN: 978
84 - 608 - 9305 - 9.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          <string-name>
            <surname>Alkorta</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          , K. Gojenola, y
          <string-name>
            <given-names>M.</given-names>
            <surname>Iruskieta</surname>
          </string-name>
          . 2016b.
          <article-title>Sentimenduen analisia euskaraz: lexiko-mailatik erlaziozko diskurtsoegiturarako proposamena. JesA~os Mari Larrazabal Antia (arg</article-title>
          .), GOGOA 14,
          <string-name>
            <surname>Xabier</surname>
            <given-names>Arrazola Gogoan</given-names>
          </string-name>
          (
          <year>1962</year>
          -2015), Euskal Herriko Unibertsitateko Hizkuntza, Ezagutza, Komunikazio eta Ekintzari buruzko aldizkaria,
          <fpage>131</fpage>
          -
          <lpage>152</lpage>
          or.,
          <source>Euskal Herriko Unibertsitateko Argitalpen Zerbitzua</source>
          , Bilbao. ISSN:
          <fpage>1577</fpage>
          -
          <lpage>9424</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          <string-name>
            <surname>Alkorta</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>K.</given-names>
            <surname>Gojenola</surname>
          </string-name>
          , M. Iruskieta, y
          <string-name>
            <given-names>A.</given-names>
            <surname>Perez</surname>
          </string-name>
          .
          <year>2015</year>
          .
          <article-title>Using relational discourse structure information in basque sentiment analysis</article-title>
          .
          <source>En SEPLN 5th Workshop RST and Discourse Studies. ISBN: 978-84-608-1989-9.</source>
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>https://gplsi.dlsi.ua.es/sepln15/en/node/63.</mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          <string-name>
            <surname>Alkorta</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>K.</given-names>
            <surname>Gojenola</surname>
          </string-name>
          , M. Iruskieta, y M.
          <article-title>Taboada. en revision. Using lexical level information in discourse structures for basque sentiment analysis</article-title>
          .
          <source>En 6th Workshop Recent Advances in RST and Related Formalisms"</source>
          ,
          <source>International Conference on Natural Language Generation (INLG</source>
          <year>2017</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          <string-name>
            <surname>Brooke</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          , M. To loski, y M.
          <year>Taboada</year>
          .
          <year>2009</year>
          .
          <article-title>Cross-linguistic sentiment analysis: From english to spanish</article-title>
          .
          <source>En RANLP</source>
          , paginas
          <volume>50</volume>
          {
          <fpage>54</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          <string-name>
            <surname>Chardon</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>F.</given-names>
            <surname>Benamara</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Y.</given-names>
            <surname>Mathieu</surname>
          </string-name>
          , V. Popescu,
          <string-name>
            <given-names>y N.</given-names>
            <surname>Asher</surname>
          </string-name>
          .
          <year>2013</year>
          .
          <article-title>Measuring the e ect of discourse structure on sentiment analysis</article-title>
          .
          <source>En International Conference on Intelligent Text Processing and Computational Linguistics</source>
          , paginas
          <volume>25</volume>
          {
          <fpage>37</fpage>
          . Springer.
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <string-name>
            <surname>Iruskieta</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          <year>2014</year>
          .
          <article-title>Pragmatikako erlaziozko diskurtso-egitura: deskribapena eta bere ebaluazioa hizkuntzalaritza konputazionalean (a description of pragmatics rhetorical structure and its evaluation in computational linguistic)</article-title>
          .
          <article-title>Doktore-tesia</article-title>
          . EHU, informatika Fakultatea.
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          <string-name>
            <surname>Iruskieta</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>I. Da</given-names>
            <surname>Cunha</surname>
          </string-name>
          , y
          <string-name>
            <given-names>M.</given-names>
            <surname>Taboada</surname>
          </string-name>
          .
          <year>2015</year>
          .
          <article-title>A qualitative comparison method for rhetorical structures: identifying different discourse structures in multilingual corpora</article-title>
          .
          <source>Language resources and evaluation</source>
          ,
          <volume>49</volume>
          (
          <issue>2</issue>
          ):
          <volume>263</volume>
          {
          <fpage>309</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          <string-name>
            <surname>Kantrowitz</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          <year>2003</year>
          .
          <article-title>Method and apparatus for analyzing a ect and emotion in text</article-title>
          ,
          <source>Septiembre 16. US Patent 6</source>
          ,
          <issue>622</issue>
          ,
          <fpage>140</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          <string-name>
            <surname>Lako</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          <year>1993</year>
          .
          <article-title>The contemporary theory of metaphor</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          <string-name>
            <surname>Mann</surname>
            , W. C. y
            <given-names>S. A.</given-names>
          </string-name>
          <string-name>
            <surname>Thompson</surname>
          </string-name>
          .
          <year>1988</year>
          .
          <article-title>Rhetorical structure theory: Toward a functional theory of text organization</article-title>
          .
          <source>TextInterdisciplinary Journal for the Study of Discourse</source>
          ,
          <volume>8</volume>
          (
          <issue>3</issue>
          ):
          <volume>243</volume>
          {
          <fpage>281</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          <string-name>
            <surname>Nakov</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>A.</given-names>
            <surname>Ritter</surname>
          </string-name>
          ,
          <string-name>
            <given-names>S.</given-names>
            <surname>Rosenthal</surname>
          </string-name>
          ,
          <string-name>
            <given-names>F.</given-names>
            <surname>Sebastiani</surname>
          </string-name>
          , y
          <string-name>
            <given-names>V.</given-names>
            <surname>Stoyanov</surname>
          </string-name>
          .
          <year>2016</year>
          .
          <article-title>Semeval-2016 task 4: Sentiment analysis in twitter</article-title>
          .
          <source>Proceedings of SemEval, paginas</source>
          <volume>1</volume>
          {
          <fpage>18</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          <string-name>
            <surname>Pang</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          , L. Lee, y others.
          <year>2008</year>
          .
          <article-title>Opinion mining and sentiment analysis</article-title>
          .
          <source>Foundations and Trends R in Information Retrieval</source>
          ,
          <volume>2</volume>
          (
          <issue>1</issue>
          {2):1{
          <fpage>135</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          <string-name>
            <surname>Pontiki</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>D.</given-names>
            <surname>Galanis</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Pavlopoulos</surname>
          </string-name>
          ,
          <string-name>
            <given-names>H.</given-names>
            <surname>Papageorgiou</surname>
          </string-name>
          , I. Androutsopoulos, y
          <string-name>
            <given-names>S.</given-names>
            <surname>Manandhar</surname>
          </string-name>
          .
          <year>2014</year>
          .
          <article-title>Semeval-2014 task 4: Aspect based sentiment analysis</article-title>
          .
          <source>Proceedings of SemEval, paginas</source>
          <volume>27</volume>
          {
          <fpage>35</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          <string-name>
            <surname>Rosenthal</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>P.</given-names>
            <surname>Nakov</surname>
          </string-name>
          ,
          <string-name>
            <given-names>S.</given-names>
            <surname>Kiritchenko</surname>
          </string-name>
          ,
          <string-name>
            <given-names>S. M.</given-names>
            <surname>Mohammad</surname>
          </string-name>
          ,
          <string-name>
            <surname>A</surname>
          </string-name>
          . Ritter, y
          <string-name>
            <given-names>V.</given-names>
            <surname>Stoyanov</surname>
          </string-name>
          .
          <year>2015</year>
          . Semeval-2015 task 10:
          <article-title>Sentiment analysis in twitter</article-title>
          .
          <source>En Proceedings of the 9th international workshop on semantic evaluation (SemEval</source>
          <year>2015</year>
          ), paginas
          <volume>451</volume>
          {
          <fpage>463</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          <string-name>
            <surname>Sack</surname>
            ,
            <given-names>W.</given-names>
          </string-name>
          <year>1994</year>
          .
          <article-title>On the computation of point of view</article-title>
          .
          <source>En AAAI, pagina 1488.</source>
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          <string-name>
            <surname>Sarasola</surname>
            ,
            <given-names>I.</given-names>
          </string-name>
          <year>2005</year>
          .
          <article-title>Zehazki: gaztelaniaeuskara hiztegia</article-title>
          .
          <source>Alberdania.</source>
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          <string-name>
            <surname>Taboada</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          <year>2008</year>
          .
          <article-title>Sfu review corpus [corpus]</article-title>
          . vancouver: Simon fraser university.
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          <string-name>
            <surname>Trnavac</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>D. Das</surname>
            ,
            <given-names>y M.</given-names>
          </string-name>
          <string-name>
            <surname>Taboada</surname>
          </string-name>
          .
          <year>2016</year>
          .
          <article-title>Discourse relations and evaluation</article-title>
          .
          <source>Corpora</source>
          ,
          <volume>11</volume>
          (
          <issue>2</issue>
          ):
          <volume>169</volume>
          {
          <fpage>190</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          <string-name>
            <surname>Wang</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Y</surname>
          </string-name>
          . Wu, y
          <string-name>
            <given-names>L.</given-names>
            <surname>Qiu</surname>
          </string-name>
          .
          <year>2012</year>
          .
          <article-title>Exploiting discourse relations for sentiment analysis</article-title>
          .
          <source>En COLING (Posters)</source>
          , paginas
          <volume>1311</volume>
          {
          <fpage>1320</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          <string-name>
            <surname>Wiebe</surname>
            ,
            <given-names>J. M.</given-names>
          </string-name>
          <year>1994</year>
          .
          <article-title>Tracking point of view in narrative</article-title>
          .
          <source>Computational Linguistics</source>
          ,
          <volume>20</volume>
          (
          <issue>2</issue>
          ):
          <volume>233</volume>
          {
          <fpage>287</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          <string-name>
            <surname>Zerbitzuak</surname>
            ,
            <given-names>E. H.</given-names>
          </string-name>
          <year>2013</year>
          .
          <article-title>Elhuyar hiztegia: euskara-gaztelania, castellano-vasco</article-title>
          . usurbil: Elhuyar.
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          <string-name>
            <surname>Zhou</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>B.</given-names>
            <surname>Li</surname>
          </string-name>
          ,
          <string-name>
            <given-names>W.</given-names>
            <surname>Gao</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Z.</given-names>
            <surname>Wei</surname>
          </string-name>
          , y
          <string-name>
            <given-names>K.-F.</given-names>
            <surname>Wong</surname>
          </string-name>
          .
          <year>2011</year>
          .
          <article-title>Unsupervised discovery of discourse relations for eliminating intrasentence polarity ambiguities</article-title>
          .
          <source>En Proceedings of the Conference on Empirical Methods in Natural Language Processing</source>
          , paginas
          <volume>162</volume>
          {
          <fpage>171</fpage>
          .
          <article-title>Association for Computational Linguistics</article-title>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>