Efectos de la Negacion, Modi cadores, Jergas, Abreviaturas y Emoticonos en el Analisis de Sentimiento

Abstract

Some problems present in the treatment of opinions are: the use of informal, ironic and sarcastic language, abbreviations, orthographic and typographic mistakes, semantic compositionality, the cultural level and knowledge of language. These problems impose greater di culty on opinion mining than on text mining in general. Therefore, the aim of our research is to develop computational solutions to solve some of these problems, contributing to improve the processing of opinions and consequently to obtain more e ective polarity detection. As a result of this research some resources were developed to manage jargons, emoticons, valence shifters and negations. These resources are applicable in any opinion mining system that requires them for mining opinions in Spanish or English. The experimental study from the application of the proposed resources showed values of accuracy and F1 higher than those obtained by calculating the polarity without incorporating those resources.

Keywords

• Palabras Claves
• Miner a de opinion
• Recursos lexicos
• Negacion
• Emoticonos

Introduccion

Las personas al prepararse para tomar alguna decision siempre tienen en cuenta, ademas de su propia experiencia, lo que otras personas puedan aportar, por lo que las opiniones son una parte importante en la vida de los seres humanos. La creciente popularidad de sitios ricos en opiniones abre nuevas oportunidades y retos al poderse usar diferentes tecnicas para entender y extraer las opiniones de otros.

Las opiniones son los estados subjetivos que re ejan los sentimientos y la percepcion de una persona sobre un suceso o un objeto [ 10 ]. Segun Liu [ 13 ], una opinion es una emocion sobre una entidad o un aspecto de la entidad expresada por un usuario. El sentimiento asociado a una opinion puede ser positivo, negativo o neutro, o expresarse con distinta fuerza o niveles de intensidad.

Con la llegada de la web 2.0, enormes volumenes de textos con opiniones estan disponibles. Para extraer el sentimiento acerca de un objeto, producto o servicio de esta enorme red, se necesitan sistemas de miner a de opinion automatizados. El procesamiento automatico de opiniones no es una tarea sencilla. Algunos de los problemas presentes en el tratamiento de las opiniones son: el uso de lenguaje informal, las abreviaturas, los errores ortogra cos y tipogra cos, el lenguaje ironico y sarcastico, la semantica composicional, el nivel de conocimiento del lenguaje, el nivel cultural, entre otros. Estos problemas, en comparacion con el procesamiento de documentos en otras tareas de la miner a de textos, imponen una mayor di cultad a la miner a de opiniones. Por tanto, el objetivo de nuestra investigacion es desarrollar soluciones computacionales que permitan resolver varias de las problematicas existentes en las opiniones, contribuyendo a un mejor procesamiento de las mismas y consecuentemente mayor efectividad en el calculo de la polaridad. 2

Recursos para manejar problemas presentes en las opiniones

Algunos de los problemas presentes en las opiniones se pueden manejar con la miner a de opinion basada en aspectos y entidades; por ejemplo, identi car las entidades y aspectos y los valores de polaridad asociados a cada uno de ellos, o analizar aquellos textos que contienen otra entidad para referirse a una entidad [ 13 ]. Otros problemas requieren realizar analisis sintactico y desambiguacion semantica en aquellos casos donde sea necesario identi car la polaridad de las palabras dependiendo del contexto y de la etiqueta POS (Part Of Speech) [ 13 ]. El manejo de algunos problemas requiere la aplicacion de tecnicas de miner a de opinion dependientes del dominio, por ejemplo, para manejar aquellos terminos que en determinado dominio son considerados positivos y en otros pueden ser considerados negativos. El manejo de estos problemas no es objetivo de este trabajo, ya que requieren la aplicacion de tecnicas muy espec cas del procesamiento del lenguaje natural, desambiguacion semantica y miner a de opinion basada en aspectos embebidas en el sistema de miner a de opinion que se disen~e. En este ep grafe presentaremos recursos generales para manejar la negacion, las palabras modi cadoras, las jergas, las abreviaturas y los emoticonos, con independencia del sistema de miner a de opinion que se desee aplicar a la coleccion de opiniones. 2.1

Manejo de la negacion

El tratamiento de la negacion es un problema abierto dentro del procesamiento del lenguaje natural, y la miner a de opinion en particular. Son muy abundantes las opiniones negativas expresadas con terminos positivos negados y viceversa [ 9 ].

La negacion es un elemento lingu stico muy particular de cada lengua, por lo que para un tratamiento efectivo se debe realizar un estudio pormenorizado de los distintos elementos lingu sticos que intervienen en el proceso de negacion de un enunciado. La investigacion existente sobre la in uencia de la negacion es escasa, no estudia en profundidad estos aspectos lingu sticos y se centra casi en exclusividad en textos escritos en Ingles [ 21 ], aunque existen algunas propuestas para otros idiomas.

Las primeras para manejar las negaciones comenzaron en el an~o 2001 [ 6,16,17,11,22 ]. Entre los trabajos mas recientes cabe destacar el sistema basado en reglas propuesto en [ 8 ]. En [ 18 ] marcan como negadas todas aquellas palabras que se encuentren despues de una part cula negativa hasta llegar a un signo de puntuacion, un conector o ciertas palabras pertenecientes a una determinada categor a gramatical, e introducen una nueva forma de tratar la negacion que consiste en reducir el valor de polaridad de las palabras negadas en lugar de invertirlo. En [ 7 ] se presenta un sistema para el tratamiento de la negacion y de la especulacion, y el primer corpus de opiniones etiquetado a nivel de negacion y especulacion [ 12 ]. El primer trabajo que conocemos para el Espan~ol es el propuesto en [ 4 ] que consiste en la adaptacion al Espan~ol del sistema SO-CAL [ 19 ]. En [ 20 ] manejan la negacion teniendo en cuenta la estructura sintactica del texto, obteniendo as mejores resultados que los sistemas puramente lexicos.

Nuestra propuesta para manejar la negacion se basa en la union de varios de los enfoques antes descritos. Primeramente tomamos las reglas presentadas en [ 15 ] para la negacion en el idioma Ingles y las modi camos descartando aquellos terminos que no aportan en el calculo de la polaridad y que pudieran ser eliminados en una aplicacion de miner a de opinion en la etapa de preprocesamiento. El rango de la negacion esta de nido por las reglas. Por ejemplo, dada la oracion \I don't like this laptop" la rama de la regla que se muestra en la Fig. 1 se aplica como se explicara a continuacion. Cuando se detecta el verbo \do" seguido del termino \not" se activa el arbol de reglas para el termino \not". El siguiente termino que aparece en la oracion es un verbo, por tanto, se recorre el arbol buscando esta entrada. Si aparece la entrada, como es el caso de este ejemplo que se muestra en la rama derecha que sale del termino \not" en la Fig. 1, la polaridad de este termino tambien se niega. A continuacion, el proximo termino a analizar es un sustantivo, por tanto, se busca en la rama del arbol esta entrada, como no existe, se termina la negacion. De manera general, la activacion de una regla consiste en identi car la regla a aplicar y para cada termino buscar su clase gramatical e ir moviendose por las ramas de la regla identi cada. Cada termino con la clase gramatical de la rami cacion correspondiente sera negado. Negar un termino consiste en consultar su polaridad e invertirla.

Figura 1. Rama de la regla de negacion para el termino \not".

Estas reglas estan creadas para los terminos \not", \never" y \no" del idioma Ingles. Para el idioma Espan~ol adaptamos las reglas descritas en [ 20 ] para los terminos \no", \nunca" y \sin". Las reglas solamente involucran los tres terminos mas utilizados para negar (not, never y no); sin embargo, existen otros terminos que expresan negacion, de ah la necesidad de utilizar otros enfoques para manejar la negacion. Por ello, se crearon listas de palabras negadoras en ambos idiomas a partir de diversas listas ya publicadas. El rango de negacion que consideramos para estas palabras se obtuvo a traves de la experimentacion con rangos de uno, dos y tres terminos despues de la palabra negadora, siendo el de mejores resultados el rango que considera negar los proximos dos terminos. Tambien se tuvo en cuenta el uso de su jos y pre jos para ambos idiomas, un ejemplo para el Ingles lo constituye el pre jo dis- (dislike) y para el Espan~ol el pre jo in- (incomible). Para evitar que el analisis de los pre jos y su jos produjera falsos positivos, se tuvo en cuenta que el termino modi cado tuviera un alto valor de polaridad positiva. En todos los casos la negacion se trata invirtiendo los valores de polaridad de cada termino negado.

La aplicacion de nuestra propuesta para manejar la negacion considera el uso de uno u otro enfoque dependiendo del termino que se presente en el procesamiento textual. Por ejemplo, si aparece la palabra \no" directamente se activa el enfoque basado en reglas, si el termino a analizar presenta un pre jo que expresa negacion entonces seguimos el enfoque basado en pre jos y si aparece otro termino que expresa negacion y que no es manejado desde las reglas, entonces se consulta la lista de palabras negadoras. 2.2

Manejo de las palabras modi cadoras

Las palabras modi cadoras son aquellas que pueden incrementar, reducir o cambiar la polaridad de otro termino dentro de la oracion. Especial atencion tienen las palabras intensi cadoras las cuales aumentan la fuerza de otros terminos y las atenuadoras que reducen la fuerza de otros terminos.

En gramatica, un intensi cador es una palabra que hace hincapie en otra palabra o frase. Tambien conocido como un refuerzo o un ampli cador. Por ejemplo, algo no solo es bueno, sino muy bueno, o incluso, terriblemente bueno. Los adjetivos intensi cadores modi can a los sustantivos; los adverbios de intensi cacion modi can comunmente verbos, adjetivos graduables, y otros adverbios.

Hasta cierto punto, un intensi cador actua como una sen~al: anuncia que la siguiente palabra que se lleva a cabo debe ser entendida como insu ciente. Algunos ejemplos de palabras intensi cadoras en el idioma Ingles aparecen en las siguientes oraciones: \The woodwind has a slightly greater scope than the violin", \A really good detective never gets married" y \Maggy knew that something surpassingly important had happened to him".

Otras palabras modi cadoras son las palabras atenuadoras, como por ejemplo, el termino \less" en Ingles o \poco" en Espan~ol. Los atenuadores (tambien mitigadores) han sido descriptos como elementos que se utilizan para mitigar o relativizar el impacto de las a rmaciones, en una estrategia propia de la cortes a [ 5 ]. Se dice tambien que \desactivan" la fuerza elocutiva de un acto [ 14 ]. Pragmaticamente, la atenuacion sirve para regular la relacion interpersonal y social entre interlocutores.

Los diversos autores que estudian en forma sistematica este tipo de fenomenos se re eren alternativamente a estrategias, recursos, operadores, formas o estructuras de atenuacion [ 19 ]. Desde el punto de vista semantico-pragmatico, la atenuacion se opone a la intensi cacion. En ambos casos los recursos pueden corresponder a ambitos categoriales diferentes, como adverbios, adjetivos y frases.

Para tratar estas palabras modi cadoras, como resultado de esta investigacion, se construyeron dos listas (una para el idioma Ingles y otra para el Espan~ol) de terminos intensi cadores y atenuadores a partir de las consultas manuales a diccionarios, analisis de listas de palabras modi cadoras ya existentes y consultas a expertos linguistas. Como estas palabras pueden in uir tanto en los terminos precedentes como en los posteriores, se les agrego a cada uno una etiqueta para identi car donde ejerc a este su in uencia. El formato consiste en la frase o el termino modi cador seguido de un valor entero en el dominio f1, 2g, donde uno signi cada que es una palabra intensi cadora y dos que es una palabra atenuadora. A continuacion aparece un segundo valor entero en el dominio f1, 2, 3g que sen~ala a que termino afecta siendo uno el termino antecesor, dos el sucesor y tres para ambos casos. Un fragmento de una lista de palabras modi cadoras en Ingles se muestra en la Fig. 2. Sugerimos que aquellos sistemas que utilicen nuestra propuesta para el manejo de palabras modi cadoras de la polaridad, le agreguen uno al valor de polaridad predominante del termino predecesor o sucesor segun sea la etiqueta que porte la palabra intensi cadora, y reduzcan en un 50 % el valor de polaridad predominante del termino predecesor o sucesor en el caso de las palabras atenuadoras. Por tanto, ante la presencia de intensi cadores le asignamos a las palabras modi cadas el mayor valor de polaridad, mientras que a aquellas modi cadas por atenuadoras lo que se pretende es reducir su valor de polaridad de forma tal que si era medianamente fuerte, sera debil y si era fuerte, sera medianamente fuerte.

Figura 2. Fragmento de lista de palabras modi cadoras. 2.3

Manejo de jergas, abreviaturas y emoticonos

Las jergas de internet son una variedad de lenguajes cotidianos y abreviaciones en la escritura utilizadas por las diferentes comunidades en el ambito de Internet [ 23 ]. Esos nuevos terminos o formas de escritura a menudo se han originado con el proposito de abreviar pulsaciones de teclado, sobre todo por la di cultad y/o rapidez que a veces trae aparejado el uso de algunos dispositivos portatiles. Muchas personas utilizan las mismas abreviaturas en los mensajes de textos y en la mensajer a instantanea, as como en las redes sociales [ 6 ]. Por ejemplo \u" para \you", \cam" para \camera", \pic" para \picture", \f9" para \ ne", \b4" para \before", \gud" para \good", etc.

De igual forma, los acronimos, s mbolos del teclado, y abreviaturas, tambien son de uso frecuente y mas o menos normalizado, y por tanto, integran lo que puede llamarse jerga de Internet. Por ejemplo \gr8" es una palabra del argot usado para \great", \5n" o \fyn" para \ ne". Estas palabras no son una parte de los diccionarios tradicionales, pero se encuentran ampliamente en los textos en l nea. Si estas jergas se pueden asignar a las palabras originales, los resultados de rendimiento de los analizadores de los sentimientos pueden ser mejorados.

Otro elemento que encontramos dentro de las jergas de internet son los emoticonos (emoticon) que son una secuencia de caracteres ASCII que, en un principio, representaba una cara humana y expresaba una emocion. Posteriormente, fueron creandose otros emoticonos con signi cados muy diversos.

Existen varias listas que incluyen jergas y emoticonos; sin embargo, cada una adolece de terminos que presentan otras, sobre todo debido a la velocidad y dinamica con que surgen nuevos emoticonos y jergas. De ah que para tratar con estos dos temas creamos dos listas, una para las jergas, y otra para los emoticonos, construidas a partir de varias listas previamente publicadas1. Cada emoticon o jerga tiene asignados sus correspondientes valores de polaridad positiva y negativa. Para obtener estos valores de polaridad de las jergas utilizamos 1 www.netlingo.com, www.noslang.com, es.wikipedia.org/wiki/Anexo:Emoticonos su correspondiente signi cado en el idioma y sumamos los valores de polaridad de sus terminos. Los valores de polaridad de los terminos pueden obtenerse a partir de listas2 o recursos lexicos como por ejemplo SentiWordNet [ 3 ] o PosNeg Lexicon [ 1,2 ]. En la Fig. 3 se muestra un fragmento de la lista de jergas y los valores de polaridad positiva y negativa asignados. Para los emoticonos es similar, solo que se le asigna a cada emoticon el valor de polaridad de la emocion que expresan. En ambos casos se sugiere que los valores de polaridad sean agregados al valor nal de toda la opinion, pues estos elementos la mayor a de las veces no afectan directamente a un termino sino al contexto en general.

Figura 3. Fragmento de lista de jergas y los valores de polaridad asignados.

Nuestra propuesta sugiere que despues de cargar el corpus textual es necesario localizar los emoticonos y las jergas para pre-procesarlos y determinar su in uencia en el calculo de la polaridad. Este es un paso que distingue la miner a de opinion de otros enfoques de miner a de textos donde en la etapa de preprocesamiento son eliminados inicialmente los emoticonos y las jergas. Despues de calcular los valores de polaridad asociados a las jergas y los emoticonos, estos deben ser eliminados, ya que no apareceran directamente en los recursos lexicos a consultar, en el caso que estemos usando un enfoque no supervisado basado en recursos lexicos. El analisis de las palabras intensi cadoras y atenuadoras debe realizarse cuando estemos asignando los valores de polaridad a los terminos, al concluir este proceso es posible aplicar la estrategia h brida de nida para manejar la negacion. 3

Evaluacion de los recursos desarrollados

En este ep grafe se desea mostrar las potencialidades que ofrecen los recursos desarrollados para el manejo de jergas, emoticonos, negaciones y el uso de palabras modi cadoras en el calculo de la polaridad de las opiniones. Para ello, utilizamos el sistema PosNeg Opinion que permite detectar la polaridad de opiniones en Espan~ol y en Ingles siguiendo un esquema general que consta de seis etapas para el calculo de la polaridad [ 1 ]. Ya seleccionado el sistema a utilizar, fue necesario conformar tres casos de estudios que permitan ilustrar la efectividad de nuestra propuesta. Los dos primeros estan conformados por subconjuntos de opiniones del corpus Amazon3 y el tercero coincide con el corpus Sentiment1404. 2 http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html 3 http://times.cs.uiuc.edu/~wang296/Data/ 4 http://cs.stanford.edu/people/alecmgo/trainingandtestdata.zip

El corpus Amazon contiene comentarios sobre seis productos (camaras, telefonos moviles, TV, laptop, tablet y sistemas de video vigilancia) en Amazon.com. Cada producto contiene los siguientes atributos: ID del producto (unico), nombre, caracter sticas del producto, precio y el URL de la imagen. Cada comentario tambien contiene ademas los siguientes atributos: ID del comentario (unico), autor, t tulo, contenido, puntuacion global y fecha. La puntuacion global es brindada por el usuario quien le da una puntuacion de cero a cinco estrellas, para este trabajo solo tomamos las puntuaciones de cero a dos como negativas, de cuatro a cinco como positivas, dejando fuera las puntuaciones de tres estrellas pues estas muestran indecision de los usuarios al clasi car sus opiniones, lo cual no asegura que sea una clasi cacion con able. El otro corpus utilizado es Sentiment140 que incluye 800 000 tweets que contienen emoticonos positivos y 800 000 tweets que incluyen emoticonos negativos, aquellos mensajes que conten an ambos no fueron tomados en cuenta.

El calculo de la polaridad de las opiniones puede ser analizado como un proceso de clasi cacion, donde se determina si la opinion pertenece a la clase positiva o negativa. Las medidas para evaluar el desempen~o de los clasi cadores pueden ser utilizadas para evaluar la calidad de la deteccion de la polaridad de las opiniones. Las medidas de evaluacion utilizadas en la experimentacion son: Exactitud (Accuracy ; Ac) que calcula la proporcion del numero total de predicciones correctas; la Razon de Verdaderos Positivos (True Positive Rate; TPR) o Recall que calcula la proporcion de casos positivos que fueron correctamente identi cados; la Razon de Falsos Positivos (False Positive Rate; FPR) que calcula la proporcion de casos negativos que han sido incorrectamente clasi cados; la Razon de Verdaderos Negativos (True Negative Rate; TNR) que calcula la proporcion de casos negativos que han sido correctamente clasi cados; la Razon de Falsos Negativos (False Negative Rate; FNR) que calcula la proporcion de casos positivos que fueron incorrectamente clasi cados; la Precision (Precision; P) que calcula la proporcion de casos predichos positivos que fueron correctos y la medida-F (F-measure) que determina un valor unico ponderado de la precision y la exactitud.

Para veri car el impacto que tienen las palabras intensi cadoras y atenuadoras en la clasi cacion de la polaridad tomamos del corpus Amazon aquellas opiniones que contuviesen dichas palabras quedando as una coleccion de 99 148 opiniones negativas y 645 678 opiniones positivas. En la Tabla 1 se muestra como al realizar el analisis de dichas palabras se logran mejores medidas de Precision, Recall, Exactitud y F1, respecto al procesamiento omitiendo dichas palabras.

Tabla 1. Impacto de las palabras intensi cadoras y atenuadoras.

PosNeg Opinion Precision Recall Exactitud F1 Sin intensi cadores y atenuadores 89 % 83 % 82 % 86 % Con intensi cadores y atenuadores 92 % 87 % 83 % 90 %

Para mostrar el impacto que tiene la negacion en la clasi cacion de la polaridad utilizamos del corpus Amazon aquellas opiniones que utilizan palabras negadoras quedando as una coleccion de 65 578 opiniones negativas y 225 758 opiniones positivas. En la Tabla 2 se muestra como al realizar el analisis de la negacion se logran mejores medidas de Precision, Recall, Exactitud y F1.

Tabla 2. Impacto del manejo de las negaciones en la deteccion de la polaridad. PosNeg Opinion Precision Recall Exactitud F1 TPR FPR TNR FNR Sin negacion 88 % 86 % 80 % 87 % 86 % 51 % 49 % 14 % Con negacion 90 % 88 % 83 % 89 % 88 % 42 % 58 % 12 % Tambien es posible notar en la Tabla 2 que al realizar este analisis se logra una mayor proporcion de casos positivos y negativos que fueron correctamente identi cados (TPR y TNR) y una disminucion de la proporcion de casos negativos que han sido incorrectamente clasi cados como positivos (FPR), as como una disminucion de casos positivos que han sido incorrectamente clasi cados como negativos (FNR).

Para veri car el impacto que tienen los emoticonos en la clasi cacion de la polaridad tomamos el corpus Sentiment140 ya que parte de este fue construido a partir de la busqueda de diferentes emoticonos. En la Tabla 3 se muestra como al realizar el analisis de este corpus se obtienen mejores resultados de Precision, Recall, Exactitud y F1 al incluir el analisis de los emoticonos.

Tabla 3. Impacto del manejo de los emoticonos en la deteccion de la polaridad.

PosNeg Opinion Precision Recall Exactitud F1 Sin emoticonos 83 % 90 % 77 % 86 %

Con emoticonos 88 % 92 % 83 % 90 %

Para el analisis del impacto de las jergas tambien utilizamos el corpus Sentiment140 ya que este se encuentra construido sobre la red social Twitter donde es comun la utilizacion de estos elementos. En la Tabla 4 se muestra como realizar el analisis de las jergas ayuda a la obtencion de mejores resultados de Precision, Exactitud y F1, y el valor de Recall se mantiene. El manejo de las jergas es complejo, ya que la jerga en s puede generar otros de los problemas presentes en las opiniones.

Tabla 4. Impacto del manejo de las jergas en la deteccion de la polaridad.

PosNeg Opinion Precision Recall Exactitud F1 Sin jergas 83 % 90 % 77 % 86 %

Con jergas 87 % 90 % 80 % 88 %

Conclusiones y recomendaciones

Como resultado de esta investigacion se desarrollaron recursos para tratar algunos problemas presentes en las opiniones. Estos recursos son aplicables en cualquier sistema para la deteccion de la polaridad de las opiniones en Ingles y Espan~ol, incluso, no solo para detectar la polaridad, sino para otras tareas de la miner a de opinion que as lo requieran. Estos recursos fueron incorporados al sistema PosNeg Opinion 3.0 [ 1 ] para ilustrar las ventajas que ofrecen estos recursos en el calculo de la polaridad de las opiniones de manera no supervisada. Al incorporar el manejo de jergas, emoticonos, palabras modi cadoras y negaciones a PosNeg Opinion se obtuvieron valores promedios de 82 % de exactitud y 89 % de F1, superandose de esta forma los valores de calidad de la deteccion de la polaridad de las opiniones que ofrec a PosNeg Opinion antes de incorporarle estos recursos. De esta forma se mostro el impacto positivo que tiene el manejo de las palabras modi cadoras, las negaciones, los emoticonos y las jergas en el calculo de la polaridad mediante el uso de los recursos disen~ados como resultado de esta investigacion a tales efectos. Se recomienda continuar actualizando los recursos desarrollados a partir de la retroalimentacion de los resultados de la experimentacion y proponer soluciones para otros problemas como el sarcasmo y la iron a.

References

1. Amores , M. : Deteccion de la polaridad de las opiniones basada en nuevos recursos lexicos . Master en ciencia de la computacion, Universidad Central "Marta Abreu"de Las Villas ( 2016 )

2. Amores , M. , Arco , L. , Borroto , C. : Unsupervised Opinion Polarity Detection based on New Lexical Resources. Computacion y Sistemas 20 ( 2 ) ( 2016 )

3. Baccianella , S. , Esuli , A. , Sebastiani , F. : SentiWordNet 3.0: An Enhanced Lexical Resource for Sentiment Analysis and Opinion Mining . In: LREC . vol. 10 , pp. 2200 { 2204 ( 2010 )

4. Brooke , J. , To loski, M., Taboada , M. : Cross-Linguistic Sentiment Analysis: From English to Spanish . In: RANLP. pp. 50 { 54 ( 2009 )

5. Ca , C. : On mitigation . Journal of pragmatics 31(7) , 881 { 909 ( 1999 )

6. Das , S. , Chen , M. : Yahoo! for amazon: Extracting market sentiment from stock message boards . In: Proceedings of the Asia Paci c nance association annual conference (APFA) . vol. 35 , p. 43 . Bangkok, Thailand ( 2001 )

7. D az , N.P.C. : Deteccion de la Negacion y la Especulacion en Textos Medicos y de Opinion. Phd , Universidad de Huelva ( 2014 )

8. Jia , L. , Yu , C. , Meng , W.: The e ect of negation on sentiment analysis and retrieval e ectiveness . In: Proceedings of the 18th ACM conference on Information and knowledge management . pp. 1827 { 1830 . ACM ( 2009 )

9. Jimenez Zafra , S.M. , Mart nez Camara , E. , Mart n Valdivia, M.T., Molina Gonzalez , M.D.: Tratamiento de la negacion en el analisis de opiniones en espan~ol . Procesamiento del Lenguaje Natural (54) , 37 { 44 ( 2015 )

10. Kaur , A. , Duhan , N.: A survey on sentiment analysis and opinion mining . International Journal of Innovations & Advancement in Computer Science IJIACS 4 ( 2015 )

11. Kennedy , A. , Inkpen , D. : Sentiment classi cation of movie reviews using contextual valence shifters . Computational intelligence 22 ( 2 ), 110 { 125 ( 2006 )

12. Konstantinova , N. , De Sousa , S.C.M. , D az , N.P.C. , Lopez , M.J.M. , Taboada , M. , Mitkov , R.: A review corpus annotated for negation, speculation and their scope . In: LREC . pp. 3190 { 3195 ( 2012 )

13. Liu , B. : Sentiment analysis and opinion mining . Synthesis lectures on human language technologies 5(1) , 1 { 167 ( 2012 )

14. Mallarino , M.d.R.U.: Los marcadores del discurso y la cortes a verbal en espan~ol . Tintas. Quaderni di Letterature iberiche e iberoamericane (1) , 300 { 303 ( 2012 )

15. Na , J.C. , Khoo , C. , Wu , P.H.J. : Use of negation phrases in automatic sentiment classi cation of product reviews . Library Collections, Acquisitions, and Technical Services 29 ( 2 ), 180 { 191 ( 2005 )

16. Pang , B. , Lee , L. , Vaithyanathan , S. : Thumbs up?: sentiment classi cation using machine learning techniques . In: Proceedings of the ACL-02 conference on Empirical methods in natural language processing- Volume 10 . pp. 79 { 86 . Association for Computational Linguistics ( 2002 )

17. Polanyi , L. , Zaenen , A. : Contextual valence shifters . In: Computing attitude and a ect in text: Theory and applications , pp. 1 { 10 . Springer ( 2006 )

18. Taboada , M. , Brooke , J. , To loski, M., Voll , K. , Stede , M. : Lexicon-based methods for sentiment analysis . Computational linguistics 37(2) , 267 { 307 ( 2011 )

19. Taboada , M. , Voll , K. , Brooke , J.: Extracting sentiment as a function of discourse structure and topicality . Simon Fraser Univeristy School of Computing Science Technical Report ( 2008 )

20. Vilares , D. , Alonso , M.A. , Gomez-Rodr guez , C.: Clasi cacion de polaridad en textos con opiniones en espan~ol mediante analisis sintactico de dependencias . Procesamiento del lenguaje natural 50 , 13 { 20 ( 2013 )

21. Wiegand , M. , Balahur , A. , Roth , B. , Klakow , D. , Montoyo , A. : A survey on the role of negation in sentiment analysis . In: Proceedings of the workshop on negation and speculation in natural language processing . pp. 60 { 68 . Association for Computational Linguistics ( 2010 )

22. Wilson, T. , Wiebe , J. , Ho mann, P.: Recognizing contextual polarity in phraselevel sentiment analysis . In: Proceedings of the conference on human language technology and empirical methods in natural language processing . pp. 347 { 354 . Association for Computational Linguistics ( 2005 )

23. Yin , Y. : World Wide Web and the Formation of the Chinese and English \Internet Slang Union" . Computer-Assisted Foreign Language Education 1 ( 2006 )