Spanish is one of the most popular languages on the Internet with approximately 344 million users; this fact, in conjunction with the rising of the Web 2.0. and the leading role of the users in the creation of content, has leaded Natural Language Processing (NLP) to become one of the outstanding technologies, with applications in machine translation, conversational systems or spam filters. However, some of the available resources are still at an early stage compared to other languages. In addition, some of the tools available are translations of their equivalent in English, so they may lose characteristics of Spanish. Therefore, the objective of this doctoral thesis is the development of a system of extraction of linguistic characteristics of texts in Spanish, which has applications in different fields of the NLP, such as opinion mining, plagiarism detection, or readability analysis.
Cada d´ıa se generan grandes volu´menes de contenido en Internet. Dentro de la variedad dial´ectica que se existe en la red, el espan˜ol tiene una posici´on relevante, siendo actualmente el tercer idioma m´as utilizado en Internet, s´olo por detr´as del ingl´es y del chino 1. Sin embargo, la mayor´ıa de recursos dispo1https://www.internetworldstats.com/stats7.htm nibles para poder procesar esa informaci´on de manera eficiente est´an disen˜ados para el ingl´es. Por este motivo, la comunidad cient´ıfica est´a haciendo verdaderos esfuerzos para crear herramientas de Procesamiento del Lenguaje Natural, o PLN, para el lenguaje espan˜ol.
Para que un ordenador sea capaz de
manejar textos escritos en lenguaje natural hay
que codificarlo de manera adecuada. Una
estrategia consiste en representar un texto
mediante un vector formado por el
porcentaje de palabras psico-linguisticamente
relevantes, con el objetivo de clasificar palabras que
indiquen qu´e dice el texto, y c´omo lo dice.
Estos vectores han probado ser efectivos a la
hora de clasificar documentos. Por citar algunos
ejemplos, se ha aplicado a estudios de autor´ıa
Aunque existen herramientas de extracci´on de caracter´ısticas lingu¨´ısticas en espan˜ol, estas no recogen todas las caracter´ısticas relevantes del espan˜ol debido, principalmente, a que son traducciones o adaptaciones de la versi´on en ingl´es. Con el ´animo de suplir esta carencia, se pretende el disen˜o y la implantaci´on un sistema de extracci´on de caracter´ısticas lingu¨´ısticas espec´ıfico para el idioma espan˜ol con aplicaciones en (1) miner´ıa de opiniones, (2) medici´on del nivel de vocabulario de regiones concretas, (3) tests de legibilidad, (4) estilometr´ıa y (5) detecci´on de plagios.
El resto del documento est´a divido en los siguientes apartados. La secci´on 2 describe LIWC, el est´andar de facto de an´alisis sint´actico as´ı como se citan trabajos relevantes dentro de la Miner´ıa de Opiniones aplicando esta herramienta. La secci´on 3 detalla la metodolog´ıa propuesta, haciendo especial hincapi´e en los prototipos que se est´an creando. En la secci´on 4 se listan tres estudios sobre diferentes dominios en los que se est´a evaluando el prototipo. Por u´ltimo, la secci´on 5 sugiere distintos temas de debate que se est´an planteando durante la realizaci´on de esta tesis doctoral. 2
En la siguiente secci´on se describe LIWC, un est´andar de facto para tareas de an´alisis lingu¨´ıstico (Ver secci´on 2.1) as´ı como investigaciones relacionadas con la Miner´ıa de Opiniones (ver secci´on 2.2) . 2.1
LIWC
Esparza et al., 2007), donde se identificaron una serie de puntos a mejorar: (1) problemas de traducci´on entre el ingl´es y el espan˜ol, (2) el arbitrario disen˜o de las dimensiones, (3) diferencias gramaticales no recogidas entre el espan˜ol y el ingl´es, (4) conjugaciones verbales insuficientes y, (5) la falta de estudios con fuentes espan˜olas. Adem´as, es importante destacar que LIWC es una herramienta comercial, lo que termin´o de motivar el desarrollo de una herramienta libre para la comunidad de PLN en espan˜ol. 2.2
El objetivo de la Miner´ıa de Opiniones es
clasificar si la percepci´on subjetiva de los
usuarios hac´ıa un tema concreto es positiva,
negativa o neutra
La obtenci´on de la subjetividad se
puede realizar mediante (1) Orientaci´on
sem´antica y (2) Aprendizaje computacional. La
orientaci´on Sem´antica consiste en
comparar los textos con lexicones compuestos por
palabras que reflejan sentimientos, como
WordNet-Affect
Dentro de las t´ecnicas de aprendizaje computacional, se pueden extraer distintos tipos de caracter´ısticas. La t´ecnica m´as b´asica de los modelos de aprendizaje supervisado, es decir, del aprendizaje a trav´es de ejemplos, es conocida como Bolsa de Palabras (Bag of Words) y consiste en relacionar la frecuencia de ciertas expresiones con las opiniones del conjunto de entrenamiento. Pese a su simplicidad, el modelo de Bolsa de Palabras funciona bastante bien; sin embargo, presenta ciertas desventajas. En primer lugar, porque puede sobre-entrenar el modelo, haci´endolo demasiado espec´ıfico para el conjunto de entrenamiento pero fallando con nuevas instancias. En segundo lugar, porque considera las palabras de manera aislada sin recoger la relaci´on sem´antica entre el texto, perdiendo informaci´on relevante para la clasificaci´on.
Gran cantidad de estudios de miner´ıa de
opiniones est´an centrados exclusivamente en
documentos en ingl´es, quiz´as debido a la falta
de recursos en otros idiomas
En la siguiente secci´on se describe el sistema de extraccio´n de caracter´ısticas lingu¨´ısticas en espan˜ol (Ver secci´on 3.1) una herramienta de clasificacio´n de corpus en Twitter, para la obtenci´on de corpus de evaluaci´on de la herramienta (Ver secci´on 3.2) y, por u´ltimo, la interfaz gr´afica de la aplicaci´on (Ver secci´on 3.3). 3.1
UMUTextStats es un sistema de extracci´on
de caracter´ısticas lingu¨´ısticas disen˜ado para
el espan˜ol. Al igual que LIWC, este sistema
es capaz de extraer un vector formado por los
porcentajes de palabras y expresiones que
encajan en una serie de caracter´ısticas
lingu¨´ısticas. Sin embargo, se est´a tratando de resolver
las deficiencias que se encontraron en LIWC
UMUTextStats es extensible y permite definir dimensiones a partir de un conjunto de dimensiones abstractas predefinidas, donde destacamos:
Dimensiones de diccionario. Permite en encontrar expresiones regulares que aparezcan en un determinado cat´alogo de t´erminos. Esta dimensi´on tambi´en permite indicar contraejemplos. Mediante los contraejemplos es m´as f´acil disen˜ar una expresi´on regular sencilla sobre un t´ermino, y luego listar las excepciones, como ocurre con el g´enero gramatical. Dimensiones basadas en expresiones regulares. Permite, por ejemplo, especificar expresiones regulares para detectar expresiones entrecomilladas, lo que es indicativo del uso de citas textuales o palabras que adquieren algu´n determinado tono especial.
Dimensiones basadas en en tipograf´ıa. Permite detectar el porcentaje de palabras escritas en mayu´sculas, lo cu´al puede ser indicio de tono elevado de la voz, caracter´ıstica interesante para la detecci´on de violencia a trav´es de Internet.
Adem´as de estas dimensiones gen´ericas, se han implementado dimensiones espec´ıficas como, por ejemplo, una dimensi´on para capturar errores gramaticales a partir de la librer´ıa PSPell2 o dimensiones para la detecci´on de verbos, a partir del POSTagger de Stanford3.
Una ventaja de UMUTextStats frente a otras aplicaciones es que permite operar simult´aneamente con distingas versiones del mismo texto. Por lo tanto, algunas dimensiones pueden operar sobre una versi´on filtrada que facilita la bu´squeda de t´erminos en el diccionario, mientras que la versi´on original se puede utilizar para medir caracter´ısticas como el porcentaje de palabras en mayu´sculas. 3.2
Con objeto de facilitar el disen˜o de experimentos para verificar UMUTextSTats, se ha desarrollado tambi´en una herramienta de extracci´on de tweets llamada UMUCorpusClassifier. Esta herramienta permite recolectar 2https://www.php.net/manual/en/book.pspell.php 3https://nlp.stanford.edu/software/tagger.shtml corpus de entrenamiento a partir de una cadena de bu´squeda y, opcionalmente, una localizaci´on geogr´afica.
Los tweets obtenidos se pueden clasificar
de dos maneras. Por un lado, mediante
supervisi´on distante
La interfaz gr´afica de UMUTextStats est´a integrada con distintas fuentes de donde recoger documentos. En primer lugar, se pueden obtener documentos directamente desde la API de Twitter. En segundo lugar, se pueden subir documentos con los textos en distintos formatos, como CSV, ficheros de texto plano o ficheros comprimidos. En tercer lugar, se pueden comprobar art´ıculos de la Wikipedia a partir de especificar el t´ıtulo. Por u´ltimo, se ha integrado una comunicaci´on directa con UMUCorpusClassifier. Los vectores de caracter´ısticas generados se pueden exportar en diferentes formatos como JSON, CSV, HTML y ficheros ARFF para la suite WEKA4.
Como elemento adicional, la interfaz permite efectuar comparativas con otros modelos. Actualmente, est´a disen˜ado para compararse con un modelo de N-Gramas generado a partir de secuencias de palabras o de caracteres. 4
En la siguiente secci´on se describen los experimentos llevados a cabo para la validaci´on de
UMUTextStats en diferentes dominios: (1) el estudio de la s´atira, (2) infodemiolog´ıa y (3) el an´alisis de opiniones sobre econom´ıa. 4.1
Adem´as de divertida, la s´atira es una herramienta constructiva que permite a la sociedad detectar y sobreponerse a sus debilidades. Sin embargo, aunque algunos autores han comparado el periodismo sat´ırico con las noticias falsas, estas difieren en la intencionalidad. Mientras que la s´atira pretende crear una versi´on de la realidad donde nadie espera que sea real, las noticias falsas tienen la intencionalidad de confundir, generar odio, prejuicio o decepci´on. Debido a la gran capacidad de difusi´on de las noticias hoy en d´ıa, hemos verificado la eficacia de UMUTextStats para entrenar modelos capaces de distinguir entre noticias sat´ıricas y noticias reales ya que, aunque la s´atira no es real, no deber´ıa de ser considerada contenido pernicioso. Adem´as, la clasificaci´on de la s´atira puede ayudar a otras tareas del Procesamiento del Lenguaje Natural, como la Miner´ıa de Opiniones, porque el significado impl´ıcito de textos sat´ıricos difiere del texto expl´ıcito. Consecuentemente, la identificaci´on de contenido sat´ırico nos ayudar´ıa a: (1) diferenciar entre contenido objetivo y divertido, (2) filtrar noticias falsas sin perjudicar el contenido divertido, y (3) identificar contenido que utiliza lenguaje figurado.
Siguiendo esta l´ınea de investigaci´on, se
han extra´ıdo caracter´ısticas lingu¨´ısticas a
partir de varios corpus encontrados en la
bibliograf´ıa, adem´as de la recolecci´on de un
nuevo corpus balanceado formado por 10.000
tweets, escritos tanto en castellano y en
espan˜ol de M´exico. Para la clasificaci´on de
los tweets se ha seguido una estrategia de
supervisi´on distante basando en la
presunci´on de que los tweets son sat´ıricos s´olo si
provienen de un medio sat´ırico, siguiendo
la misma idea que
Adem´as de las dimensiones gen´ericas, en
este experimento se crearon dos tipos de
categor´ıas m´as. Una categor´ıa espec´ıfica para
extraer caracter´ısticas propias de Twitter, como
el uso de menciones, hashtags o emoticonos, y
otra categor´ıa espec´ıfica para capturar
t´ecnicas propias del lenguaje figurativo a partir
de la taxonom´ıa especificada en
Los resultados obtenidos han sido
positivos mejorando UMUTextStats a los modelos
obtenidos en
La infodemiolog´ıa es la ciencia que investiga
el uso de informaci´on disponible en Internet
con el fin de mejorar los servicios sanitarios.
En este sentido, existen dos grandes tipos de
enfoque. Debido al impacto socio-econ´omico
causado por las enfermedades infecciosas
hemos realizado un conjunto de experimentos
con la colaboraci´on de la Universidad de
Guayaquil. En concreto, se recolect´o y se clasific´o
un corpus formado por tweets procedentes de
Ecuador a partir de palabras clave de virus
como el Zika o el Chikungunya. Para estos
corpus utilizamos la herramienta
UMUCorpusClassifier (Ver secci´on 3.2) , para
recolectar el corpus y para realizar una clasificaci´on
manual. Para ello, contamos con 20
estudiantes de la universidad de Guayaquil. que
realizaron un total de 51.127 clasificaciones
manuales. Como los alumnos clasificaron varias
veces los mismos tweets existe cierto consenso
en cuanto a las opiniones, y pudimos
descartar los tweets que generaban m´as pol´emica.
Se han llevado ya varios experimentos previos
que se han publicado en
En tercer lugar, se ha aplicado este estudio al
dominio de la econom´ıa. El objetivo de esta
tarea era analizar mensajes de usuarios en
redes sociales para determinar qu´e combinaci´on
de caracter´ısticas lingu¨´ısticas podr´ıa predecir
opiniones positivas y negativas con respecto
de la econom´ıa. Este estudio se llevado por
dos v´ıas. En primer lugar, se realiz´o un
an´alisis preliminar con un corpus balanceado de
1.000 tweets positivos y 1.000 tweets
negativos. Estos tweets fueron clasificados
manualmente por personal del laboratorio. En este
sentido, el corpus, no tiene tanta aceptaci´on
como el otro corpus. Los resultados de este
experimento se pueden consultar en
UMUTextStats, al igual que LIWC, tiene un sistema arbitrario de dimensiones. Para solucionar el problema, nos hemos puesto en contacto con lingu¨´ısticas de la Universidad de Murcia, para asesorarnos en establecer una mejor taxonom´ıa.
Adem´as, se est´a analizando cuando ciertas expresiones, como ”Nueva York ”deben de ser analizadas como una entidad u´nica o cuando las palabras que lo conforman deben de identificarse en otras categor´ıas. En este sentido, la palabra ”Nueva”no deber´ıa de contabilizar en otras categor´ıas como adjetivos. Sin embargo, si que hay casos donde las palabras si que deben de aparecer en distintas categor´ıas. Para solucionarlo, se ha planteado usar un sistema de reconocimiento de entidades nombradas para tratar estos elementos de manera aislada.
Sobre la herramienta de
UMUCorpusClassifier se pretende mejorar el sistema de tweets
duplicados. Durante los experimentos se han
detectado casos de tweets muy parecidos
donde s´olo se ha variado alguna coma o s´ımbolo
de puntuaci´on. Para esto, se han buscado
diferentes herramientas como la propuesta en
Este trabajo ha sido apoyado por la Agencia Estatal de Investigaci´on (AEI) y el Fondo Europeo de Desarrollo Regional (FEDER) a trav´es del proyecto KBS4FIA (TIN201676323-R)
Baccianella, S., A. Esuli, y F. Sebastiani. 2010. Sentiwordnet 3.0: an enhanced lexical resource for sentiment analysis and opinion mining. En Lrec, volumen 10, p´aginas 2200–2204.
Balahur, A. y M. Turchi. 2014. Comparative experiments using supervised learning and machine translation for multilingual sentiment analysis. Computer Speech & Language, 28(1):56–75.