This article describes the rst participation of the SINAI group in the Task 3. eHealth Knowledge Discovery Workshop at SEPLN. Our goal has been to develop a system for detecting medical entities in Spanish using Natural Language Processing techniques to nally classify terms into actions or concepts. For this, we have used the biomedical ontology UMLS as well as several lters to make the system more e cient. The results obtained have been satisfactory although the classi cation needs to be improved.
Hoy d a, la necesidad de tener un buen
sistema informatico para la extraccion de
informacion en informes medicos esta
teniendo gran importancia, pues los
datos contenidos en dichos documentos
son relevantes. Aunque existen diversas
herramientas y estudios que realizan
deteccion de conceptos biomedicos
La clasi cacion de entidades es una tecnica englobada dentro del Procesamiento del Lenguaje Natural (PLN) que sirve para asignar un topico o categor a de forma automatica a cualquier entidad detectada en un texto.
La nueva tarea llamada Task 3: eHealth
Knowledge Discovery que nos propone el
Taller de Analisis Semantico de la Sociedad
Espan~ola para el Procesamiento del Lenguaje
Natural (TASS) no ha sido incluida en an~os
anteriores
Esta inspirada en tareas como Semeval-2017
Task 10: ScienceIE
Copyright © 2018 by the paper's authors. Copying permitted for private and academic purposes.
Los documentos usados para esta tarea
se han obtenido de MedlinePlus1 y han sido
tratados manualmente para esta tarea, tal y
como se describe en el art culo resumen del
TASS
Este art culo explica nuestra participacion en la tarea en las siguientes tres secciones: en la Seccion 2 se describe el funcionamiento del sistema, a continuacion, en la Seccion 3 se muestra los resultados obtenidos y para nalizar, exponemos las conclusiones y trabajos futuros en la Seccion 4. 2
Para nuestra primera participacion en esta tarea, hemos disen~ado un sistema sencillo que realiza un analisis morfologico para detectar ((acciones)) y ((conceptos)), tal y como se muestra en la Figura 1. Posteriormente, utiliza una base de conocimiento biomedica para reconocer entidades medicas y nalmente aplica varios ltros para eliminar falsos positivos.
Documentos
Análisis morfológico «acciones»
«conceptos» Filtro
Reconocedor de entidades
Filtro Resultados UMLS
Figura 1: Arquitectura del sistema.
En las siguientes subsecciones se describen con mas detalle cada parte del sistema. 2.1
Para el desarrollo del sistema utilizamos el analizador sintactico incluido en la herramienta CoreNLP desarrollada por la
Universidad de Stanford para el espan~ol
Con esta herramienta realizamos una separacion entre verbos y no verbos. Siendo los verbos etiquetados como posible ((accion)) y todo lo demas sera analizado posteriormente para encontrar posibles ((conceptos)). Esta separacion nos permite realizar un analisis distinto para cada tipo de entidad que queremos detectar.
Deteccion de acciones Al realizar un estudio exhaustivo de los datos de test ofrecidos por la organizacion, se ha comprobado que las acciones compuestas por per frasis verbales, solo tienen marcado el verbo de la accion principal, obviandose el verbo auxiliar. Entre ellos, vemos diferentes conjugaciones de los verbos \poder", \haber", \soler", etc. Observamos que la mayor a son per frasis de in nitivo, como por ejemplo: \pueden sufrir" o \debe hablar".
Tras ello y para llegar a realizar un sistema mas e caz, hemos obviado los siguientes verbos y sus respectivas conjugaciones: estar, deber, poder, soler. 2.2 Reconocedor de conceptos con
UMLS
En esta seccion, presentamos la herramienta
creada para conseguir detectar ((conceptos))
en el texto. Esta herramienta reconoce
terminos biomedicos basado en Uni ed
Medical Languaje System (UMLS)
El sistema utiliza PLN tanto en el texto de entrada como en texto de los conceptos del diccionario UMLS y busca los conceptos con mayor porcentaje de terminos contenidos en el texto de entrada. El sistema realiza los pasos siguientes: 1. Normalizar: realizamos una normalizacion en el texto quitando acentos y signos de puntuacion, utilizando para ello la Forma de Normalizacion de Descomposicion Canonica (NFD - Normalization Form canonical Decomposition)(Atkin, 2005). 2. Separar terminos: el separador utilizado para esta tarea es WordPunctTokenizer de Python Natural Language Toolkit (NLTK)2. 3. Extraer ra ces: el algoritmo usado para obtener la ra z de las palabras en espan~ol es SnowballStemmer3.
El identi cador de entidades medicas automatico devuelve 10 resultados, cada uno de ellos compuesto por: el concepto detectado en la frase, el codigo UMLS asociado y el porcentaje de concordancia con el texto. Dicho porcentaje de concordancia se calcula en funcion del numero de palabras del concepto UMLS que se pueden encontrar en la frase. En la Figura 2 podemos ver un ejemplo de los conceptos detectados para la frase \s ntomas de las mujeres". Tanto concepto \s ntoma" como el concepto \Mujeres" se encuentran completos dentro de la frase, por lo que el sistema devuelve el 100 % de acuerdo para ambos. Sin embargo, para el resultado 3 (\Salud de las Mujeres") que esta compuesto por 4 palabras, solo 3 de ellas se encuentran en la frase de busqueda por lo que el sistema devuelve una coincidencia del 75 %.
s ntomas de las mujeres
----------
----------
----------
Figura 2: Ejemplo de resultados obtenidos con el reconocedor automatico.
2https://www.nltk.org/ 3https://snowballstem.org/ 2.3
Posteriormente, intentamos localizar conceptos multipalabra utilizando la lista de etiquetado gramatical obtenida en la Seccion 2.1 y el reconocedor de la Seccion 2.2. Para ello buscamos sentencias que comiencen y acaben en sustantivo o adjetivo sin que esa frase contenga un verbo en su interior. De esta manera, intentaremos identi car conceptos en frases como: \personas con enfermedad" o \adultos de mayor edad", pero no buscaremos frases como las siguientes: \nin~os tienen enfermedades" o \paciente no toma aspirina".
Tras analizar las frases convenientes en nuestro sistema, calculamos una nueva metrica basada en numero de palabras y numero de stop-word contenidas tanto en la frase de entrada como en el concepto devuelto por el sistema basado en UMLS.
M = (T R
SW R)=(T I
SW I) (1) donde:
T R es el numero de terminos reconocidos por el sistema de deteccion.
SW R es el numero de stop-words recocidas por el sistema de deteccion. T I es el numero de terminos introducidos para buscar dentro del sistema.
SW I es el numero de stop-words introducidas para buscar dentro del sistema.
Finalmente, se comprueba: (1) que el concepto detectado contiene mas de una palabra y (2) que la metrica M (de nida en la formula 1) sea menor estricta que el porcentaje de acierto que devuelve el sistema, si es as , la frase introducida sera valida para etiquetarla como concepto.
En la Figura 3 se muestran algunos ejemplos del calculo de la metrica M para nalmente concluir si es un concepto valido o no lo es. Por ejemplo, para la frase \v as urinarias" el primer resultado no es satisfactorio puesto que el concepto devuelto contiene un unico termino, en cambio, el resultado 2, si es un concepto valido puesto que es multipalabra y ademas satisface que el valor de coincidencia 1 y es igual a (2-0)/(2-0) de la formula 1. Por otro lado, el ultimo ejemplo, el concepto \sin dolor genitourinario" cumple la condicion de ser multipalabra pero no satisface que 0.66 sea mayor o igual que (3-1)/(3-1).
----------
----------
----------
----------
Figura 3: Ejemplos de valores obtenidos en la deteccion de multipalabras.
En la Figura 4 mostramos el resultado en las distintas subtareas despues de haber utilizando el reconocedor multipalabra. 3
La tarea 3 del TASS esta compuesta por varias subtareas4: 1. Subtarea A: Identi cacion de frases
clave. 2. Subtarea B: Clasi cacion de frases clave. 3. Subtarea C: Determinacion de relaciones semanticas.
La organizacion propon a poder participar en los siguientes escenario por subtareas: A-B-C, B-C y C. Nuestro grupo SINAI ha participado en dos de los escenarios propuestos: A-B-C y B-C. Para ambos escenarios se implementaron todas las demas funcionalidades explicadas en la Seccion 2 ademas de utilizar el baseline desarrollado por la organizacion5.
Los resultados obtenidos se muestran en la Tabla 1.
Round Precision
Recall A-B-C B-C
La medidas de evaluacion propuestas por la organizacion son: precision, cobertura y F1. Con la precision, podemos observar que alcanzamos clasi cando en torno al 85 % y 90 %, aunque decaemos en la exhaustividad por lo que en la medida Micro F1 nos penaliza estos errores.
La media del F1 nal ha sido de 0,461 ya que no hemos participado en el escenario C y con ello, no hemos podido ponderar esa parte obteniendo nalmente este bajo resultado. 4
Conclusiones y trabajos futuros En este trabajo, el grupo SINAI presenta su primera participacion a la tarea 3 del TASS. En nuestra aproximacion hemos realizado un sencillo analisis del texto proporcionado, adaptando los resultados de diversas herramientas a los resultados esperados. Como novedad, hemos creado una metrica que ayuda a nuestro sistema a seleccionar aquellos conceptos de UMLS mas importantes en el texto. Dicha metrica es sencilla de implementar y rapida en su ejecucion, por lo que permite tener un detector de entidades biomedicas con una e ciencia moderada y un gran rendimiento.
En el ranking nal expuesto por los organizadores, nuestro grupo ha quedado en segunda posicion aunque no hemos llegado a participar en el escenario C y por ello se obtuvieron resultados no muy altos.
Para proximas ediciones pretendemos nalizar un nuevo sistema, el cual nos 4http://www.sepln.org/workshops/tass/2018/task-3/ 5https://github.com/TASS18-Task3/data
Figura 4: Ejemplo frase anotada para el escenario A-B-C permita participar en el escenario C utilizando las relaciones entre conceptos existentes en UMLS. Sin embargo, nuestro principal objetivo consiste en mejorar el reconocedor automatico de entidades biomedicas en espan~ol, incluyendo nuevas metricas que nos permitan mejorar la precision en la deteccion de multipalabras.
Pretendemos entrenar un sistemas de aprendizaje automatico para que nos permita combinar dichas metricas de la mejor forma posible.
Este trabajo esta parcialmente subvencionado por el Fondo Europeo de Desarrollo Regional (FEDER) y el proyecto REDES (TIN2015-65136-C2-1-R) del Gobierno de Espan~a.
Allones, Jose Lu s, Diego Mart nez, y Maria Taboada. 2014. Automated mapping of clinical terms into snomed-ct. an application to codify procedures in pathology. J. Medical Systems, 38(10):134.
Aronson, Alan R. 2001. E ective mapping of biomedical text to the umls metathesaurus: the metamap program. En Proceedings of AMIA, pagina 17. American Medical Informatics Association.
Atkin, Steven Edward. 2005.
normalization for text, Abril 19.
Patent 6,883,007.
Meta
US 2018: Opinions, health and emotions. En Eugenio Mart nez-Camara Yudivian Almeida Cruz Manuel C. D az-Galiano Suilan Estevez Velarde Miguel A. Garc a-Cumbreras Manuel Garc a-Vega Yoan Gutierrez Vazquez Arturo Montejo Raez Andre Montoyo Guijarro Rafael Mun~oz Guillena Alejandro Piad Mor s, y Julio Villena-Roman, editores, Proceedings of TASS 2018: Workshop on Semantic Analysis at SEPLN (TASS 2018), volumen 2172 de CEUR Workshop Proceedings, Sevilla, Spain, September. CEUR-WS.