Biomedicine is undergoing huge transformation thanks to the large amount of information stored digitally. Natural Language Processing has the potential to process, analyze and understand text. Our main objective is to use the recognition of medical entities to apply it in different areas of the PLN, in this way we will be able to achieve more powerful and accurate systems to make predictions. Currently, the existing resources and tools in Spanish are not sufficient, so we will study new methods to achieve this important challenge.
En el dominio biom´edico, la inteligencia artificial permite generar conocimiento y mejorar los servicios sanitarios a partir del tratamiento de informaci´on no estructurada que supone una parte importante de los datos que se recogen d´ıa a d´ıa en la pr´actica cl´ınica. La inteligencia artificial nos permite aprovechar mejor la informaci´on de salud y dar respuesta a los nuevos retos de registro, estructuraci´on y exploraci´on de la informaci´on.
Se han hecho esfuerzos considerables para aplicar las tecnolog´ıas de miner´ıa de texto a la literatura biom´edica y los registros cl´ınicos escritos en ingl´es, pero es cierto que tenemos carencias en cuanto a otros idiomas como el caso del espan˜ol. Por este motivo, el principal inconveniente que nos encontramos al querer abordar esta tarea es la carencia de corpus disponibles en idiomas distintos al ingl´es.
Esta tesis est´a enmarcada dentro del
a´rea del Procesamiento del Lenguaje
Natural (PLN) en lengua espan˜ola,
concretamente, aborda el estudio de una tarea muy
importante dentro de los Sistemas de
Recuperaci´on de Informaci´on (SRI), como es el
Reconocimiento de Entidades Nombradas (NER)
El principal objetivo de NER consiste en localizar y clasificar en categor´ıas predefinidas las entidades encontradas en el texto. Estas categor´ıas pueden variar dependiendo del dominio en el que se aplique. En el caso del dominio biom´edico podemos identificar secciones en texto referidas a enfermedades, medicamentos, s´ıntomas, patolog´ıas o incluso datos relacionados con pacientes como el nombre, fecha de nacimiento y localizaci´on.
El presente trabajo se centra en la
identificaci´on de conceptos m´edicos aplicados en
distintas ´areas del PLN como son la
clasificaci´on de documentos y la recuperaci´on de
informaci´on (IR por sus siglas en ingl´es). La
clasificacio´n autom´atica de texto consiste en
un conjunto de algoritmos, t´ecnicas y
sistemas capaces de asignar un documento a una
o varias categor´ıas o grupos de documentos
En cuanto a los problemas encontrados con el idioma, en los u´ltimos an˜os se han ido creando diferentes competiciones en congresos nacionales que facilitan la obtenci´on de datos para realizar estudios. El Plan de Impulso de las Tecnolog´ıas del Lenguaje (Plan TL)1 tiene como objetivo fomentar el desarrollo del PLN en lengua espan˜ola y lenguas cooficiales, por otro lado, la Secretar´ıa de Estado para el Avance Digital (SEAD) junto con el Consorcio Barcelona Supercomputing Center - Centro Nacional de Supercomputaci´on (BSC-CNS) trabajan concretamente para el ´area de biomedicina. 2
Para dar una visi´on general, en esta secci´on se proporcionar´a una breve descripci´on de los trabajos relacionados que existen hasta el momento.
En cuanto al reconocimiento de entidades nombradas se han disen˜ado distintas herramientas autom´aticas especializadas en el campo de la medicina haciendo uso del PLN, algunas de las m´as importantes se muestran a continuaci´on:
desarrollada por la Universidad de Nueva York enfocada en extraer s´ıntomas, medicamentos y efectos secundarios de documentos cl´ınicos.
MedLEE (Medical Language Extraction
and Encoding System)
llada por la NLM (National Library of
Medicine) y mapea en UMLS (Unified
Medical Language System)2 los t´erminos
m´edicos encontrados en el texto.
cTakes
cipalmente en la identificaci´on de entidades de medicamento.
Los sistemas con el uso de
caracter´ısticas aprovechan el conocimiento del dominio
biom´edico para mejorar la clasificaci´on de
textos cl´ınicos, Garla
En cuanto a los sistemas de recuperaci´on
de informaci´on (SRI) los enfoques
interactivos necesitan la intervenci´on del usuario para
refinar y afinar el comportamiento del
sistema a fin de obtener una mejor respuesta,
mejorando as´ı la relevancia de los elementos
recuperados. El sistema propuesto por Mourao
2https://www.nlm.nih.gov/research/umls/ 3http://www.snomed.org/
La presente tesis se encuentra en proceso de adaptaci´on y generaci´on de recursos para la consecuci´on de las tareas propuestas. El presente an˜o ha estado marcado por diferentes hitos y tareas propuestas por talleres y competiciones existentes en congresos tanto nacionales como internacionales en este ´area.
El congreso nacional m´as importante en el ´area del PLN es la Sociedad Espan˜ola para el Procesamiento del Lenguaje Natural (SEPLN), este congreso cuenta con un nuevo workshop llamado MEDDOCAN. Por otro lado, contamos con congresos internacionales que abordan la clasificaci´on y reconocimiento de entidades como son BioNLP, CLEF, ACL o TREC.
Todos estos congresos ayudan a seguir unas pautas para desarrollar sistemas, y posteriormente compararte con investigadores que trabajan en mismo campo de estudio. Desde otra perspectiva, estos talleres tambi´en aportan nuevas colecciones de texto relacionados con la biomedicina que servir´an de prueba para los sistemas. Es por este motivo, que decidimos participar en ellos y as´ı continuar avanzando.
En cuanto a la extracci´on de informaci´on participamos en el congreso Text REtrieval Conference (TREC). El objetivo de esta tarea era obtener documentos relevantes en ingl´es para diferentes consultas que los organizadores te proporcionaban. Las consultas estaban divididas en varios campos relacionados con c´anceres y genes. Nuestro objetivo fue obtener los primeros documentos con la consulta original y posteriormente rerankear esos documentos reconociendo entidades m´edicas en ellos (Lo´pez-Ubeda et al., ). Para la identificaci´on de conceptos m´edicos utilizamos la herramienta autom´atica descrita anteriormente llamada MetaMap.
Hemos abordado varias tareas para la clasificaci´on de documentos relacionados con la medicina. La primera fue en Conference and Labs of the Evaluation Forum (CLEF) concretamente la tarea eRisk: Early Detection of Signs of Anorexia; esta trataba de detectar de forma temprana signos de anorexia en textos extra´ıdos de la plataforma social llamada Reddit4, para llevar a cabo esta tarea modificamos la matriz de pesos Tf-Idf aportando informaci´on obtenida del reconocedor de entidades m´edicas MetaMap y de la representaci´on de palabras usando word embeddings. De este workshop naci´o la idea de generar un nuevo recurso en espan˜ol que estuviera a la disposici´on de la comunidad cient´ıfica para realizar experimentos y pruebas acerca de esta enfermedad. Se gener´o un nuevo corpus extra´ıdo de la red social Twitter para detectar problemas de anorexia en textos. Este corpus ha sido generado y presentado para el congreso internacional RANLP 2019 y est´a compuesto por 5707 tweets clasificados como anorexia y no-anorexia.
Otro workshop aplicando clasificaci´on de texto fue el Social Media Mining for Health Applications (SMM4H) en la tarea 1: Automatic classifications of adverse effects mentions in tweets, el objetivo fue una clasificaci´on binaria sobre textos en ingl´es. El sistema disen˜ado para ello era capaz de distinguir entre los tweets que informan de un Efecto Adverso (EA) y los que no. Para ello aplicamos diferentes estrategias de machine learning y deep learning utilizando redes neuronales convolucionales.
Para la tarea de NER hemos
participado en varios workshop. El primero de ellos
fue tambi´en en SMM4H y la tarea 2:
Extraction of Adverse Effect mentions, esta incluye
la identificaci´on de reacciones adversas a los
medicamentos (ADR) reportadas en el
texto escrito en ingl´es. Se utiliz´o machine
learning con Conditional Random Fields
En el congreso SEPLN, MEDDOCAN (Medical Document Anonymization) es la primera tarea dedicada espec´ıficamente a la anonimizaci´on de documentos m´edicos en espan˜ol. Dentro de esta tarea tambi´en hemos participado en varias sub-tareas, en la primera de ellas el objetivo era identificar entidades Protected Health Information (PHI) y asignarle una categor´ıa a cada entidad. La otra sub-tarea consist´ıa en identificar y ser capaz de enmascarar datos sensibles independientemente del tipo de entidad. Para ambas sub-tareas aplicamos el mismo m´etodo que consist´ıa en un enfoque h´ıbrido entre CRF y sistemas basados en reglas. Los resultados obtenidos han sido esperanzadores, alcanzando m´as del 90 % en ambas tareas.
Para finalizar, en el congreso internacional BioNLP, hemos participado en un nuevo workshop llamado PharmaCoNER (Pharmacological Substances, Compounds and proteins and Named Entity Recognition). Este workshop est´a dedicado al reconocimiento de qu´ımicos y medicamentos en textos m´edicos en espan˜ol y est´a compuesto por varias subtareas. Por un lado, aborda un problema de NER donde debemos encontrar la entidad nombrada junto con una etiqueta asociada; por otro lado, conlleva asignarle un c´odigo Snomed-CT a las entidades nombradas identificadas anteriormente. El resultado obtenido fue el esperado, en la primera sub-tarea se desarrollaron enfoques de machine learning y deep learning y le an˜adimos informaci´on adicional con la ayuda de la terminolog´ıa Snomed-CT, esto contribuy´o a los resultados ya que conseguimos detectar y anotar el 78 % de los conceptos. Para la segunda sub-tarea, se gener´o una arquitectura basada en diccionarios para encontrar el identificador de Snomed-CT m´as apropiado. 4
La metodolog´ıa de este trabajo se basa en el estudio del estado del arte de las distintas ´areas en las que estamos trabajando como son: la recuperaci´on de informaci´on, el reconocimiento de entidades nombradas y la clasificaci´on dentro del dominio biom´edico. Este estudio consistir´a en una revisi´on bibliogr´afica de ya lo existente, centr´andonos principalmente en el uso de las entidades nombradas m´edicas para enriquecer sistemas de clasificaci´on y de recuperaci´on de informaci´on.
Para la consecuci´on de la tarea de identificaci´on de conceptos m´edicos se crear´an nuevos sistemas basados en diccionarios, en reglas, en aprendizaje autom´atico o h´ıbridos.
En los sistemas basados en diccionarios es necesario partir de un vocabulario controlado, en el campo de la medicina contamos con ontolog´ıas, terminolog´ıas, diccionarios y lexicones. Algunos de los vocabularios m´as populares hasta el momento son UMLS, SnomedCT, ICD-10 (International Statistical Classification of Diseases) o MeSH (Medical Subject Headings)5. Con estos recursos conseguimos ir un paso m´as all´a, pudiendo mapear el concepto identificado en un c´odigo estandarizado.
Los m´etodos basados en diccionario
utilizan recursos terminol´ogicos existentes para
localizar ocurrencias de t´ermino dentro del
texto. Los sistemas basados en reglas
desarrollan patrones en el texto que describen
estructuras de nomenclatura comunes para
ciertos t´erminos, buscando indicios ortogr´aficos o
l´exicos, o caracter´ısticas m´as complejas como
las morfo-sint´acticas
Por otro lado, se estudiar´an los diferentes
m´etodos de aprendizaje autom´atico
Otra tarea a abordar ser´a el uso de
t´ecnicas novedosas con Modelos de Lenguaje. Los
modelos de lenguaje son el principal
problema para algunas tareas del Procesamiento
de Lenguaje Natural tales como los
sistemas conversacionales, generaci´on de textos
o resu´menes de textos. Pero tambi´en ha
sido aplicado a otros ´ambitos como la
identificaci´on de t´erminos. Un modelo de
lenguaje entrenado aprende la probabilidad de que
ocurra una palabra bas´andose en la secuencia
anterior de palabras usadas en el texto. Los
modelos de lenguaje pueden ser operados a
nivel de caracteres, a nivel de n-gramas, a
nivel de frases o incluso a nivel de p´arrafos. Un
ejemplo es el de Rizwan
Existen numerosos modelos de
lenguaje pre-entrenados actualmente como por
ejemplo: Embeddings from Language Models
(ELMo)
Finalmente, se realizar´a una experimentaci´on y evaluaci´on. Se probar´an los sistemas desarrollados para ver su efectividad, de esta manera, podremos comparar nuestros resultados. Los resultados logrados ser´a compartidos y se pondr´an a disposici´on de la comunidad cient´ıfica. 5
La clasificacio´n, recuperaci´on de informaci´on, anotaci´on e identificaci´on de entidades es un tema de inter´es en el PLN, nuestra intenci´on en este trabajo es discutir las siguientes aspectos para seguir profundizando en el estudio: ¿Es necesario la creaci´on de recursos para el NER m´edicas en espan˜ol? ¿Qu´e sistemas son los principalmente usados en el NER en el dominio biom´edico? ¿Basta utilizar los vocabularios controlados anteriormente mencionados para mejorar la clasificacio´n o la recuperaci´on de informaci´on? ¿Qu´e t´ecnicas se utilizan para enriquecer con los vocabularios m´edicos existes? ¿Qu´e otros recursos contribuyen a la consecuci´on del NER dentro del campo de la medicina? ¿Cu´anta informaci´on extra aporta el reconocimiento de entidades en el ´area de la clasificacio´n? ¿Y para la recuperaci´on de informaci´on?
Este trabajo est´a parcialmente subvencionado por el Fondo Europeo de Desarrollo Regional (FEDER), el proyecto LIVING-LANG (RTI2018-094653-B-C21) y el proyecto REDES (TIN2015-65136-C2-1-R) del Gobierno de Espan˜a.
Aronson, A. R. 2001. Effective mapping of biomedical text to the umls metathesaurus: the metamap program. En Proceedings of the AMIA Symposium, p´agina 17. American Medical Informatics Association.
Brown, P. F., P. V. Desouza, R. L. Mercer, V. J. D. Pietra, y J. C. Lai. 1992. Classbased n-gram models of natural language. Computational linguistics, 18(4):467–479.