Reconocimiento y Clasicacin de Entidades Nombradas independiente de la lengua y el dominio mediante perles

Abstract

Named Entity Recognition and Classication (NERC) is a prerequisite to many natural language processing applications. Nevertheless, the adaptation of NERC systems is usually expensive given that most of them only work appropriately on the scenario for which they were created. Therefore, the main purpose of this thesis is to research, analyse and develop an adaptable system, named CARMEN, for NERC through proles and supervised machine learning. Attention would be focused on CARMEN being domain and language independent so as to achieve similar results, using the same method, regardless of the training corpus utilised.

-

Desde hace tiempo estamos en la era de la informacin digital y, aunque esta crece sin descanso, nuestra habilidad para explotarla y procesarla continoea constante (Bendov y Feldman, 2010) . Desde esta perspectiva, el Procesamiento del Lenguaje Natural (PLN) investiga y formula mecanismos computacionales para facilitar la interrelacin hombre-mÆquina por medio del lenguaje natural, en lugar de otros lenguajes mÆs formales y restrictivos, sin perder efectividad (Manaris, 1998; Moreno et al., 1999) . MÆs concretamente, las tØcnicas de Extraccin de Informacin (EI) procesan texto para detectar la informacin textual explcita de interØs y convertirla a un formato fÆcilmente comprensible por las mÆquinas, tambiØn conocido como estructurado (Ben-dov y Feldman, 2010) .

Una de las tareas que lleva a cabo la EI es el Reconocimiento y la Clasicacin de Entidades Nombradas (RCEN) (Nadeau y Sekine, 2007; Marrero et al., 2013) , que tiene dos objetivos diferenciados. Primero, identicar las menciones de nombres propios en un texto, lo que se conoce como la fase de reconocimiento (REN). Segundo, asignar una categora, de entre un conjunto predeterminado, a cada una de las entidades previamente reconocidas, llamada fase de clasicacin (CEN). Ambos objetivos pueden abordarse de manera conjunta o separada.

Los sistemas RCEN juegan un papel importante en muchas aplicaciones que procesan informacin textual. La razn es que el RCEN es un prerrequisito para diversas tareas como: la minera de opiniones (Ding, Liu, y Zhang, 2009; Jin, Hay Ho, y Srihari, 2009) , la generacin automÆtica de resoemenes (Fuentes y Rodrguez, 2002; Alcn y Lloret, 2015) , la generacin de lenguaje natural (Vicente y Lloret, 2016) , los sistemas de boesqueda de respuestas (Peregrino, TomÆs, y Pascual, 2012; Lee, Hwang, y Jang, 2007; Lee et al., 2006) o los sistemas de recuperacin de informacin (Guo et al., 2009; Chen, Ding, y Tsai, 1998) , entre otras aplicaciones.

A pesar de que los sistemas RCEN son de uso comoen, su utilizacin no siempre es directa. La mayora de sistemas RCEN fueron desarrollados ad-hoc para un dominio1 concreto, con requisitos especcos y, a su vez, un conjunto reducido de tipos de entidades de interØs en ese dominio. Como resultado, cuando se quiere portar una herramienta RCEN a otro dominio, con otros requisitos y un conjunto diferente de entidades, se requiere un esfuerzo considerable para que funcione adecuadamente (Marrero et al., 2013) .

AdemÆs, el RCEN estÆ condicionado por la lengua para la que se desarrollan los sistemas. La mayora de herramientas se construyen para un corpus especco y, como consecuencia, existe una dependencia de la lengua de dicho corpus. La adaptacin de un RCEN a un nuevo idioma no siempre es posible por tres razones principales: (i) estos sistemas RCEN suelen necesitar de herramientas de anÆlisis lingstico que no siempre estÆn disponibles para todos los idiomas (Indurkhya, 2014) ; (ii) el RCEN depende comoenmente de otros recursos (como diccionarios) que varan entre lenguas (Marrero et al., 2013) , si es que existen; y (iii) cada idioma supone retos diferentes que pueden afectar al rendimiento del RCEN, como se observ en (Tjong Kim Sang, 2002; Sang y De Meulder, 2003) .

Por ello, el presente proyecto de tesis se centrarÆ en analizar, proponer y desarrollar un sistema RCEN, llamado CARMEN, basado en perles que emplearÆ aprendizaje automÆtico supervisado. Se buscarÆ que dicho sistema sea independiente del dominio y de la lengua para, con el mismo mØtodo, conseguir resultados similares sin importar el corpus de entrenamiento utilizado. 2

Trabajo relacionado

Hace mÆs de dos dØcadas que fue acuaeado el tØrmino Entidad Nombrada (EN) en la sex1En esta tesis se entiende por dominio al tpico o Ærea de interØs de un corpus, como pueden ser el dominio mØdico o el educativo. ta conferencia Message Understanding Conference (MUC). En ella el objetivo era la RCEN de personas, organizaciones, lugares as como expresiones numØricas de tiempo y cantidad (Grishman y Sundheim, 1996) . Desde entonces, diversos foros de PLN han seguido sus pasos, promocionando tareas para evaluar sistemas RCEN (Tjong Kim Sang, 2002; Sang y De Meulder, 2003; Uzuner, Solti, y Cadag, 2010; Segura-Bedmar, Martnez, y Herrero-Zazo, 2013; Ji, Nothman, y Hachey, 2014; Pradhan et al., 2014; Elhadad et al., 2015; Ji, Nothman, y Hachey, 2015) .

Se observan dos patrones en el foco de las mismas: (i) un dominio y moeltiples idiomas (Tjong Kim Sang, 2002; Sang y De Meulder, 2003; Ji, Nothman, y Hachey, 2014; Ji, Nothman, y Hachey, 2015) ; o (ii) un dominio restringido y un solo idioma (Uzuner, Solti, y Cadag, 2010; Segura-Bedmar, Martnez, y Herrero-Zazo, 2013; Pradhan et al., 2014; Elhadad et al., 2015) .

Un ejemplo del primer caso lo encontramos en la conferencia CoNLL, donde se organizaron dos competiciones (Tjong Kim Sang, 2002; Sang y De Meulder, 2003) para tratar el RCEN en noticias de peridicos en inglØs, holandØs, castellano y alemÆn. En ambas ediciones, los sistemas obtuvieron diferentes resultados en cada idioma. Por ejemplo, el mejor sistema de cada edicin tuvo una diferencia de al menos 15 puntos en la F1 global, por lo que es discutible que sean completamente independientes del idioma. MÆs recientemente se han investigado otras aproximaciones RCEN multilinges (Konkol et al., 2015; Agerri y Rigau, 2016) , donde tambiØn se observan diferentes resultados en cada uno de los idiomas (aproximadamente 15 puntos de F1 global).

Respecto al oeltimo caso, un ejemplo de competicin centrada en un dominio restringido y un idioma es el DDIExtraction 2013 (Segura-Bedmar, Martnez, y HerreroZazo, 2013) , organizado dentro del taller internacional SemEval. Uno de sus objetivos principales es el RCEN en dos fuentes mØdicas de informacin textual (DrugBank y MedLine). TambiØn en este caso los participantes obtuvieron resultados diferentes segoen la fuente (al menos 20 puntos en la F1 global).

Fuera de estos marcos de evaluacin y la multilingualidad, Tkachenko y Simanovsky (2012) diseaean un RCEN y experimentan con varios gØneros textuales presentes en el corpus OntoNotes. Kitoogo y Baryamureeba (2008 ) denen un RCEN que se prob en dos dominios (general y legislativo): entrenando en el dominio general (Sang y De Meulder, 2003) y evaluando en el legislativo, y viceversa. Ambos trabajos obtienen una diferencia de al menos 20 puntos en la F1 global cuando cambian de dominio o gØnero.

Aunque vemos que se han hecho progresos considerables en el RCEN, los resultados de las investigaciones ponen de maniesto que los sistemas no han mostrado un rendimiento ptimo cuando cambia el idioma o el dominio, as como la fuente o el gØnero textual. 3

Propuesta de investigacin

Dado este panorama general, esta tesis doctoral plantea como objetivo la investigacin, anÆlisis y desarrollo de un sistema adaptable para el RCEN, llamado CARMEN. La atencin se centrarÆ, sobre todo, en que CARMEN proporcione salidas consistentes aun cuando cambie el dominio o la fuente o el gØnero o el idioma del corpus de entrenamiento.

Por tanto, la hiptesis de partida es que el desarrollo de un sistema RCEN basado en perles con aprendizaje automÆtico, redunda en herramientas con mnima adaptacin, evitando las diferencias observadas en los resultados actuales en relacin a dependencias del dominio o de la lengua. En cuanto a la dependencia del dominio, concretamente, nos planteamos el estudio de nuestra aproximacin en al menos dos dominios: (i) general, que representa necesidades de informacin comunes; y (ii) farmacoterapØutico, que representa necesidades de informacin especcas durante la atencin sanitaria. Ambos dominios son altamente representativos en cuanto a gØneros textuales, idiomas y entidades nombradas. Por tanto, estos dominios permiten denir un escenario de evaluacin apropiado para conrmar nuestra hiptesis y denir objetivos especcos: O1 Realizar un estado de la cuestin, sistemÆtico y exhaustivo, para detectar las limitaciones tanto de las aproximaciones para RCEN como de los corpus existentes, al menos, en dos dominios: general y farmacoterapØutico.

O2 Analizar las entidades nombradas relevantes en el dominio farmacoterapØutico y crear un corpus en espaaeol para el

RCEN en este dominio, as como evaluar

la calidad del recurso generado.

O3 Diseaear e implementar nuevas tØcnicas de RCEN que permitan solventar alguna de las limitaciones de las aproximaciones encontradas en el estado de la cuestin:

O3.1 diseaear nuevas tØcnicas de REN,

O3.2 diseaear nuevas tØcnicas de CEN, y O3.3 diseaear nuevas tØcnicas de desambiguacin de entidades con respecto a bases de conocimiento y las relaciones entre las mismas.

O4 Diseaear y analizar experimentos para evaluar el resultado del objetivo O3, en al menos dos dominios y dos lenguas, realizando para ello una evaluacin intrnseca y extrnseca, basada en mØtodos cuantitativos y cualitativos. 4

Metodologa y experimentos

Con el n de demostrar la hiptesis y los objetivos presentados en la seccin anterior, hasta ahora hemos llevado a cabo tres grandes tareas:

Primero, la creacin del corpus DrugSemantics para el RCEN en el dominio farmacoterapØutico ha concluido con la creacin de un gold standard, siguiendo la metodologa descrita en (Moreno et al., 2017) .

Segundo, la implementacin de un RCEN, llamado MaNER, basado en lexicones especcos del dominio mØdico (Moreno, Moreda, y RomÆ-Ferri, 2012; Moreno, Moreda, y RomÆFerri, 2015; Moreno, Moreda, y RomÆ-Ferri, 2015; Moreno et al., 2017) , que sirvi de apoyo en la construccin de un gold standard de calidad.

Tercero, el desarrollo del mdulo CEN basado en perles del sistema CARMEN, que emplea aprendizaje automÆtico supervisado y cuyas caractersticas incluyen informacin local a la entidad (ajos, longitud y la propia entidad) as como informacin de contexto en una ventana. El contexto se consigue mediante perles generados para cada una de las entidades. Los resultados de diversos experimentos nos han permitido estudiar diferentes parÆmetros en corpus de diferentes dominios (Moreno, RomÆ-Ferri, y Moreda, 2017d) , as como su rendimiento (Moreno, Moreda, y RomÆ-Ferri, 2016; Moreno, RomÆ-Ferri, y Moreda, 2017b; Moreno, RomÆ-Ferri, y Moreda, 2017c) . AdemÆs, estamos experimentando en varios idiomas (Moreno, RomÆ-Ferri, y Moreda, 2017a) . 5 tir:

Elementos especcos para discusin

Siendo el RCEN un tema de gran interØs en el PLN, queremos intercambiar experiencias para orientar nuestra investigacin.

En concreto, son dos los intereses a debanuestra prxima tarea, la REN, as como las diferentes tØcnicas, caractersticas y herramientas que permitiran construir este mdulo independiente del dominio y la lengua. posibles escenarios y experimentos que nos permitan reforzar nuestra hiptesis.

Agradecimientos

Esta investigacin ha sido nanciada parcialmente por el Gobierno Espaaeol (TIN2015-65100-R y TIN2015-65136-C22-R) , la Generalitat Valenciana (PROMETEOII/2014/001), la Universidad de Alicante (GRE16-01: Plataforma inteligente para recuperacin, anÆlisis y representacin de la informacin generada por usuarios en Internet) y las Ayudas Fundacin BBVA a equipos de investigacin cientca 2016 (ASAP - AnÆlisis de Sentimientos Aplicado a la Prevencin del Suicidio en las Redes Sociales).

References

Agerri , R. y G. Rigau . 2016 . Robust multilingual Named Entity Recognition with shallow semi-supervised features . Articial Intelligence , 238 : 6382 .

Alcn , . y E. Lloret . 2015 . Estudio de la inuencia de incorporar conocimiento lØxicosemÆntico a la tØcnica de AnÆlisis de Componentes Principales para la generacin de resoemenes multilinges . LinguamÆtica , 7 ( 1 ): 53 63 , Julio.

Ben-dov , M. y R. Feldman . 2010 . Text Mining and Information Extraction. En O. Maimon y L. Rokach, editores, Data Mining and Knowledge Discovery Handbook . Springer US, Boston, MA, 2nd edicin, captulo 42 , pÆginas 809835.

Chen , H., Y. Ding, y S. Tsai . 1998 . Named Entity Extraction for Information Retrieval . En COMPUTER PROCESSING OF ORIENTAL LANGUAGES, volumen 11.

Ding , X. , B. Liu, y L. Zhang . 2009 . Entity Discovery and Assignment for Opinion Mining Applications . En Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining , pÆginas 11251134.

Elhadad , N., S. Pradhan , S. L. Gorman , S. Manandhar , W. W. Chapman, y G. Savova. 2015 . SemEval-2015 Task 14 : Analysis of Clinical Text. Proceedings of the 9th International Workshop on Semantic Evaluation , pÆginas 303310 .

Fuentes , M. y H. Rodrguez . 2002 . Using cohesive properties of text for automatic summarization . En Actas de las Jornadas de tratamiento y recuperacin de la informacin (Jotri' 2002 ) .

Grishman , R. y B. Sundheim . 1996 . Message understanding conference-6: A brief history . En Proceedings of the 16th Conference on Computational Linguistics - Volume 1 , COLING ' 96 , pÆginas 466471, Stroudsburg , PA, USA. Association for Computational Linguistics.

Guo , J. , G. Xu , X. Cheng, y H. Li . 2009 . Named Entity Recognition in Query . En Proceedings of the 32nd international ACM SIGIR conference on Research and development in information retrieval, pÆginas 267274 , Boston, Massachusetts, USA.

Indurkhya , N. 2014 . Natural Language Processing . En T. Gonzalez J. Daz-Herrera, y A. Tucker, editores, Computing Handbook, Third Edition: Computer Science and Software Engineering. CRC Press, captulo 40 , pÆginas 40 : 117 .

Ji , H. , J. Nothman, y B. Hachey . 2014 . Overview of TAC-KBP2014 Entity Discovery and Linking Tasks . En Proceedings of Text Analysis Conference.

Ji , H. , J. Nothman, y B. Hachey . 2015 . Overview of TAC-KBP2015 Entity Discovery and Linking Tasks . En Proceedings of Text Analysis Conference 2015 .

Jin , W. , H. Hay Ho, y R. K. Srihari . 2009 . OpinionMiner: A Novel Machine Learning System for Web Opinion Mining and Extraction . En Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, pÆginas 11951204 , Paris, France.

Kitoogo , F. y V. Baryamureeba . 2008 . Towards domain independent named entity recognition. En Strengthening the Role of ICT in Development, volumen IV . Fountain publishers, pÆginas 84 95.

Konkol , M. , T. Brychcn , Konop, y M. K. 2015 . Latent semantics in Named Entity Recognition . Expert Systems with Applications , 42 ( 7 ): 34703479 .

Lee , C. , Y.-G. Hwang, y M. - G. Jang. 2007 . Fine-Grained Named Entity Recognition and Relation Extraction for Question Answering . En Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval , pÆginas 799800 , Amsterdam, The Netherlands.

Lee , C. -H., Y. G. Hwang , H. J. Oh , S. Lim , J. Heo , C. H. Lee , H. J. Kim , J. H. Wang , y M. G. Jang . 2006 . Fine-grained Named Entity Recognition using Conditional Random Fields for Question Answering . En Information Retrieval Technololgy, Proceedings , volumen 4182 . Springer, Berlin, Heidelberg, pÆginas 581587 .

Manaris , B. 1998 . Natural Language Processing: A Human-Computer Interaction Perspective . En Advances in Computers , volumen 47. pÆ- ginas 166.

Marrero , M. , J. Urbano , S. SÆnchez-Cuadrado , J. Morato, y J. M. Gmez-Berbs . 2013 . Named Entity Recognition: Fallacies, challenges and opportunities . Computer Standards and Interfaces , 35 ( 5 ): 482489 .

Moreno , I. , E. Boldrini, P. Moreda, y M. T. RomÆ-Ferri. 2017 . Drugsemantics: A corpus for named entity recognition in spanish summaries of product characteristics . Journal of Biomedical Informatics , 72 : 8 22.

Moreno , I. , P. Moreda, y M. T. RomÆ-Ferri. 2016 . An active ingredients entity recogniser system based on proles . En 21st International Conference on Applications of Natural Language to Information Systems , volumen 9612 de LNCS, pÆginas 276284 , Salford. Springer.

Moreno , I. , P. Moreda, y M. T. RomÆ-Ferri. 2015 . Estudio de abilidad y viabilidad de la Web 2 . 0 y la Web semÆntica para enriquecer lexicones en el dominio farmacolgico . Procesamiento del Lenguaje Natural , 55 : 6572 .

Moreno , I. , P. Moreda, y M. RomÆ-Ferri . 2012 . Reconocimiento de entidades nombradas en dominios restringidos . En Actas del III Workshop en Tecnologas de la InformÆtica . pÆginas 4157.

Moreno , I. , P. Moreda, y M. RomÆ-Ferri . 2015 . MaNER: a MedicAl Named Entity Recogniser for Spanish . En 20th International Conference on Applications of Natural Language to Information Systems , volumen 9103 de LNCS, pÆginas 418423 , Passau. Springer.

Moreno , I. , M. T. RomÆ-Ferri, y P. Moreda . 2017a. Language independent proposal to prole-based named entity classication . En The First Workshop on Multi-Language Processing in a Globalising World , pÆginas 2130 , Dublin.

Moreno , I. , M. T. RomÆ-Ferri, y P. Moreda . 2017b. Named entity classication based on proles: A domain independent approach . En 22nd International Conference on Applications of Natural Language to Information Systems , volumen 10260 de LNCS, pÆginas 142 146, Lieja. Springer.

Moreno , I. , M. T. RomÆ-Ferri, y P. Moreda . 2017c. Propuesta de un sistema de clasicacin de entidades basado en perles e independiente del dominio . Procesamiento del Lenguaje Natural , 59 .

Moreno , I. , M. RomÆ-Ferri, y P. Moreda . 2017d . A domain and language independent named entity classication approach based on proles and local information . En Recent Advances in Natural Language Processing , pÆginas 510 518 , Varna (To appear).

Moreno , L. , M. Palomar , A . Molina, y A. FernÆndez . 1999 . Introduccin al procesamiento del lenguaje natural . Publicaciones Universidad de Alicante.

Nadeau , D. y S. Sekine . 2007 . A survey of named entity recognition and classication . Lingvisticae Investigationes , 30 ( 1 ):326, jan.

Peregrino , F. S. , D. TomÆs, y F. L. Pascual . 2012 . Question Answering and Multi-search Engines in Geo-Temporal Information Retrieval . En A. Gelbukh, editor, Computational Linguistics and Intelligent Text Processing: 13th International Conference, CICLing 2012 , New Delhi, India, March 11 -17, 2012 , Proceedings, Part II. Springer, Berlin, Heidelberg, pÆginas 342 352 .

Pradhan , S. , N. Elhadad , W. W. Chapman , S. Manandhar, y G. Savova. 2014 . SemEval2014 Task 7: Analysis of Clinical Text . pÆginas 5462.

Sang , E. F. T. K. y F. De Meulder . 2003 . Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition . Proceedings of the 7th Conference on Natural Language Learning , pÆginas 142147 .

Segura-Bedmar , I. , P. Martnez, y M. HerreroZazo . 2013 . SemEval -2013 Task 9: Extraction of Drug-Drug Interactions from Biomedical Texts (DDIExtraction 2013 ). En Proceedings of the 7th International Workshop on Semantic Evaluation , pÆginas 341350 .

Tjong Kim Sang , E. F. 2002 . Introduction to the CoNLL-2002 shared task . En Proceeding of the 6th Conference on Natural Language Learning.

Tkachenko , M. y A. Simanovsky . 2012 . Selecting Features for Domain-Independent Named Entity Recognition . En Proceedings of KONVENS 2012 , pÆginas 248253.

Uzuner , O. , I. Solti, y E. Cadag . 2010 . Extracting medication information from clinical text . Journal of the American Medical Informatics Association , 17 ( 5 ): 5148 .

Vicente , M. y E. Lloret . 2016 . Exploring Flexibility in Natural Language Generation throughout Discursive Analysis of New Textual Genres . Proceedings of the 2nd International Workshop Future and Emerging Trends in Language Technologies, Machine Learning and Big Data (FETLT) .