<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta>
      <journal-title-group>
        <journal-title>Enabling technology for knowledge sharing.
AI magazine</journal-title>
      </journal-title-group>
    </journal-meta>
    <article-meta>
      <title-group>
        <article-title>Integracio´n de Conocimiento para la Mejora de Sistemas de Recuperaci´on de Informacio´n</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Pilar L´opez U´ beda Sinai Group</string-name>
          <email>plubeda@ujaen.es</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Universidad de Ja ́en Campus Las Lagunillas</institution>
          <addr-line>s/n. E-23071</addr-line>
        </aff>
      </contrib-group>
      <pub-date>
        <year>1991</year>
      </pub-date>
      <volume>12</volume>
      <issue>3</issue>
      <fpage>31</fpage>
      <lpage>36</lpage>
      <abstract>
        <p>Over time, the exchange and management of information is becoming more important, especially in the biomedical field. These documents contain relevant information on symptoms, diseases, allergies, etc. For this reason, we need systems to be able to process this information properly. This work is framed within the area of Natural Language Processing in Spanish language, specifically, the study of a very important task within the Information Retrieval Systems, such as the Named Entities Recognition and the knowledege integration from external sources. In our case, we will propose the identification and classification of medical concepts in clinical reports by studying dictionaries and ontologies in the biomedical domain and different languages, algorithms and existing resources. Finally, we will create new systems to later test them and make them available to the scientific community.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>Unos de los retos tecnol´ogicos que se
plantean en esta tesis es la exploraci´on
de la Web Sem´antica haciendo uso de
herramientas y recursos de Procesamiento
del Lenguaje Natural (PLN). El objetivo
es entender autom´aticamente el lenguaje
humano apoy´andonos en la inteligencia
artificial. Se centrar´a concretamente en la
bu´squeda y recuperacio´n de informacio´n para
poder obtener respuestas completas, correctas
y oportunas a las necesidades de informacio´n
de los usuarios.</p>
      <p>Se hace necesario el uso de herramientas
que faciliten el acceso y recuperaci´on de
datos, de ah´ı nacen los llamados sistemas
de recuperaci´on de informaci´on. Un Sistema
de Recuperaci´on de Informaci´on (SRI) se
puede definir como un proceso capaz de
almacenar, recuperar y mantener informacio´n
(Kowalski, 2007). Estos sistemas ampl´ıan
el espectro de cobertura en la bu´squeda
a partir de bases de datos documentales,
adema´s de poder incorporar diversos m´etodos
para el ordenamiento de los documentos que
mejoren la relevancia de los resultados para
el usuario. Dentro de los SRI la gesti´on
de informes m´edicos est´a obteniendo gran
importancia, pues los datos contenidos en
dichos informes son relevantes tanto para
los enfermos como para los especialistas en
medicina. Los informes cl´ınicos contienen
informaci´on sobre el paciente, medicaci´on,
resultados de an´alisis, diagn´osticos, dosis,
etc. Manteniendo esa informacio´n digitalizada
obtenemos grandes ventajas, se reduce el
tiempo de trabajo del personal de salud y se
mejora la calidad de la atenci´on entre otros.</p>
      <p>El cumplimiento de ciertas normas
necesarias para desarrollar de manera
coherente la recuperaci´on de contenidos
web supone la creaci´on de ontolog´ıas
sobre el dominio o ´area de conocimiento
espec´ıfico. “Una Ontolog´ıa define los
t´erminos b´asicos y las relaciones entre ellos
de un tema en concreto como tambi´en la
reglas para combinarlos y extender otros
t´erminos y relaciones del vocabulario”
(Neches et al., 1991). Gruber (1995)
tambi´en aport´o conocimiento en base a
las ontolog´ıas para obtener conocimiento
a partir de ellas y compartirlo “se puede
considerar una ontolog´ıa como un sistema de
representacio´n del conocimiento en un a´mbito
espec´ıfico que puede organizarse en forma
jer´arquica para facilitar la representaci´on
y comprensi´on del conocimiento”. En
este trabajo estudiaremos el diccionario
ICD10 (International Classification of
Diseases) y las ontolog´ıas UMLS (Unified
Medical Language System) y SNOMED-CT
(Systematized Nomenclature of Medicine –
Clinical Terms ) para resolver los problemas
antes mencionados.</p>
      <p>Para llegar a obtener documentos que
satisfagan las necesidades del usuario en los
SRI, haremos uso de diferentes subtareas
como la identificaci´on de t´erminos o la
clasificaci´on, donde ellos se convierten en
la clave para acceder a documentaci´on
bibliogr´afica y literatura relacionada. El
objetivo del Reconocimiento de Entidades
Nombradas (NER Named Entity Recognition
por sus siglas en ingl´es) es identificar en un
texto menciones de elementos pertenecientes
a una determinada clase de conceptos.</p>
      <p>Aunque el trabajo est´a centrado en el
dominio biom´edico, la idea principal es
crear t´ecnicas y algoritmos lo suficientemente
flexibles para ser aplicados a distintos a´mbitos
con ´exito. La mayor dificultad radicar´ıa
en encontrar recursos de calidad para el
dominio donde se quieran aplicar las t´ecnicas
desarrolladas.
2</p>
    </sec>
    <sec id="sec-2">
      <title>Origen y trabajo relacionado</title>
      <p>
        En los u´ltimos an˜os, las ontolog´ıas han
desempen˜ado un papel importante en el
campo biom´edico
        <xref ref-type="bibr" rid="ref5 ref7">(Rubin, Shah, y Noy,
2007)</xref>
        . Se han utilizado ontolog´ıas de dominio
biom´edico para la anotaci´on de datos, la
integracio´n de informacio´n, el descubrimiento
de conocimientos y otras aplicaciones.
      </p>
      <p>
        Existe una gran cantidad de ontolog´ıas en
este a´mbito y muchas de ellas estrechamente
relacionadas, por lo tanto, las calidades
de dichas ontolog´ıa pueden variar mucho.
Encontramos investigaciones interesantes y
de diversa ´ındole sobre las ontolog´ıas m´as
comu´nmente utilizadas como: SNOMED-CT
        <xref ref-type="bibr" rid="ref5 ref9">(Stearns et al., 2001; Patrick, Wang, y Budd,
2007)</xref>
        , UMLS (Bodenreider, 2004; Huang et
al., 2005; Brennan y Aronson, 2003) y CIE-10
        <xref ref-type="bibr" rid="ref2">(N´ev´eol et al., 2017)</xref>
        .
      </p>
      <p>En cuanto a los trabajos relacionados con
el reconocimiento de entidades m´edicas en
ingl´es, encontramos sistemas de detecci´on
autom´atica, como son MetaMap y cTAKES,
ambos se encuentran disponibles y permiten
descubrir entidades m´edicas en texto e
identificarlas como conceptos ontolo´gicos.</p>
      <p>
        MetaMap es creado por investigadores de
la National Library of Medicine (NLM) y es
capaz de identificar los conceptos biom´edicos
de textos no estructurados y los mapea en los
conceptos de UMLS Metathesaurus (Aronson,
2001), por otro lado, Apache cTAKES
(Apache Clinical Text Analysis and Knowledge
Extraction System)
        <xref ref-type="bibr" rid="ref8">(Savova et al., 2010)</xref>
        es
un sistema de procesamiento de lenguaje
natural para extracci´on de informaci´on en
texto cl´ınico. Rodr´ıguez Gonz´alez et al.
(2015) realiza una comparativa entre las dos
herramientas sobre MedLinePlus 1.
      </p>
      <p>
        Existen otras alternativas para el ingl´es,
como MedLEE (Medical Language Extraction
and Encoding System) originalmente
desarrollado para radiolog´ıa y posteriormente
extendido a otros subdominios. BioPortal
        <xref ref-type="bibr" rid="ref10 ref3">(Noy et al., 2009; Zheng et al., 2018)</xref>
        del
NCBO (National Center for Biomedical
Ontologies) representa mapeos entre t´erminos
de diferentes ontolog´ıas, actualmente
incorpora m´as de 600 ontolog´ıas.
      </p>
      <p>
        En cuanto al idioma espan˜ol existen menos
herramientas disponibles, si bien podemos
1https://medlineplus.gov/
encontrar algunos ejemplos como la versi´on
en espan˜ol de MetaMap (Carrero, Cortizo, y
G´omez, 2008) y Freeling-Med
        <xref ref-type="bibr" rid="ref4">(Oronoz et al.,
2013)</xref>
        .
3
      </p>
    </sec>
    <sec id="sec-3">
      <title>Investigaci´on propuesta</title>
      <p>Este trabajo de tesis se encuentra en fase de
desarrollo y adaptacio´n de recursos existentes.
Por lo que a lo largo de este an˜o se han
ido siguiendo una serie de hitos marcados
por los actuales talleres y competiciones que
existen dentro del dominio m´edico como son
los talleres TASS e IberEval que se celebran
en el marco del congreso de la Sociedad
Espan˜ola para el Procesamiento del Lenguaje
Natural (SEPLN), el foro CLEF eHealth
y la competici´on TREC; con todos ellos
pretendemos desarrollar nuestros sistemas,
evaluarlos y crear una comparativa para seguir
avanzando.</p>
      <p>
        En cuanto a reconocimiento de entidades
m´edicas en espan˜ol, se ha disen˜ado una
herramienta propia para la detecci´on de
t´erminos biom´edicos en un texto llamada
BSB2 (Buscador Sem´antico Biom´edico)
        <xref ref-type="bibr" rid="ref10">(L´opez- U´beda et al., 2018c)</xref>
        . Las bases
de conocimiento usadas en el reconocedor
son UMLS, SNOMED e ICD10, todas en
ellas en espan˜ol. La herramienta utiliza la
biblioteca NLTK (Natural Language Toolkit )
desarrollada en el lenguaje de programaci´on
Python y el analizador sint´actico incluido
en la herramienta CoreNLP en espan˜ol
(Manning et al., 2014) para obtener una
mayor precisi´on a la hora de identificar
terminolog´ıa (lematizaci´on, desambiguaci´on,
palabras compuestas).
      </p>
      <p>
        Pretendemos modelar el lenguaje humano
en escenarios de dominio biom´edico para
que los documentos electr´onicos puedan ser
legibles por ma´quinas desde un punto de vista
sema´ntico, para ello, participamos en la Task
3. eHealth Knowledge Discovery del Taller
de An´alisis Sem´antico de la SEPLN (TASS)
        <xref ref-type="bibr" rid="ref10">(L´opez- U´beda et al., 2018b)</xref>
        . Con esta tarea
pudimos crear un sistema donde identificar
todas las frases clave en un documento
escrito en espan˜ol y asignar una etiqueta
(concepto o acci´on) a todas aquellas frases
clave detectadas. Para ello, adaptamos la
herramienta desarrollada BSB.
      </p>
      <p>Por otra parte, tambi´en hemos intentado
estudiar otros idiomas como el franc´es.</p>
      <p>
        En la Task 1, Multilingual Information
Extraction - ICD10 coding
        <xref ref-type="bibr" rid="ref1">(N´ev´eol et
al., 2018)</xref>
        del CLEF eHealth, el principal
objetivo es crear un sistema basado en
t´ecnicas de PLN para la deteccio´n de co´digos
ICD10 utilizando diferentes algoritmos
de aprendizaje autom´atico. Primero,
encontramos todos los posibles co´digos ICD10
mencionados en el texto y a continuaci´on,
creamos varias medidas para tratar el
texto del concepto identificado. Con estas
m´etricas entrenamos diferentes algoritmos de
aprendizaje autom´atico y elegimos el mejor
modelo a utilizar en nuestro sistema.
      </p>
      <p>
        Un reto marcado por el taller DIANN
(Disability annotation on documents from the
biomedical domain) inclu´ıdo en la SEPLN
ha sido el anotar discapacidades encontradas
en un texto. Se trata como reto porque
las herramientas para la detecci´on de
entidades nombradas en el a´mbito biom´edico
no consideran las discapacidades como un
concepto distintivo, sino como cualquier otro
signo. Por lo tanto, no permiten distinguir
una discapacidad, generalmente una condicio´n
permanente, de otros signos asociados a
enfermedades. Para esta tarea utilizamos
nuestro sistema BSB para los textos en
espan˜ol y MetaMap con UMLS para el
ingl´es y pudimos ver las diferencias existentes.
Adem´as, para el espan˜ol, incorporamos una
nueva fuente de conocimiento basada en siglas
que inclu´ıa terminolog´ıa sobre discapacidades
        <xref ref-type="bibr" rid="ref1 ref10">(L´opez- U´beda et al., 2018a)</xref>
        .
      </p>
      <p>
        En cuanto a trabajos relacionados con la
obtenci´on de documentos relevantes en SRI
hemos participado en la Task3 - Consumer
Health Search Task (Jimmy et al., 2018),
donde aplicamos la t´ecnica de expansi´on
de consultas utilizando el buscador Google.
Identificamos los conceptos m´edicos en los
resultados de Google utilizando cTAKES para
evitar introducir ruido en la consulta con
conceptos que no sean de dominio m´edico. Por
otro lado, en fase de desarrollo se encuentra
la participacio´n en TREC Precision Medicine
Track para 2018, basada en su anterior tarea
        <xref ref-type="bibr" rid="ref6">(Roberts et al., 2017)</xref>
        donde estamos aplicando
t´ecnicas de word embedding (Mikolov et al.,
2013) para expandir la consulta original con
terminolog´ıa cercana a los conceptos m´as
importantes de la consulta.
      </p>
    </sec>
    <sec id="sec-4">
      <title>Metodolog´ıa propuesta</title>
      <p>Para el desarrollo de esta tesis se propone la
siguiente metodolog´ıa a seguir:
1. Estudio y revisi´on del estado del arte.</p>
      <p>Se comenzar´a con el estudio y an´alisis
de la bibliograf´ıa existente sobre los
sistemas de recuperacio´n de informacio´n
utilizando la t´ecnica de reconocimiento
de entidades.
2. Estudiar las diversas ontolog´ıas
existentes tanto en espan˜ol como en
otros idiomas.
3. Adaptar los recursos existentes para
poder realizar un ana´lisis de los m´etodos
propuestos.
4. Desarrollo de recursos y herramientas
propios para el an´alisis y la extracci´on
de informaci´on en informes m´edicos.
5. Implementaci´on de los sistemas que
permitan satisfacer las necesidades de
informaci´on de un usuario.
6. Experimentaci´on y evaluaci´on. Se
utilizar´an los recursos generados para
llevar a cabo la experimentaci´on y
posteriormente se proceder´a a la
evaluaci´on de los sistemas desarrollados,
llevando a cabo una comparaci´on de
los resultados obtenidos con los ya
existentes. Los resultados obtenidos se
pondr´an a disposici´on de la comunidad
cient´ıfica.
5</p>
    </sec>
    <sec id="sec-5">
      <title>Elementos espec´ıficos para discusi´on</title>
      <p>La clasificacio´n, anotacio´n e identificacio´n de
entidades es un tema de inter´es en el PLN y
en los SRI, nuestra intenci´on en este trabajo
es discutir las siguientes aspectos para seguir
profundizando en el estudio:
1. ¿Qu´e ontolog´ıas m´edicas son las m´as
utilizadas y por qu´e?
2. ¿Cu´ales son los algoritmos y recursos
para hacer bu´squedas m´as aproximadas
en los SRI?
3. ¿Qu´e tipo de informaci´on de una
ontolog´ıa puede mejorar un SRI?
¿Qu´e aporta esa informaci´on (precisi´on,
cobertura, diversidad, etc.)?
4. ¿Qu´e sistemas autom´aticos existen
actualmente para identificar entidades
m´edicas en un texto? ¿Y espec´ıfico para
el idioma espan˜ol?
5. ¿Es necesario crear un reconocedor de
entidades m´edicas multilingu¨e?
6. Comparativa entre los NER en los
idiomas ingl´es y espan˜ol.</p>
    </sec>
    <sec id="sec-6">
      <title>Agradecimientos</title>
      <p>Este trabajo est´a parcialmente
subvencionado por el proyecto REDES
(TIN2015-65136-C2-1-R) del MICINN del
Gobierno de Espan˜a.</p>
    </sec>
    <sec id="sec-7">
      <title>Bibliograf´ıa</title>
      <p>Aronson, A. R. 2001. Effective mapping of
biomedical text to the umls metathesaurus:
the metamap program. En Proceedings of
American Medical Informatics Association,
AMIA, p´agina 17. American Medical
Informatics Association.</p>
      <p>Bodenreider, O. 2004. The unified medical
language system (umls): integrating
biomedical terminology. Nucleic Acids
Research, 32(suppl 1):D267–D270.</p>
      <p>Brennan, P. F y Alan R Aronson. 2003.</p>
      <p>Towards linking patients and clinical
information: detecting umls concepts in
e-mail. Journal of Biomedical Informatics,
36(4-5):334–341.</p>
      <p>Carrero, F, Jos´e Carlos Cortizo, y Jos´e Mar´ıa
G´omez. 2008. Building a spanish
mmtx by using automatic translation and
biomedical ontologies. En International
Conference on Intelligent Data Engineering
and Automated Learning, pa´ginas 346–353.</p>
      <p>Springer.</p>
      <p>Gruber, T. R. 1995. Toward principles for
the design of ontologies used for knowledge
sharing? International Journal of
Human-computer Studies, 43(5-6):907–928.
Huang, Y, Henry J Lowe, Dan Klein, y
Russell J Cucina. 2005. Improved
identification of noun phrases in clinical
radiology reports using a high-performance
statistical natural language parser
augmented with the umls specialist
lexicon. Journal of the American Medical
Informatics Association, 12(3):275–285.
Jimmy, Guido Zuccon, Joao Palotti, Lorraine
Goeuriot, y Liadh Kelly. 2018. Overview
of the clef 2018 consumer health search
task. En CLEF 2018 Evaluation Labs
and Workshop: Online Working Notes,
CEUR-WS.</p>
      <p>Kowalski, G. J. 2007. Information retrieval
systems: theory and implementation,
volumen 1. Springer.</p>
      <p>Lo´pez-U´ beda, P, Manuel Carlos D´ıaz Galiano,
Mar´ıa Teresa Mart´ın-Valdivia, y
Salud Jim´enez-Zafra. 2018a. Sinai
at diann-ibereval 2018. annotating
disabilities in multi-language systems
with umls. En Proceedings of the Third
Workshop on Evaluation of Human
Language Technologies for Iberian
Languages (IberEval 2018).</p>
      <p>Lo´pez-U´ beda, P, Manuel Carlos D´ıaz-Galiano,
Mar´ıa Teresa Mart´ın-Valdivia, y Luis
Alfonso Uren˜a L´opez. 2018b. SINAI en
TASS 2018 task 3. clasificando acciones
y conceptos con UMLS en medline
(SINAI in TASS 2018 task 3. classifying
actions and concepts with UMLS on
medline). En Proceedings of TASS
2018: Workshop on Semantic Analysis at
SEPLN, TASS@SEPLN 2018, co-located
with 34nd SEPLN Conference (SEPLN
2018), Sevilla, Spain, September 18th,
2018, p´aginas 77–82.</p>
      <p>Lo´pez-U´ beda, P, Manuel Carlos D´ıaz Galiano,
Arturo Montejo R´aez, Fernando
Mart´ınez Santiago, Alberto Andreu-Mar´ın,
Mart´ın, Mar´ıa Teresa, y Luis Alfonso
Uren˜a L´opez. 2018c. Buscador sem´antico
biom´edico. Procesamiento del Lenguaje
Natural, 61:189–192.</p>
      <p>Manning, C, Mihai Surdeanu, John Bauer,
Jenny Finkel, Steven Bethard, y David
McClosky. 2014. The stanford corenlp
natural language processing toolkit. En
Proceedings of 52nd annual meeting of the
Association for Computational Linguistics,
ACL: system demonstrations, p´aginas
55–60.</p>
      <p>Mikolov, T, Kai Chen, Greg Corrado, y Jeffrey
Dean. 2013. Efficient estimation of word
representations in vector space. arXiv
preprint arXiv:1301.3781.</p>
      <sec id="sec-7-1">
        <title>Neches, R, Richard E Fikes, Tim</title>
        <p>Thomas Gruber, Ramesh Patil,</p>
      </sec>
      <sec id="sec-7-2">
        <title>Finin,</title>
        <p>Ted</p>
      </sec>
      <sec id="sec-7-3">
        <title>Rodr´ıguez</title>
        <p>Costumero</p>
      </sec>
      <sec id="sec-7-4">
        <title>Gonz´alez, Moreno, A,</title>
      </sec>
      <sec id="sec-7-5">
        <title>Roberto</title>
        <p>Marcos
Mart´ınez Romero, Mark Denis Wilkinson,
y Ernestina Menasalvas Ruiz. 2015.
Extracting diagnostic knowledge from
medline plus: a comparison between
metamap and ctakes approaches. Current
Bioinformatics, 375:1–7.</p>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          <article-title>N´ev´eol, A, A</article-title>
          <string-name>
            <surname>Robert</surname>
            ,
            <given-names>F</given-names>
          </string-name>
          <string-name>
            <surname>Grippo</surname>
            ,
            <given-names>C</given-names>
          </string-name>
          <string-name>
            <surname>Morgand</surname>
            ,
            <given-names>C</given-names>
          </string-name>
          <string-name>
            <surname>Orsi</surname>
            ,
            <given-names>L</given-names>
            Pelik´an, L
          </string-name>
          <string-name>
            <surname>Ramadier</surname>
          </string-name>
          , G Rey, y P Zweigenbaum.
          <year>2018</year>
          .
          <article-title>Clef ehealth 2018 multilingual information extraction task overview: ICD10 coding of death certificates in french, hungarian and italian. En CLEF 2018 Evaluation Labs</article-title>
          and Workshop: Online Working Notes, CEUR-WS.
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          <article-title>N´ev´eol, A</article-title>
          ,
          <string-name>
            <surname>Robert N Anderson</surname>
            ,
            <given-names>K Bretonnel</given-names>
          </string-name>
          <string-name>
            <surname>Cohen</surname>
          </string-name>
          , Cyril Grouin, Thomas Lavergne, Gr´egoire Rey, Aude Robert, Claire Rondet, y Pierre Zweigenbaum.
          <year>2017</year>
          .
          <article-title>Clef ehealth 2017 multilingual information extraction task overview: ICD10 coding of death certificates in english and french. En CLEF 2017 Evaluation Labs</article-title>
          and Workshop: Online Working Notes, CEUR-WS, p´
          <fpage>agina</fpage>
          17.
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          <string-name>
            <surname>Noy</surname>
            ,
            <given-names>N. F</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nigam H Shah</surname>
          </string-name>
          , Patricia L Whetzel,
          <string-name>
            <surname>Benjamin Dai</surname>
          </string-name>
          , Michael Dorf, Nicholas Griffith, Clement Jonquet, Daniel L Rubin,
          <string-name>
            <surname>Margaret-Anne</surname>
            <given-names>Storey</given-names>
          </string-name>
          , y Christopher G Chute.
          <year>2009</year>
          .
          <article-title>Bioportal: ontologies and integrated data resources at the click of a mouse</article-title>
          .
          <source>Nucleic Acids Research</source>
          ,
          <volume>37</volume>
          (
          <issue>suppl 2</issue>
          ):
          <fpage>W170</fpage>
          -
          <lpage>W173</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          <string-name>
            <surname>Oronoz</surname>
            ,
            <given-names>M</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Arantza</surname>
            <given-names>Casillas</given-names>
          </string-name>
          , Koldo Gojenola, y Alicia Perez.
          <year>2013</year>
          .
          <article-title>Automatic annotation of medical records in spanish with disease, drug and substance names</article-title>
          .
          <source>En Iberoamerican Congress on Pattern Recognition</source>
          , p´
          <source>aginas 536-543</source>
          . Springer.
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          <string-name>
            <surname>Patrick</surname>
            ,
            <given-names>J</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Yefeng</surname>
            <given-names>Wang</given-names>
          </string-name>
          , y Peter Budd.
          <year>2007</year>
          .
          <article-title>An automated system for conversion of clinical notes into snomed clinical terminology</article-title>
          .
          <source>En Proceedings of the fifth Australasian symposium on ACSW frontiers-Volume</source>
          <volume>68</volume>
          , p´aginas 219-
          <fpage>226</fpage>
          . Australian Computer Society, Inc.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          <string-name>
            <surname>Roberts</surname>
            ,
            <given-names>K</given-names>
          </string-name>
          , Dina Demner-Fushman, Ellen M Voorhees, William R Hersh, Steven Bedrick, Alexander J Lazar, y Shubham Pant.
          <year>2017</year>
          .
          <article-title>Overview of the trec 2017 precision medicine track</article-title>
          .
          <source>En Text REtrieval Conference</source>
          , TREC, Gaithersburg, MD.
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <string-name>
            <surname>Rubin</surname>
            ,
            <given-names>D. L</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nigam H</surname>
          </string-name>
          Shah, y Natalya F Noy.
          <year>2007</year>
          .
          <article-title>Biomedical ontologies: a functional perspective</article-title>
          . Briefings in Bioinformatics,
          <volume>9</volume>
          (
          <issue>1</issue>
          ):
          <fpage>75</fpage>
          -
          <lpage>90</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          <string-name>
            <surname>Savova</surname>
          </string-name>
          , G. K,
          <string-name>
            <surname>James J Masanz</surname>
          </string-name>
          , Philip V Ogren, Jiaping Zheng, Sunghwan Sohn,
          <string-name>
            <surname>Karin C</surname>
          </string-name>
          Kipper-Schuler, y Christopher G Chute.
          <year>2010</year>
          .
          <article-title>Mayo clinical text analysis and knowledge extraction system (ctakes): architecture, component evaluation and applications</article-title>
          .
          <source>Journal of the American Medical Informatics Association, AMIA</source>
          ,
          <volume>17</volume>
          (
          <issue>5</issue>
          ):
          <fpage>507</fpage>
          -
          <lpage>513</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          <string-name>
            <surname>Stearns</surname>
            ,
            <given-names>M. Q</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Colin</surname>
            <given-names>Price</given-names>
          </string-name>
          , Kent A Spackman, y Amy Y Wang.
          <year>2001</year>
          .
          <article-title>Snomed clinical terms: overview of the development process and project status</article-title>
          .
          <source>En Proceedings of the AMIA Symposium</source>
          , p´
          <fpage>agina</fpage>
          662. American Medical Informatics Association.
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          <string-name>
            <surname>Zheng</surname>
            ,
            <given-names>L</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Yan</surname>
            <given-names>Chen</given-names>
          </string-name>
          , Gai Elhanan, Yehoshua Perl, James Geller, y Christopher Ochs.
          <year>2018</year>
          .
          <article-title>Complex overlapping concepts: An effective auditing methodology for families of similarly structured bioportal ontologies</article-title>
          .
          <source>Journal of Biomedical Informatics</source>
          ,
          <volume>83</volume>
          :
          <fpage>135</fpage>
          -
          <lpage>149</lpage>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>