<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>SIFR Project: The Semantic Indexing of French Biomedical Data Resources</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Juan Antonio Lossio-Ventura,</string-name>
          <email>fName.lName@lirmm.fr</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Mathieu Roche,</string-name>
          <email>fName.lName@teledection.fr</email>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Clement Jonquet, LIRMM, CNRS, Univ. Montpellier 2</institution>
          ,
          <addr-line>Montpellier</addr-line>
          ,
          <country country="FR">France</country>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Maguelonne Teisseire, TETIS</institution>
          ,
          <addr-line>Cirad, Irstea, AgroParisTech, Montpellier</addr-line>
          ,
          <country country="FR">France</country>
        </aff>
      </contrib-group>
      <fpage>58</fpage>
      <lpage>61</lpage>
      <abstract>
        <p>The Semantic Indexing of French Biomedical Data Resources project proposes to investigate the scientific and technical challenges in building ontology-based services to leverage biomedical ontologies and terminologies in indexing, mining and retrieval of French biomedical data.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>
        Hoy en d´ıa la gran cantidad de datos disponibles
en l´ınea suele componerse de texto no
estructurado, por ejemplo reportes cl´ınicos,
informes de reportes adversos, historiales cl´ınicos
electro´nicos
        <xref ref-type="bibr" rid="ref9">(Lossio-Ventura et al., 2013)</xref>
        .
Regularmente estos textos son escritos usando un
lenguaje espec´ıfico (expresiones y te´rminos)
usados por una comunidad. Es por eso existe la
necesidad de formalizar e indexar te´rminos o
conceptos te´cnicos. Lo cual implica un gran consumo
de tiempo.
      </p>
      <p>
        Los te´rminos relevantes son u´tiles para obtener
una mayor comprensio´n de la estructura
conceptual de un dominio. Estos pueden ser:
(i) te´rminos de una sola palabra (sencillo a
extraer), o (ii) te´rminos de varias palabras (dif´ıcil).
En el a´mbito biome´dico, hay una gran
diferencia entre los recursos existentes (ontolog´ıas) en
ingle´s y france´s. En Ingle´s hay cerca de 7 000 000
de te´rminos asociados a 6 000 000 de conceptos,
tales como los de UMLS1 o BioPortal
        <xref ref-type="bibr" rid="ref12">(Noy et al.,
2009)</xref>
        . Mientras que, en france´s so´lo hay
alrededor de 330 000 te´rminos asociados a 160 000
conceptos
        <xref ref-type="bibr" rid="ref10">(Neveol et al., 2014)</xref>
        . Por lo tanto, hay
una necesidad de enriquecer terminolog´ıas u
ontolog´ıas en france´s. Por lo tanto, nuestro
trabajo se compone de dos pasos principales: (i) la
extraccio´n de te´rminos biome´dicos, y (ii) el
enriquecimiento de ontolog´ıas, con el fin de poblar
ontolog´ıas con los te´rminos extra´ıdos.
      </p>
      <p>El art´ıculo es organizado como sigue. Primero
discutimos sobre la sobre la metodolog´ıa puesta
en marcha para este proyecto en la Seccio´n 2.
La evaluacio´n de la precisio´n es presentada en
la Seccio´n 3 seguida de las conclusiones en la
Seccio´n 4.
2</p>
    </sec>
    <sec id="sec-2">
      <title>Metodolog´ıa</title>
      <p>Nuestro trabajo se divide en dos procesos
principales: (i) la extraccio´n de te´rminos biome´dicos, y
(ii) el enriquecimiento de ontolog´ıas, explicados a
continuacio´n.
2.1</p>
      <sec id="sec-2-1">
        <title>Extraccio´n Automa´tica de Te´rminos</title>
      </sec>
      <sec id="sec-2-2">
        <title>Biome´dicos</title>
        <p>
          La extraccio´n de te´rminos es una tarea esencial
en la adquisicio´n de conocimiento de un dominio.
En este trabajo presentamos las medidas creadas
para este objetivo. Medidas que se basan en
varios criterios como lingu¨´ıstico, estad´ıstico, grafos
y web para mejorar el resultado de extraccio´n
de te´rminos biome´dicos. Las medidas
presentadas a continuacio´n son puestas a disposicio´n de
la comunidad, bajo la aplicacio´n llamada
BIOTEX
          <xref ref-type="bibr" rid="ref5 ref6 ref7 ref8">(Lossio-Ventura et al., 2014)</xref>
          .
        </p>
      </sec>
      <sec id="sec-2-3">
        <title>2.1.1 Ling u¨´ıstica</title>
        <p>
          Estas te´cnicas intentan recuperar te´rminos gracias
a la formacio´n de patrones. La idea principal es
la construccio´n de reglas para describir las
estructuras de los te´rminos de un dominio
mediante el uso de caracter´ısticas ortogra´ficas, le´xicas
o morfo-sinta´cticas. La idea principal es la
construccio´n de reglas, normalmente de forma
manual, que describen las estructuras comunes de
te´rminos para ciertos campos. En muchos
casos tambie´n, diccionarios conteniendo te´rminos
te´cnicos (e.g., prefijos, sufijos y acro´nimos
espec´ıficos) son usados para ayudar a extraer
te´rminos
          <xref ref-type="bibr" rid="ref4">(Krauthammer et al., 2004)</xref>
          .
2.1.2
        </p>
      </sec>
      <sec id="sec-2-4">
        <title>Estad´ıstica</title>
        <p>
          Las te´cnicas estad´ısticas se basan en la
evidencia presentada en el corpus a trave´s de la
informacio´n contextual. Tales enfoques abordan
principalmente el reconocimiento de te´rminos
generales
          <xref ref-type="bibr" rid="ref13">(Van Eck et al., 2010)</xref>
          . La mayor´ıa de
medidas se basan en la frecuencia. La mayor parte
de trabajos combinan la informacio´n lingu¨´ıstica
y estad´ıstica, tal es el caso de C-value
          <xref ref-type="bibr" rid="ref2">(Frantzi
et al., 2000)</xref>
          combina la informacio´n estad´ıstica y
lingu¨´ıstica tanto para la extraccio´n de te´rminos de
varias palabras como de te´rminos largos y
anidados. Es la medida ma´s conocida en la
literatura. En el trabajo de
          <xref ref-type="bibr" rid="ref14">(Zhang et al., 2008)</xref>
          ,
demostraron que C-value obtiene los mejores
resultados comparado a otras medidas. Adema´s del
ingle´s, C-value tambie´n ha sido aplicado a otros
idiomas tales como japone´s, serbio, esloveno,
polaco, chino
          <xref ref-type="bibr" rid="ref3">(Ji et al., 2007)</xref>
          , espan˜ol
          <xref ref-type="bibr" rid="ref1">(Barro´nCedeno et al., 2009)</xref>
          , a´rabe. Es por eso, en
nuestro primer trabajo
          <xref ref-type="bibr" rid="ref9">(Lossio-Ventura et al., 2013)</xref>
          ,
la modificamos y adaptamos para el france´s.
        </p>
        <p>
          A partir de C-value, hemos creados otras
medidas, como F-TFIDF-C, F-OCapi, C-OKapi,
C-TFIDF
          <xref ref-type="bibr" rid="ref5 ref6 ref7 ref8">(Lossio-Ventura et al., 2014)</xref>
          , estas
medidas obtienen mejores resultados que
Cvalue. Finalmente una nueva medida basada
en la informacio´n lingu¨´ıstica y estad´ıstica es
LIDF-value
          <xref ref-type="bibr" rid="ref5 ref6 ref7 ref8">(Lossio-Ventura et al., 2014)</xref>
          (patrones Lingu¨´ısticos, IDF, and C-value
information), que mejora con gran diferencia los
resultados obtenidos por las medidas antes citadas.
2.1.3
        </p>
      </sec>
      <sec id="sec-2-5">
        <title>Grafos</title>
        <p>
          El modelo de grafos es una alternativa al modelo
de informacio´n, muestra claramente las relaciones
entre los nodos gracias a las aristas. Gracias a los
algoritmos de centralidad se puede aprovechar los
grupos de informacio´n en grafos. Existen
aplicaciones de grafos para la Recuperacio´n de
Informacio´n (RI) en el contexto de las redes sociales, de
colaboracio´n y sistemas de recomendacio´n
          <xref ref-type="bibr" rid="ref11">(Noh
et al., 2009)</xref>
          .
        </p>
        <p>
          Una medida basada en grafos creada para este
proceso es TeRGraph
          <xref ref-type="bibr" rid="ref5 ref6 ref7 ref8">(Lossio-Ventura et al., 2014)</xref>
          (Terminology Ranking based on Graph
information). Esta medida tiene como objetivo mejorar
la precisio´n de los primeros k te´rminos extra´ıdos
despue´s de haber aplicado LIDF-value. El grafo
es construido con la lista de te´rminos obtenidos
con LIDF-value, donde los nodos representan los
te´rminos relacionados con otros te´rminos gracias
a la co-ocurrencia en el corpus.
2.1.4 Web
Diferentes estudios de Web Mining se enfocan en
la similitud sema´ntica, relacio´n sema´ntica. Esto
significa para cuantificar el grado en el que
algunas palabras esta´n relacionadas, teniendo en
cuenta no so´lo similitud sino tambie´n cualquier
posible relacio´n sema´ntica entre ellos. La
primera medida web creada fue WebR
(LossioVentura et al., 2014), finalmente la mejora
llamada WAHI
          <xref ref-type="bibr" rid="ref5 ref6 ref7 ref8">(Lossio-Ventura et al., 2014)</xref>
          (Web
Association based on Hits Information). Nuestra
medida basada en la Web tiene por objetivo volver
a clasificar la lista obtenida previamente con
TeRGraph. Demostramos con esta medida que la
precisio´n de los k primeros te´rminos extra´ıdos
superan los resultados de las medidas arriba
mencionadas (ver Seccio´n 3).
2.2
        </p>
      </sec>
      <sec id="sec-2-6">
        <title>Enriquecimiento de Ontolog´ıas</title>
        <p>El objetivo de este proceso es enriquecer las
terminolog´ıas u ontolog´ıas con los te´rminos nuevos
extra´ıdos en el proceso anterior. Los tres grandes
pasos a seguir en este proceso son:
(1) Determinar si un te´rmino es polise´mico:
con la ayuda del Meta-Learning, hemos
podido predecir con una confianza de 97% si un
te´rmino es polise´mico. Esta contribucio´n sera´
valorizada en la conferencia ECIR 2015.
(2) Identificar los posibles significados si el
te´rmino es polise´mico: es nuestro trabajo
actual, con la ayuda de clustering,
clustering sobre los grafos tratamos de resolver este
problema.
(3) Posicionar el te´rmino en una ontolog´ıa.
3
3.1</p>
      </sec>
      <sec id="sec-2-7">
        <title>Experimentaciones</title>
      </sec>
      <sec id="sec-2-8">
        <title>Datos, protocolo y validacio´n</title>
        <p>En nuestros experimentos, hemos usado el corpus
esta´ndar GENIA2, el cual es compuesto de 2 000
t´ıtulos y resu´menes de art´ıculos de revistas que han
sido tomadas de la base de datos Medline,
contiene ma´s de 400 000 palabras. GENIA corpus
contiene expresiones lingu¨´ısticas que se refieren a
entidades con intere´s en biolog´ıa molecular tales
como prote´ınas, genes y ce´lulas.</p>
        <p>2http://www.nactem.ac.uk/genia/
genia-corpus/term-corpus
Los resultados son evaluados en te´rminos de
precisio´n obtenidos sobre los primeros k te´rminos
extra´ıdos (P @k) para las medidas propuestas y
las medidas base (referencia) para la extraccio´n
de te´rminos compuestos de varias palabras. En
las subsecciones siguientes, limitamos los
resultados para la medida basada en grafos con so´lo los
primeros 8 000 te´rminos extra´ıdos y los
resultados para la medida basada en la web con so´lo los
primeros 1 000 te´rminos.
3.2.1</p>
      </sec>
      <sec id="sec-2-9">
        <title>Resultados ling u¨´ısticos y estad´ısticos</title>
        <p>grandes procesos.</p>
        <p>El primer proceso Extraccio´n Automa´tica de
Te´rminos Biome´dicos, terminado y siendo
valorizado en varias publicaciones citadas
anteriormente. En este proceso demostramos que las
medidas propuestas mejoran la precisio´n de la
extraccio´n automa´tica de te´rminos en comparacio´n
a las medidas ma´s populares de extraccio´n de
te´rminos.</p>
        <p>El segundo proceso Enriquecimiento de
Ontolog´ıas, a la vez dividio en 3 etapas, es
nuestra tarea actual, solo la primera etapa ha sido
finalizada. En este proceso buscamos encontrar la
mejor posicio´n de un te´rmino en una ontolog´ıa.</p>
        <p>Como trabajo futuro, pensamos acabar el
segundo proceso. Adema´s, planeamos probar
estos enfoques generales sobre otros dominios,
tales como ecolog´ıa y agronom´ıa. Finalmente,
planeamos aplicar estos enfoques con corpus en
espan˜ol.</p>
      </sec>
      <sec id="sec-2-10">
        <title>Agradecimientos</title>
        <p>Este proyecto es apoyado en parte por la Agencia
Nacional de Investigacio´n de Francia bajo el
programa JCJC, ANR-12-JS02-01001, as´ı como por
la Universidad de Montpellier 2, el CNRS y el
programa de becas FINCyT, Peru´.</p>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          <article-title>Barro´n-</article-title>
          <string-name>
            <surname>Cedeno</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sierra</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Drouin</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ananiadou</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          <year>2009</year>
          .
          <article-title>An improved automatic term recognition method for Spanish</article-title>
          .
          <source>Computational Linguistics</source>
          ,
          <source>Intelligent Text Processing</source>
          , pp.
          <fpage>125</fpage>
          -
          <lpage>136</lpage>
          . Springer.
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          <string-name>
            <surname>Frantzi</surname>
            <given-names>K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ananiadou</surname>
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mima</surname>
            ,
            <given-names>H.</given-names>
          </string-name>
          <year>2000</year>
          .
          <article-title>Automatic recognition of multiword terms: the C-value/NCvalue Method</article-title>
          .
          <source>International Journal on Digital Libraries</source>
          , (
          <volume>3</volume>
          ):
          <fpage>115</fpage>
          -
          <lpage>130</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          <string-name>
            <surname>Ji</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sum</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lu</surname>
            ,
            <given-names>Q.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Li</surname>
            ,
            <given-names>W.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Chen</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          <year>2007</year>
          .
          <article-title>Chinese Terminology Extraction Using Window-Based Contextual Information</article-title>
          .
          <source>Proceedings of the 8th International Conference on Computational Linguistics, Intelligent Text Processing (CICLing07)</source>
          , pp.
          <fpage>62</fpage>
          -
          <lpage>74</lpage>
          . Springer-Verlag, Mexico City, Mexico.
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          <string-name>
            <surname>Krauthammer</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nenadic</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          <year>2004</year>
          .
          <article-title>Term Identification in the Biomedical Literature</article-title>
          .
          <source>Journal of Biomedical Informatics</source>
          , vol.
          <volume>37</volume>
          , pp.
          <fpage>512</fpage>
          -
          <lpage>526</lpage>
          . Elsevier Science, San Diego, USA.
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          <string-name>
            <surname>Lossio-Ventura</surname>
            ,
            <given-names>J.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jonquet</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Roche</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Teisseire</surname>
            <given-names>M.</given-names>
          </string-name>
          <year>2014</year>
          .
          <article-title>BIOTEX: A system for Biomedical Terminology Extraction, Ranking, and Validation</article-title>
          .
          <source>Proceedings of the 13th International Semantic Web Conference (ISWC'14)</source>
          . Trento, Italy.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          <string-name>
            <surname>Lossio-Ventura</surname>
            ,
            <given-names>J.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jonquet</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Roche</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Teisseire</surname>
            <given-names>M.</given-names>
          </string-name>
          <year>2014</year>
          .
          <article-title>Integration of linguistic and Web information to improve biomedical terminology ranking</article-title>
          .
          <source>Proceedings of the 18th International Database Engineering and Applications Symposium (IDEAS'14)</source>
          , ACM. Porto, Portugal.
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <string-name>
            <surname>Lossio-Ventura</surname>
            ,
            <given-names>J.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jonquet</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Roche</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Teisseire</surname>
            <given-names>M.</given-names>
          </string-name>
          <year>2014</year>
          .
          <article-title>Yet another ranking function to automatic multi-word term extraction</article-title>
          .
          <source>Proceedings of the 9th International Conference on Natural Language Processing (PolTAL'14)</source>
          , Springer LNAI. Warsaw, Poland.
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          <string-name>
            <surname>Lossio-Ventura</surname>
            ,
            <given-names>J.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jonquet</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Roche</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Teisseire</surname>
            <given-names>M.</given-names>
          </string-name>
          <year>2014</year>
          .
          <article-title>Biomedical Terminology Extraction: A new combination of Statistical, Web Mining Approaches</article-title>
          . Proceedings of Journe´
          <article-title>es internationales d'Analyse statistique des Donne´es Textuelles (JADT2014)</article-title>
          . Paris, France.
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          <string-name>
            <surname>Lossio-Ventura</surname>
            ,
            <given-names>J.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jonquet</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Roche</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Teisseire</surname>
            <given-names>M.</given-names>
          </string-name>
          <year>2013</year>
          .
          <article-title>Combining C-value, Keyword Extraction Methods for Biomedical Terms Extraction</article-title>
          .
          <source>Proceedings of the Fifth International Symposium on Languages in Biology, Medicine (LBM13)</source>
          , pp.
          <fpage>45</fpage>
          -
          <lpage>49</lpage>
          , Tokyo, Japan.
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          <string-name>
            <surname>Neveol</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Grosjean</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Darmoni</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zweigenbaum</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          <year>2014</year>
          .
          <article-title>Language Resources for French in the Biomedical Domain</article-title>
          .
          <source>Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC'14)</source>
          . Reykjavik, Iceland
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          <string-name>
            <surname>Noh</surname>
          </string-name>
          , TG., Park, SB.,
          <string-name>
            <surname>Yoon</surname>
          </string-name>
          , HG.,
          <string-name>
            <surname>Lee</surname>
          </string-name>
          , SJ., Park, SY.
          <year>2009</year>
          .
          <article-title>An Automatic Translation of Tags for Multimedia Contents Using Folksonomy Networks</article-title>
          .
          <source>Proceedings of the 32nd International ACM SIGIR Conference on Research, Development in Information Retrieval SIGIR '09</source>
          , pp.
          <fpage>492</fpage>
          -
          <lpage>499</lpage>
          . Boston, MA, USA, ACM.
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          <string-name>
            <surname>Noy</surname>
            ,
            <given-names>N. F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Shah</surname>
            ,
            <given-names>N. H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Whetzel</surname>
            ,
            <given-names>P. L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dai</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dorf</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Griffith</surname>
            ,
            <given-names>N.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jonquet</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rubin</surname>
            ,
            <given-names>D. L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Storey</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Chute</surname>
            ,
            <given-names>C.G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Musen</surname>
            ,
            <given-names>M. A.</given-names>
          </string-name>
          <year>2009</year>
          .
          <article-title>BioPortal: ontologies and integrated data resources at the click of a mouse</article-title>
          .
          <source>Nucleic acids research</source>
          , vol.
          <volume>37</volume>
          (
          <issue>suppl 2</issue>
          ), pp
          <fpage>170</fpage>
          -
          <lpage>173</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          <string-name>
            <surname>Van Eck</surname>
            ,
            <given-names>N.J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Waltman</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Noyons</surname>
            ,
            <given-names>E.CM.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Buter</surname>
            ,
            <given-names>R.K.</given-names>
          </string-name>
          <year>2010</year>
          .
          <article-title>Automatic term identification for bibliometric mapping</article-title>
          .
          <source>Scientometrics</source>
          , vol.
          <volume>82</volume>
          , pp.
          <fpage>581</fpage>
          -
          <lpage>596</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          <string-name>
            <surname>Zhang</surname>
            ,
            <given-names>Z.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Iria</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Brewster</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ciravegna</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          <year>2008</year>
          .
          <article-title>A Comparative Evaluation of Term Recognition Algorithms</article-title>
          .
          <source>Proceedings of the Sixth International Conference on Language Resources</source>
          ,
          <string-name>
            <surname>Evaluation (LREC08). Marrakech</surname>
          </string-name>
          , Morocco.
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>