<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Normative metadata for the description of learning object-based educational activities</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Universidad Pontificia de Salamanca</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Facultad de Informática Paseo Juan XXIII</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>- Madrid</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Spain salvador.sanchez@upsam.net</string-name>
        </contrib>
      </contrib-group>
      <abstract>
        <p>Learning object metadata records are nowadays mostly descriptive in the sense that they are intended to give information about the contents or the format of the learning object, but without entailing explicit run-time semantics for the Learning Management Systems using them. Nonetheless, normative metadata descriptions are also required in order to obtain systems that behave according to metadata records in a consistent and predictable way. This paper describes the rationale for normative specification techniques as a complement for existing descriptive metadata, which enables a higher degree of automation by precisely describing usage conditions and expected outcomes for learning objects and learning processes.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>Salvador Sánchez Alonso</title>
      <p>Universidad Pontificia de Salamanca,</p>
      <p>Facultad de Informática
Paseo Juan XXIII, 3 - 28040 - Madrid, España</p>
      <p>salvador.sanchez@upsam.net
Abstract. En la actualidad los registros de metadatos de los objetos didácticos
son esencialmente descriptivos, pues están orientados a proporcionar
información sobre los contenidos o el formato de un objeto didáctico, pero no incluyen
explícitamente implicaciones para el momento de la ejecución de los sistemas
gestores de aprendizaje (Learning Management Systems) que los utilizan. Sin
embargo, existe una necesidad de descripciones de metadatos normativas si lo
que se desea es poder construir sistemas que adapten su comportamiento a un
registro de metadatos de una manera predecible y acorde a la información
contenida en el mismo. Este artículo describe la necesidad de técnicas de
especificación normativas como un complemento a los actuales metadatos descriptivos,
lo cual permitiría mayores niveles de automatización mediante la descripción
precisa de condiciones de uso y objetivos educativos de los objetos didácticos y
los procesos de aprendizaje asociados.</p>
      <sec id="sec-1-1">
        <title>1 Introducción</title>
        <p>
          El creciente interés de la educación basada en Web ha motivado la aparición de
diversos esfuerzos de estandarización orientados a potenciar la portabilidad y facilidad
para compartir contenidos educativos e información de los alumnos entre
proveedores, plataformas y sistemas [
          <xref ref-type="bibr" rid="ref1">1</xref>
          ]. De hecho, hoy en día resulta posible empaquetar un
curso orientado a Web de acuerdo con un formato estandarizado (por ejemplo, según
el modelo de paquetes de SCORM1) y posteriormente importarlo para utilizar el
mismo contenido en cualquier sistema gestor de aprendizaje (Learning Management
System, LMS) compatible con dichas reglas de empaquetado estándar. Además, el
alcance de dichos estándares y especificaciones está creciendo continuamente y
cubriendo nuevas áreas; un ejemplo de ello es la especificación de secuencia y
navega
        </p>
      </sec>
    </sec>
    <sec id="sec-2">
      <title>1 http://www.adlnet.org</title>
      <p>
        ción de SCORM orientada a la estandarización de estrategias complejas de
navegación y secuencia. Otro ejemplo interesante es “Learning Design” de IMS [
        <xref ref-type="bibr" rid="ref4">4</xref>
        ], que
busca estandarizar el modelado de actividades complejas y sus consideraciones
pedagógicas asociadas.
      </p>
      <p>
        Sin embargo, el progreso en la complejidad y cobertura de las actuales
especificaciones y estándares contrasta con la falta de calidad en el nivel de descripción de los
registros de metadatos en los repositorios de objetos didácticos existentes. En general,
dichos metadatos se encuentran fragmentados y poco estructurados, tal y como indica
un estudio reciente sobre MERLOT [
        <xref ref-type="bibr" rid="ref10">10</xref>
        ]. El estudio de Najjar sobre la utilización de
los metadatos en Ariadne [
        <xref ref-type="bibr" rid="ref5">5</xref>
        ] también concluye que la mayoría de los elementos de
metadatos bien no se utilizan o son utilizados rara vez por los anotadores de objetos
didácticos. falta
Además del problema de la falta de compleción, los actuales estándares de metadatos
no son estrictos a la hora de evitar la ambigüedad o la falta de precisión. Por ejemplo,
el estándar LOM [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ] –considerado el más importante de los que permiten describir los
objetos didácticos–, puede llevar a usos inconsistentes puesto que permite valores no
estructurados y escritos en lenguaje natural para muchos de sus elementos. En
particular, la categoría 4.6. “Other Platform Requirements” –otros requisitos asociados a
la plataforma–, que permite introducir información sobre requisitos hardware y
software que no pueden ser expresados mediante el elemento de datos “4.4.Technical
Requirement”, no incluye un espacio de valores ni una guía que permita saber los
valores válidos esperados. En este caso en particular, el diseñador del objeto didáctico
tiene, como única ayuda disponible, un par de ejemplos poco concretos sobre lo que
se espera sea introducido en el campo “other platform requirements”, como “sound
card” y “runtime X” (sic). Esta carencia de una interpretación clara se debe en parte a
la existencia de un conjunto completo de vocabularios consistentes, lo que hace que
la mayoría de los registros de metadatos sean poco útiles para el diseño e
implementación de procesos automáticos o semi-automáticos orientados a la composición,
adaptación y selección de objetos didácticos reutilizables.
      </p>
      <p>Desde el punto de vista de la automatización, el principal problema de una
especificación como LOM es su carácter deliberadamente descriptivo, en lugar de normativo,
con respecto al desarrollador de procesos software. Un enfoque descriptivo resulta
útil para la comunicación humana, pues los humanos somos capaces de comprender e
incluso eliminar las ambigüedades de ciertas descripciones que difícilmente podrían
ser interpretadas por los actuales sistemas software, aunque incluyeran los más
sofisticados métodos de análisis del lenguaje natural. Los elementos descriptivos no
proporcionan criterios que permitan a los sistemas software dirigir sus acciones. En otras
palabras, no existe correspondencia directa entre los valores de metadatos y las
acciones de los LMSs que puedan ser utilizadas para implementar comportamientos
estandarizados en los LMSs. Por ejemplo, ¿cómo podría interpretarse el elementos de
metadatos idioma? ¿Debería restringir la entrega de materiales educativos a
estudiantes que no sean capaces de leer textos escritos en ese lenguaje específico con una
mínima capacidad de aprovechamiento? Un a notable excepción a este tipo de
enfoques descriptivos es la especificación de secuenciación SCORM, escrita en un estilo
normativo pues proporciona detalles del comportamiento de los LMS para la
interacción entre el contenido y el usuario. Sin embargo, el núcleo central de los elementos
de metadatos de objetos didácticos está especificado en forma puramente descriptiva.
La “orientación descriptiva” no puede considerarse un defecto de LOM como
estándar, puesto que no incluye explícitamente la promoción de comportamiento
automatizado consistente como uno de sus objetivos. Pero ciertamente son necesarias técnicas
que rellenen el espacio necesario para obtener LMSs que actúen consecuentemente,
no solo en lo referente a la secuenciación de materiales, sino en lo tocante a otro tipo
de procesos –por ejemplo, la composición–, que representaría un paso significativo
en la estandarización de los contenidos y sistemas de e-learning.</p>
      <p>Este artículo describe técnicas de especificación de metadatos –tanto para los objetos
didácticos como para las descripciones de procesos de los LMS– en un estilo
normativo. Una técnica así, o similar, podría integrarse en los estándares actuales para
proporcionar un mejor soporte para la automatización de la gestión del aprendizaje y
podría, finalmente, eliminar la ambigüedad y falta de compleción de los registros de
metadatos de las prácticas de anotación, considerando la compleción de los metadatos
y su precisión como medidas de calidad para usos específicos.</p>
      <p>El resto del artículo se estructura de la siguiente forma. En el punto 2 se examina el
estado actual de los estándares de metadatos, principalmente de LOM como sistema
de comunicación entre los usuarios finales del material didáctico y los catalogadores
de objetos didácticos. Posteriormente, el punto 3 aborda los requisitos de los
estándares de metadatos normativos y sus efectos en los objetos didácticos. En el punto 4, se
comentan los requisitos de tiempo de ejecución de los procesos de un LMS. En el
último apartado, se proporcionan las conclusiones derivadas de las secciones previas.
2</p>
      <p>
        Los metadatos de LOM como sistema de comunicaciones
Un trabajo reciente [
        <xref ref-type="bibr" rid="ref16">16</xref>
        ] define la comunidad e-learning como un escenario donde los
usuarios y los catalogadores se comunican. En dicho escenario, los usuarios
descubren objetos didácticos, probablemente almacenados en repositorios públicos, y los
utilizan para alcanzar determinados objetivos didácticos, mientras el trabajo de los
catalogadores consiste en etiquetar los recursos educativos para que los usuarios
puedan buscarlos, encontrarlos y recuperarlos fácilmente, utilizando ciertos criterios.
Los metadatos son como todo sistema de comunicación: es necesario un consenso
sobre sus términos, definiciones y valores antes de poder establecer una
comunicación fluida.
      </p>
      <p>En la actualidad, LOM se ha convertido en el sistema de comunicación más
significativo y ampliamente utilizado en las aplicaciones de e-learning que utilizan objetos
didácticos. Como estándar descriptivo que es, LOM permite a los catalogadores
proporcionar valores en varios aspectos distintos, permitiendo así a los usuarios decidir si
un objeto didáctico es apropiado o no de cara a obtener un determinado objetivo
didáctico. La falta de una formalización estricta en LOM deja abierto el camino para
que los catalogadores establezcan diferentes valores para la misma dimensión. Esta
situación, y la posibilidad de que diferentes catalogadores –o el mismo en diferentes
momentos– proporcionen diferentes valores para un mismo elemento de metadatos de
un objeto didáctico, hace que la comunicación entre usuarios y catalogadores sea
poco clara. Esta falta de claridad es lo que Wason y Wiley refieren como “ruido”en el
sistema de comunicaciones. En las comunicaciones analógicas, el ruido es un
problema importante que se corrige mucho en las comunicaciones digitales, donde sólo
puede transmitirse un conjunto limitado de valores discretos. El problema del ruido
en los registros de metadatos ha sido abordado en LOM mediante la provisión de
vocabularios que definen un conjunto de valores permitidos para (casi) todos los
elementos de metadatos. Desafortunadamente, no existen vocabularios definidos para
todas las dimensiones del espacio de metadatos de LOM, los que hay no están
conectados a una representación de conocimiento general, y además a un buen
número de elementos sólo se les puede proporcionar un valor mediante descripciones
textuales en lenguaje natural.</p>
      <p>
        Si lo que se desea es que los LMSs se comporten de manera diferente en función de
los valores de los elementos de un registro de metadatos, no debería caber ni
permitirse ninguna forma de incertidumbre. La definición y uso de vocabularios es un
prometedor paso hacia la definición de registros precisos de metadatos, pero no parece
suficiente a la hora de condicionar el comportamiento de los LMS en tiempo de
ejecución. En este sentido, las ontologies han sido propuestas recientemente como
sustitutos de los vocabularios, pues proporcionan descripciones contextuales más ricas y
permiten comportamientos avanzados –ver, por ejemplo [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ]–. Además de lo anterior,
se requiere que los valores de metadatos establezcan su nivel de obligatoriedad (por
ejemplo obligatorio, opcional y recomendado). Los enfoques normativos sobre
metadatos y especificación de procesos tienen como objetivo cubrir estas lagunas, como
veremos en las siguientes secciones.
3 Descripción de requisitos de uso normativos y su efecto en los
objetos didácticos
Cuando se crea o adapta un determinado material didáctico, los diseñadores de
contenidos didácticos consideran dos elementos esenciales a la hora de seleccionar uno u
otro objeto didáctico: interactividad y profundidad de los contenidos desarrollados,
definidos en [
        <xref ref-type="bibr" rid="ref9">9</xref>
        ] como la audiencia a la que van dirigidos y los objetivos didácticos
que se esperan conseguir.
      </p>
      <p>La descripción de las características del alumno viene recogida por los metadatos de
la categoría “Educational” de LOM, aunque de nuevo no se tratan características
fundamentales de los datos que deberán ser requeridas si es necesario automatizar la
adecuación de los contenidos a un determinado alumno. Algunas de estas
características son:</p>
      <p>El uso que el LMS debe hacer de algunos elementos.</p>
      <p>El grado de obligatoriedad de una descripción: opcional, obligatorio, etc.
El grado de credibilidad con que se adquiere un determinado conocimiento o
nivel de competencia mediante el uso de un objeto didáctico.</p>
      <p>La interpretación de algunos elementos según su localización en una
representación conceptual.</p>
      <p>
        Los resultados esperados de un objeto didáctico pueden ser de naturaleza diversa,
dependiendo del efecto que el objeto trate de conseguir. Posiblemente el más obvio
resultado es el conocimiento de alguna material, sin embargo, el desarrollo de
habilidades a menudo es un objetivo en sí mismo, o también el desarrollo de capacidades
sociales o de interacción [
        <xref ref-type="bibr" rid="ref6">6</xref>
        ]. Incluso la consecución de objetivos metacognitivos
puede ser considerada un objetivo de los objetos didácticos y por tanto un resultado
de su utilización tal y como se describe en [
        <xref ref-type="bibr" rid="ref11">11</xref>
        ].
      </p>
      <p>En la actualidad, LOM solamente cubre la descripción de resultados del aprendizaje
de manera vaga mediante elementos como 1.5.Keyword, 1.6.Coverage y 9.1.Purpose.
Sin embargo, la automatización no puede basarse únicamente en estas definiciones.
Parece lógico pensar que, por ejemplo, diferentes alumnos con diferentes formaciones
y bagaje de conocimiento, acabaran alcanzando diferentes objetivos de aprendizaje
tras la utilización de un mismo recurso. Consideremos por ejemplo un objeto
didáctico que trata el uso del genitivo sajón en el idioma inglés, y que incluye ejemplos de
uso avanzado y una evaluación final de conocimientos. Un objeto como ese será
asimilado más fácilmente por alumnos con una sólida base previa de gramática ingles,
incluso aunque los principiantes puedan beneficiarse también, al menos en parte, de
su utilización. El estado actual de las especificaciones de metadatos no permite a los
diseñadores de contenidos educativos establecer claramente el hecho de que
diferentes usuarios se beneficiarán de manera distinta, en términos de resultados, del uso de
un objeto como el descrito. Según esto, será difícil para un sistema automatizado
decidir si debe presentar un objeto como este a un usuario final bajo la premisa de
que no todos los usuarios se benefician de igual forma de su utilización. Esta
situación plantea la necesidad de elementos normativos que permitan a los diseñadores de
objetos didácticos y a los autores de los mismos la posibilidad de definir requisitos de
uso y resultados educativos esperados estandarizados que puedan ser procesados
automáticamente por un sistema software, facilitando así la selección automatizada de
los recursos más apropiados dependiendo de la formación del alumno y de otros
factores.</p>
      <p>
        Un modelo normativo de metadatos de objetos didácticos debería proporcionar una
precisa especificación del comportamiento requerido a un LMS con respecto a cada
elemento. El diseño por contrato de objetos didácticos, [
        <xref ref-type="bibr" rid="ref13">13</xref>
        ] [
        <xref ref-type="bibr" rid="ref12">12</xref>
        ] es una técnica que
proporciona esas capacidades normativas desde el punto de vista de las relaciones
contractuales entre un objeto didáctico y el contexto en el que un LMS lo utiliza. De
igual forma en que la información sobre secuenciación no forma parte de los
metadatos de un objeto didáctico, introduciendo así atributos que no describen el contenido
en sí, la información formal sobre los requisitos de utilización y los resultados
educativos esperados tras la utilización de un objeto didáctico pueden añadirse, tal y como
propone el diseño por contrato de objetos didácticos, en forma de atributos
normativos.
      </p>
      <p>Otro aspecto interesante sobre el que reflexionar es la conceptualización del
conocimiento. Cualquier tipo de modelo normativo para la descripción de objetos didácticos
requeriría, en ultimo término, la presencia de alguna forma de representaciones del
conocimiento para permitir comportamientos más elaborados de los que permiten las
actuales listas de términos lineales o vocabularios de LOM. Las ontologías, como
conceptualizaciones que proporcionan un contexto apropiado para la interpretación
de los metadatos de los objetos didácticos, pueden ser utilizadas:</p>
      <p>
        Como un medio para la representación de niveles de conocimiento del alumno.
Como un mecanismo para la integración de tipos de objetos didácticos, esencial
para el desarrollo de sistemas capaces de seleccionar y presentar objetos. A este
respecto, existe una interesante iniciativa publicada en [
        <xref ref-type="bibr" rid="ref14">14</xref>
        ].
      </p>
      <p>
        Como una forma de proporcionar facilidades para los LMSs, permitidas por la
lógica de descripciones subyacente [
        <xref ref-type="bibr" rid="ref2">2</xref>
        ].
      </p>
      <p>
        Esto ultimo resulta además apropiado para la representación de postcondiciones en
los contratos de los objetos didácticos según se define en [
        <xref ref-type="bibr" rid="ref13">13</xref>
        ]. En resumen, una
combinación de descripciones normativas puede utilizarse como base para
especificaciones ampliadas de metadatos para objetos didácticos que permitan mayores niveles de
automatización.
4 Descripción de los requisitos de tiempo de ejecución de los
procesos de un LMS
En una vista más amplia del e-learning, la entrega final y secuenciación de los
objetos didácticos solo es una parte del proceso completo por lo que la estandarización
debería ampliarse a otros ámbitos, denominada la parte “oculta” de la cadena por
algunos autores [
        <xref ref-type="bibr" rid="ref8">8</xref>
        ]. Algunas especificaciones actuales de B2B como OAGIS2 o
RossetaNet3, pueden adaptarse fácilmente a esta área si consideramos que muchos
procesos de aprendizaje pueden considerarse en el fondo procesos de negocio.
La noción de “perfil de conformidad semántica” descrito en [
        <xref ref-type="bibr" rid="ref15">15</xref>
        ], es una reciente
propuesta para la definición de procesos de aprendizaje en un sentido más amplio.
Dicho concepto integra las ideas del diseño por contrato de objetos didácticos y
apun
      </p>
    </sec>
    <sec id="sec-3">
      <title>2 http://www.openapplications.org/</title>
      <p>3 http://www.rosettanet.org/
ta el uso de estructuras ontológicas como parte integral de la definición de los
procesos.</p>
      <p>La siguiente tabla resume los elementos principales de un perfil semántico orientado a
la composición de objetos (CMP-1).</p>
      <p>Participantes</p>
      <p>Metadatos
- El LMS
- Una colección de
objetos didácticos
candidatos {LOi}
- Apariencia de mezcla.
- Coherencia semántica
- Coherencia de los metadatos</p>
      <p>Elementos requeridos
- LOM 9.Classification
- Separación de
contenidos</p>
      <p>Términos
- Ontología del dominio
conectada con subsumción y
relaciones es-parte-de
- Independencia</p>
      <p>Algoritmo de adecuación A.</p>
      <p>Prerequisitos de tiempo de ejecución</p>
      <p>Implicaciones de tiempo de ejecución
Notaciones como la de los perfiles de conformidad semántica, complementan los
modelos normativos de metadatos con descripciones descriptivas de procesos de
aprendizaje de diferente tipo, ampliando el ámbito de las actuales especificaciones de
las tecnologías de e-learning al área de la integración de sistemas.</p>
      <sec id="sec-3-1">
        <title>Conclusiones</title>
        <p>Los modelos normativos para la descripción de especificaciones y estándares dentro
de las tecnologías de e-learning proporcionan el soporte necesario para la
construcción de software automático o semi-automático que trate diversos aspectos de la
gestión de las experiencias educativas orientadas a Web. Esto es debido al hecho de que
se enfocan a permitir a los implementadores de los LMSs la programación de
comportamientos acordes y por tanto predecibles. Dado que los esquemas de metadatos
de los objetos didácticos son fundamentalmente descriptivos, son necesarias nuevas
técnicas que los complementen en los aspectos normativos. El diseño por contrato de
objetos didácticos y los perfiles de adecuación semántica constituyen dos ejemplos de
técnicas normativas basadas en las actuales especificaciones de la tecnología
educativa. El primer enfoque trata la implementación de metadatos básicos en términos de
condiciones requeridas y objetivos esperados para un objeto didáctico, mientras que
el último se refiere a una vista más amplia del e-learning, proporcionando una técnica
para avanzar en la especificación normativa de diversos procesos de gestión de
objetos didácticos, y un medio flexible de especificar distintos niveles de complejidad e
“inteligencia” en el comportamiento de los LMS.</p>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Anido</surname>
            ,
            <given-names>L. E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fernández</surname>
            ,
            <given-names>M. J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Caeiro</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Santos</surname>
            ,
            <given-names>J. M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rodríguez</surname>
            ,
            <given-names>J. S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Llamas</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          (
          <year>2002</year>
          ).
          <article-title>Educational metadata and brokerage for learning resources</article-title>
          .
          <source>Computers &amp; Education</source>
          ,
          <volume>38</volume>
          (
          <issue>4</issue>
          ),
          <fpage>351</fpage>
          -
          <lpage>374</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Baader</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Calvanese</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>McGuinness</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nardi</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Patel-Schneider</surname>
            ,
            <given-names>P</given-names>
          </string-name>
          . (eds.):
          <article-title>The Description Logic Handbook</article-title>
          .
          <source>Theory, Implementation and Applications</source>
          . Cambridge (
          <year>2003</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <given-names>IEEE</given-names>
            <surname>Learning Technology Standards Committee</surname>
          </string-name>
          (
          <year>2002</year>
          ).
          <article-title>Learning Object Metadata (LOM), Final Draft Standard</article-title>
          , IEEE
          <volume>1484</volume>
          .
          <year>12</year>
          .
          <fpage>1</fpage>
          -
          <lpage>2002</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <given-names>IMS</given-names>
            <surname>Global Learning</surname>
          </string-name>
          <string-name>
            <surname>Consortium</surname>
          </string-name>
          , Inc. (IMS),
          <source>IMS Learning design best practice and implementation guide</source>
          ,
          <year>2003</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Najjar</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ternier</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Duval</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          <article-title>The Actual Use of Metadata in ARIADNE: an Empirical Analysis</article-title>
          .
          <source>ARIADNE Conference</source>
          <year>2003</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Lave</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wenger</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          <article-title>Situated Learning: Legitimate Peripheral Participation</article-title>
          . Cambridge University Press, Cambridge, UK,
          <year>1991</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Lytras</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tsilira</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Themistocleous</surname>
            ,
            <given-names>M.G.</given-names>
          </string-name>
          (
          <year>2003</year>
          ).
          <article-title>Towards the semantic e-Learning: an Ontological Oriented Discussion of the new research agenda in e-Learning</article-title>
          .
          <source>En actas de 9th Americas Conference on Information Systems.</source>
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Lytras</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Pouloudi</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Poulymenakou</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          (
          <year>2002</year>
          ).
          <article-title>Dynamic e-Learning setting through advanced semantics: The value justification of a knowledge management oriented metadata schema</article-title>
          .
          <source>International Journal of e-Learning</source>
          <volume>1</volume>
          (
          <issue>4</issue>
          ),
          <fpage>49</fpage>
          -
          <lpage>61</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Norman</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nicholson</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          <article-title>Designing in a Structured World: Instructional Design and Course Development within an SGML/Structured Information Environment - The Open School Experience</article-title>
          . En actas de ED-MEDIA 99, World Conference on Educational Multimedia, Hypermedia &amp;
          <string-name>
            <surname>Telecommunications</surname>
          </string-name>
          (
          <year>1999</year>
          ),
          <fpage>1448</fpage>
          -
          <lpage>1449</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Pagés</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sicilia</surname>
            ,
            <given-names>M.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>García</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Martínez</surname>
            ,
            <given-names>J.J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Gutiérrez</surname>
            ,
            <given-names>J.M. On</given-names>
          </string-name>
          <article-title>The Evaluation Of Completeness Of Learning Object Metadata In Open Repositories</article-title>
          . En actas de Second International Conference on Multimedia and Information &amp; Communication Technologies in Education (
          <year>2003</year>
          ),
          <fpage>1760</fpage>
          -
          <lpage>1764</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Sánchez-Alonso</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sicilia</surname>
            ,
            <given-names>M. A.</given-names>
          </string-name>
          <year>2003</year>
          .
          <article-title>Expressing meta-cognitive pre- and postconditions in learning object contracts</article-title>
          .
          <source>IEEE Learning Technology Newsletter</source>
          ,
          <volume>5</volume>
          (
          <issue>4</issue>
          ),
          <fpage>7</fpage>
          -
          <lpage>10</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Sánchez-Alonso</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sicilia</surname>
            ,
            <given-names>M. A.</given-names>
          </string-name>
          <year>2003</year>
          .
          <article-title>Expressing preconditions in learning object contracts</article-title>
          . En actas de Second International Conference on Multimedia and Information &amp; Communication Technologies in Education,
          <volume>1656</volume>
          -
          <fpage>1660</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Sicilia</surname>
            ,
            <given-names>M.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sánchez-Alonso</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          <year>2003</year>
          .
          <article-title>On the concept of learning object "Design by Contract"</article-title>
          .
          <source>WSEAS Transactions on Systems</source>
          ,
          <volume>2</volume>
          (
          <issue>3</issue>
          ),
          <fpage>612</fpage>
          -
          <lpage>617</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>Sicilia</surname>
            ,
            <given-names>M.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>García</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sánchez-Alonso</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rodríguez</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          <year>2004</year>
          .
          <article-title>Describing learning object types in ontological structures: towards specialized pedagogical selection</article-title>
          .
          <source>En actas de ED-MEDIA 2004 - World conference on educational multimedia, hypermedia and telecommunications</source>
          , 2093-
          <fpage>2097</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          15.
          <string-name>
            <surname>Sicilia</surname>
            ,
            <given-names>M.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Pagés</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>García</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sánchez-Alonso</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          <year>2004</year>
          .
          <article-title>Specifying semantic conformance profiles in reusable learning object metadata</article-title>
          .
          <source>En actas de 5th International Conference on Information Technology Based Higher Education and Training.</source>
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          16.
          <string-name>
            <surname>Wason</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          , Wiley,
          <string-name>
            <surname>D.</surname>
          </string-name>
          <article-title>Structured Metadata Spaces</article-title>
          .
          <source>Journal of Internet Cataloging, volumen</source>
          <volume>3</volume>
          (
          <issue>2</issue>
          /3), (
          <year>2000</year>
          ),
          <fpage>263</fpage>
          -
          <lpage>277</lpage>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>