<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Units of learning quality evaluation</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>E. Morales</string-name>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>F. García</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>T. Moreira</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>H. Rego</string-name>
          <email>hugo_rego04@sapo.pt</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>A. Berlanga</string-name>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Department of Computer Science, University of Salamanca</institution>
          <addr-line>Plaza de la Merced s/n, 37008 Salamanca</addr-line>
          ,
          <country country="ES">Spain</country>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Department of Theory and History of Education, University of Salamanca Campus Canalejas. Po de Canalejas</institution>
          ,
          <addr-line>169, 37008 Salamanca</addr-line>
          ,
          <country country="ES">Spain</country>
        </aff>
      </contrib-group>
      <abstract>
        <p>Quality in knowledge management is one of the first challenges for e-learning. On the basis of this affirmation, we suggest to the teaching staff of virtual educational organizations an e-learning model with knowledge management capabilities in order to help them manage quality information for course structure development, and also taking into account educational standards. To make it possible we propose to import external learning objects (LOs) like units of learning (UL) according to an educational context. After that, we suggest standardizing these ones with a knowledge model and then to value their quality through an instrument that consider quality criteria from different kind of categories. For an optimal valuation we suggest a strategy and finally to structure UL as content in conformity with the Learning Design standard (LD). In this way quality UL will be storage in organization repository from which teachers may select, modify and reuse contents in the structuring of their courses.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>Valoración de la calidad de unidades de aprendizaje</title>
      <sec id="sec-1-1">
        <title>Resumen</title>
        <p>La gestión de información de calidad es uno de los principales desafíos para lograr un óptimo
funcionamiento del e-learning. Sobre esta base, se propone un modelo para ayudar a los
docentes que impartan cursos a través de este tipo de sistemas a gestionar conocimiento de
calidad para construir cursos en línea con la ayuda de objetos didácticos (OD) que en este caso
se denominarán unidades de aprendizaje (UA) por hacer referencia a aquellos que tienen
sentido pedagógico. Para lograr este objetivo se propone importar UA, estandarizarlas según un
modelo de conocimiento que permita definir el nuevo contexto de utilización y luego valorar su
calidad a través de un instrumento que considere criterios de diversa categoría. Finalmente, se
sugiere la estructuración de las UA conforme al lenguaje de modelado educativo Learning
Design (LD) para luego formar parte del repositorio de la organización educativa con
información de calidad.</p>
      </sec>
      <sec id="sec-1-2">
        <title>Palabras claves</title>
        <p>Gestión del conocimiento, E-learning, Unidad de Aprendizaje, Calidad.</p>
      </sec>
    </sec>
    <sec id="sec-2">
      <title>1. Introducción</title>
      <p>La información de calidad es hoy en día una gran fuente de poder para cualquier
ámbito, la necesidad de obtener conocimiento de valor para la toma de decisiones y
actuar en consecuencia es primordial para la supervivencia de las organizaciones, por
tanto, en el ámbito educativo resulta de vital importancia que la información que
contengan los sistemas e-learning sea de calidad. La idea de utilizar recursos
educativos como objetos didácticos, es decir, como unidades independientes que
pueden ser reutilizadas - producto de la evolución de la Web hacia la semántica
constituye un importante paso hacia la obtención de información de calidad en el
sentido de saber si el objeto es de interés del usuario gracias a la información que
contienen a través de los metadatos (datos sobre los datos). Sin embargo, la gestión de
la información como objetos didácticos sólo permite conocer las características de
éstos pero no significa que su contenido sea de calidad para sus destinatarios. En
cuanto a la valoración de recursos educativos digitales de calidad, existe gran cantidad
de criterios para evaluar recursos según su tipo y tamaño, por ejemplo material
multimedia, textos, sitios web educativos, etc. y a un mayor nivel se encuentran guías
para evaluar la calidad de cursos multimedia, software, etc. Sin embargo para la
evaluación de objetos didácticos se encuentran escasos criterios para valorar su
contenido sin considerar diversos puntos de vista que garanticen una óptima
evaluación.</p>
      <p>La importancia de conocer el tamaño o nivel de granularidad de los recursos es
un asunto de especial importancia para los objetos didácticos. La definición que se
utiliza mayoritariamente es la de LTSC “entidad digital o no digital que puede ser
utilizada, reutilizada o referenciada mientras el aprendizaje sea soportado por
tecnologías” sin embargo, este concepto es demasiado amplio para garantizar una
eficiente gestión de los recursos, por esta razón se empleará la definición adaptada por
Wiley “cualquier recurso digital que puede ser reutilizado para soportar el
aprendizaje”, sobre esta base se hará referencia a objetos didácticos que no tengan un
nivel de granularidad mínimo (vídeo, texto, etc.) sino, a los que contengan una unidad
mínima de aprendizaje con sentido pedagógico, por ejemplo, un sitio Web que trate
un tema específico con texto, imágenes, etc. Por esta razón los objetos que cumplan
esta condición serán denominados unidad de aprendizaje (UA). De esta manera será
más fácil valorar la utilidad del objeto ya que se encuentran dentro de un contexto con
sentido pedagógico que podrían ser reutilizados en nuevas situaciones educativas y así
contribuir a la formación de un repositorio de contenidos de calidad que ayude a los
docentes a seleccionar contenidos relevantes para construir sus cursos en un sistema
e-learning.</p>
      <p>Para lograr este objetivo en la sección 2, se sugieren aspectos a considerar para
importar objetos didácticos. En la sección 3, se propone un modelo de conocimiento
para estandarizar los objetos importados. Para valorar estos objetos ya clasificados, en
la sección 4 se propone un instrumento con criterios de calidad, junto a una estrategia
explicada en la sección 5 para valorar de forma óptima la preevaluación de los
objetos. De esta forma, los objetos de calidad quedarán registrados en repositorio de
la organización para que los docentes puedan construir las unidades de aprendizaje
que conformarán sus cursos. Para lograr una mejor comprensión de la propuesta, se
presenta a modo de ejemplo algunas imágenes de un prototipo que se está
desarrollando. Finalmente en la sección 6 se exponen las conclusiones y el trabajo
futuro.</p>
    </sec>
    <sec id="sec-3">
      <title>2. Importación de unidades de aprendizaje</title>
      <p>El repositorio de UA de una organización de enseñanza virtual puede ser mayormente
enriquecido si se gestionan objetos provenientes de diversas fuentes externas, de esta
manera se amplía el horizonte en la búsqueda de recursos que puedan ser de utilidad
para lograr los objetivos de enseñanza. De acuerdo a esto, las UA a importar deben
ser seleccionados según una serie de factores que están dentro del contexto de
enseñanza, como por ejemplo las necesidades educativas, prioridades, expectativas de
las personas involucradas y la organización, etc. [17].</p>
      <p>Por otra parte, para seleccionar recursos educativos [10] sugiere tener en cuenta:
objetivos educativos, los contenidos que se van a tratar, las características de los
estudiantes: capacidades, estilos cognitivos, etc., las características del contexto
(físico, curricular, etc.) y las estrategias didácticas que se pueden diseñar
considerando la utilización del material.</p>
      <p>A modo de síntesis, para la búsqueda y selección de UA, se sugiere tomar en
cuenta lo siguiente:
•
•</p>
      <p>Para la búsqueda: Es importante tener en cuenta el tema del curso y los
contenidos a tratar para definir palabras claves que permitan realizar la
búsqueda.</p>
      <p>Para la selección: Se deben considerar los objetivos a alcanzar en la
unidad según el contexto de la nueva situación educativa para procurar
que las UA seleccionadas sirvan para cumplir esos objetivos. También
se deben considerar los requisitos de los usuarios (estructura
psicológica) debido a que ayudan a seleccionar los recursos según el
perfil éstos.</p>
      <p>Una vez definidos los aspectos asociados al contexto, se pueden definir palabras
claves para la búsqueda de las UA. A modo de ejemplo, la figura 1 representa la idea
implementada en el prototipo sobre los elementos a considerar. De acuerdo a ella, la
búsqueda se podría realizar por medio de una palabra clave u otros descriptores como
el título si es que se sabe y/o alguna palabra que pudiese coincidir con la descripción
de la unidad. Para no limitar la búsqueda se da opción a escoger diferentes idiomas en
que pudiesen estar estas unidades o buscar por autor de forma opcional. De esta
manera el buscador mostrará un listado de las coincidencias en caso de que se
encuentren.</p>
      <p>AND
OR</p>
      <sec id="sec-3-1">
        <title>Palabras clave</title>
      </sec>
      <sec id="sec-3-2">
        <title>Título</title>
      </sec>
      <sec id="sec-3-3">
        <title>Descripción</title>
        <p>Lenguaje (opcional)
Español
Nombre del autor
(opcional)</p>
      </sec>
      <sec id="sec-3-4">
        <title>Buscar</title>
      </sec>
      <sec id="sec-3-5">
        <title>Borrar</title>
        <p>Figura 1. Ejemplo de búsqueda de unidades de aprendizaje</p>
        <p>Otra forma de buscar las UA es por medio de una inspección del repositorio de
información de la organización educativa, es decir, dar la posibilidad de ver a través
de un índice todo el contenido del repositorio para luego revisar las UA que se
deseen. Un ejemplo de inspección podría ser la búsqueda según el título o el autor,
como muestra la figura 2.</p>
        <p>Título
Algebra
El cuerpo humano
Geografía universal
Historia de España
Literatura española
Matemática aplicada
Web semántica</p>
        <p>Autores
ACE b net
Gorissen, Pierre
Tattersall, Colin
Lorenzo Martín
Manderveld, Jocelyn;
Berners Lee
Koper, Rob; Wagemans, Leo; Varwijk, Peter;Vegt
van der, Wim
Figura 2. Ejemplo de búsqueda de unidades de aprendizaje por inspección</p>
        <p>Una vez localizada la unidad de aprendizaje en el repositorio de
almacenamiento, el docente podrá visualizar una información global sobre
ellas, tal como muestra la figura 3.</p>
        <p>Lenguaje</p>
        <p>Titulo
Autores</p>
        <p>Español
Concepto de Internet
Koper, Rob
Este curso introductorio al mundo de Internet pretende darte una
visión general de qué es, para qué sirve y cómo se utiliza Internet.</p>
        <p>Una de las características de Internet es la enorme cantidad de
Descripción información que contiene y a la que se puede acceder de forma
libre en la mayoría de los casos. El principal inconveniente es
encontrar rápidamente lo que uno busca, esperamos poder
ayudarte a conseguirlo.</p>
        <p>Palabras clave Internet, ordenador</p>
        <p>Figura 3. Visualización de información sobre las unidades de aprendizaje
Si se desea saber más información sobre las UA la herramienta permitirá ver a
través de hipervínculos los metadatos con todas sus categorías. Dentro de éstas se
recomienda revisar la categoría educativa ya que contiene información pedagógica
sobre la UA.</p>
        <p>Por otra parte, si estas unidades ya se encuentran diseñadas con el lenguaje de
modelado educativo LD [6] se dará la posibilidad de ver cada uno de los componentes
de este lenguaje tal como muestra la figura 4.</p>
        <p>metadatos
learning design
objetivos
prerrequisitos
roles
actividades
entornos
método
recursos
otros paquetes</p>
        <p>Figura 4. Visualización de los metadatos y componentes de las UA</p>
        <p>La posibilidad de conocer más información sobre las UA gracias a los metadatos
[5] permite saber si éstas realmente se ajustan a las necesidades educativas que se
deben tener en cuenta para su reutilización, de ser así, se puede proceder a su
normalización, de lo contrario se pueden realizar nuevas búsquedas.</p>
      </sec>
    </sec>
    <sec id="sec-4">
      <title>3. Normalización a través de modelo de conocimiento</title>
      <p>El desarrollo de teorías de diseño instruccional que soporten la creación de objetos
didácticos no ha sido uno de los ámbitos más investigados sobre ellos y aún existen
muchas interrogantes en cuanto a cómo debería ser este diseño. Actualmente se
encuentran algunas propuestas como [2,12,16,17] pero no una que sea ampliamente
utilizada. Si se desea importar UA lo más probable es que obedezcan a diversas
estructuras, ya sea en cuanto a tipo y cantidad de contenidos, actividades, etc. Es así
como para acceder a información de fuentes externas es necesario normalizar los
objetos didácticos importados. Para conseguir este objetivo, es necesario definir un
modelo de conocimiento como el que se sugiere a continuación.</p>
      <sec id="sec-4-1">
        <title>Nivel</title>
        <p>Se divide</p>
        <p>Básic
Medio
Avanzad</p>
        <p>Se clasifican en
Define
Se basa en
d
a
ro ijd
en lep
M m
o
c
d
a
ro ijd
ay lep
M m
o
c</p>
        <p>Profesor(es)</p>
        <p>tiene</p>
      </sec>
      <sec id="sec-4-2">
        <title>Objetivo</title>
        <p>Conocer…
Comprend
Aplicar…
Analizar
Sintetizar
Evaluar…
Se basa en
Importa y
Se basan
Se basan
Se basan</p>
      </sec>
      <sec id="sec-4-3">
        <title>Tipo de</title>
        <p>Se clasifican en</p>
        <p>Se clasifican en
Datos y conceptos</p>
        <p>Procedimientos y
Reflexión y actitudes</p>
      </sec>
      <sec id="sec-4-4">
        <title>Contexto</title>
        <p>Requisitos de los
usuarios,
estrategias</p>
      </sec>
      <sec id="sec-4-5">
        <title>Objetos de Aprendizaje</title>
        <p>Vídeos, textos, gráficos,</p>
      </sec>
      <sec id="sec-4-6">
        <title>Tipo de actividade</title>
        <p>Se desarrollan</p>
        <p>Se clasifican en
Iniciació
Reestructuraci</p>
        <p>Aplicación</p>
        <p>Figura 5. Modelo de conocimiento</p>
        <p>La figura 5 representa los componentes del modelo de conocimiento propuesto y
las relaciones entre ellos. En primer lugar de acuerdo al contexto de aprendizaje, en la
definición de objetivos didácticos se propone su clasificación según el dominio
cognitivo de la taxonomía de Bloom [1] Esto es porque se refiere a objetivos
relacionados al dominio cognitivo que son más fáciles de evaluar en un entorno
virtual y además se encuentran divididos en grados de menor o mayor complejidad.
Como se observa en la figura 1 los objetivos propuestos deben ser considerados en el
nivel de dificultad, en la importación y selección de objetos didácticos y en la
clasificación de los tipos de contenidos y de actividades.</p>
        <p>Para establecer el grado de dificultad de los aprendizajes se proponen tres niveles
de complejidad: básico, medio y avanzado. La definición de estos niveles facilitará la
selección de las UA para su reutilización según los objetivos propuestos.</p>
        <p>Sin embargo, la clasificación de las UA según un modelo de conocimiento no es
suficiente para garantizar su calidad.</p>
      </sec>
    </sec>
    <sec id="sec-5">
      <title>4. Valoración de los objetos de aprendizaje</title>
      <p>El concepto de calidad puede resultar bastante amplio si no se especifica su
aplicación. En el ámbito educativo uno de los factores más importantes para que
cualquier tipo de material instructivo sea de calidad es que sea de utilidad para el
logro de aprendizajes, a partir de esa idea existe una gran cantidad de criterios para
evaluar la calidad de estos recursos, en el caso de los de tipo digital se encuentra por
ejemplo la valoración de material multimedia y sitios Web [8,9,14]</p>
      <p>Sobre la base de esta idea, para valorar los objetos didácticos de forma integral,
se deben considerar criterios de calidad para recursos digitales desde diversas
categorías [13,17] y así tomar en cuenta diversos puntos de vista para un mismo
objeto, así como también modelos para la evaluación de objetos didácticos [11,13,17]
De acuerdo a esto se sugiere un instrumento que presenta criterios de valoración
clasificados en cuatro categorías para valorar aspectos pedagógicos, curriculares,
técnicos y funcionales. La tabla 1 presenta algunos de estos criterios.</p>
      <sec id="sec-5-1">
        <title>Criterios</title>
      </sec>
      <sec id="sec-5-2">
        <title>Aspectos psicopedagógicos (30%)</title>
        <p>- Capacidad de motivación
- Adecuación a los destinatarios
Aspectos didáctico-curriculares (30%)
- Promueve habilidades metacognitivas
- Participación activa,
- Plantea actividades problemáticas, aprendizaje por
descubrimiento, etc.
- Promueve trabajo colaborativo y cooperativo,
- Es reutilizable.</p>
      </sec>
      <sec id="sec-5-3">
        <title>Aspectos técnicos-estéticos (20%)</title>
        <p>- Colores, tamaño, resolución
- Diseño de interfaz</p>
      </sec>
      <sec id="sec-5-4">
        <title>Aspectos funcionales (20%)</title>
        <p>Facilidad de uso, accesibilidad, eficacia
publicidad, navegación, velocidad, etc.</p>
        <p>Tabla 1. Criterios de calidad y valoración de la información</p>
        <p>Aspectos psicopedagógicos (30%): Se refiere a criterios pedagógicos
relacionados con la sicología del aprendizaje, que permitan valorar si el objeto es
adecuado a las características de los alumnos, por ejemplo si es capaz de motivar
al alumno, si considera sus características en cuanto a profundidad, relevancia
disciplinar, etc.</p>
        <p>Aspectos didáctico-curriculares (30%): Son criterios que permiten valorar si
ese objeto está relacionado con los objetivos del currículo y la enseñanza según el
contexto en el que se aplicará, por ejemplo si ayuda a conseguir los objetivos de
la unidad de aprendizaje, si promueve el desarrollo de habilidades
metacognitivas, participación activa, etc.</p>
        <p>Aspectos técnicos-estéticos (20%): La consideración de criterios técnicos y
estéticos son importantes para realizar una valoración integral de la calidad y
evitar que las UA sean rechazados por parte de los usuarios y los desmotiven en
su proceso de aprendizaje. Entre los criterios se encuentran: legibilidad, contraste
de colores, tamaño adecuado, diseño de interfaz, etc.</p>
        <p>Aspectos funcionales (20%): Valorar la funcionalidad, sin duda tiene mucho
que ver con la calidad, si el objeto no funciona adecuadamente aunque sea bueno
en otros aspectos, simplemente puede ayudar a entorpecer el aprendizaje de los
alumnos.</p>
        <p>Dentro de los aspectos mencionados, la valoración de tipo psicopedagógica y
didáctico-curricular tienen en un contexto educativo más importancia que los aspectos
técnicos-estéticos y funcionales. Un recurso didáctico puede estar muy bien hecho y
funcionar muy bien pero si no es adecuado a las características de los destinatarios o
los objetivos de enseñanza no será de utilidad, por tanto, no se pueden evaluar todas
las categorías con la misma puntuación. Por este motivo, los de más importancia
llevan un 30% y los otros un 20%. En cuanto al rango de valoración, se propone del 0
al 5, como se muestra a continuación.</p>
        <p>Rango: 0 = No presenta el criterio; 1 = Presenta el criterio de forma muy baja; 2 =
Presenta el criterio de forma baja; 3 = Presenta el criterio medianamente, 4 = Presenta
el criterio de forma alta, 5 = Presenta el criterio de forma muy alta.</p>
        <p>Para obtener el resultado final, se promedia la puntuación obtenida por cada
objeto según el rango y se le aplica el porcentaje de la categoría correspondiente.</p>
      </sec>
    </sec>
    <sec id="sec-6">
      <title>5. Estrategia para la valoración de unidades de aprendizaje</title>
      <p>Debido a que una óptima valoración de las UA contempla criterios de diversas
categorías, es conveniente que para la evaluación participen expertos de diversos
ámbitos [13,17] por ejemplo: Diseñadores instruccionales, directivos, docentes, etc.
La participación de al menos un representante de cada área permitirá tener no sólo
diversos puntos de vista sobre la evaluación de una misma unidad, sino también, una
evaluación crítica, objetiva y fiable sobre su calidad.</p>
      <p>Para utilizar el instrumento de valoración, se sugiere dos modalidades: de forma
asincrónica y sincrónica. La valoración individual de manera asincrónica permite una
primera apreciación sobre la calidad de las UA de acuerdo al juicio de cada
participante. La posibilidad de hacerlo posteriormente de forma sincrónica (sistema en
línea o presencial), permite contrastar la evaluación individual con la de los demás
expertos y compartir diferentes puntos de vista que permitan mejorar la valoración.
En caso de que no se llegue a un consenso, deberán quedar registrados los puntos
discordantes de la UA correspondiente para ser considerados en su reutilización.</p>
      <p>Una vez hecha la valoración final, las UA de calidad quedarán registrados en el
repositorio de la organización educativa para que el profesor las pueda seleccionar
cuando desee estructurar su curso. Sin embargo, la valoración de las UA no es
definitiva. Una vez que se utiliza la unidad se aconseja una nueva evaluación que
contemple la valoración de los alumnos y comentarios del profesor(es) para ser
considerados en su reutilización. Cada situación educativa es diferente, por tanto, los
objetos deberán ser evaluados siempre que se desee estructurar un curso.</p>
      <p>Finalmente, se requiere enlazar las UA para estructurar los cursos, para conseguir
este objetivo se sugiere el lenguaje de modelado educativo IMS LD [7] debido a que
se basa en unidades de aprendizaje formadas por paquetes “content packaging” [5] y
una estructura flexible a la incorporación de modelos de aprendizaje.</p>
    </sec>
    <sec id="sec-7">
      <title>3. Conclusión</title>
      <p>Esta propuesta constituiría un aporte a todas las organizaciones que deseen alimentar
su sistema de e-learning con información de calidad, puesto que se trata de una
propuesta genérica que puede ser aplicada a cualquier materia cuyos destinatarios
sean estudiantes de educación superior. Los docentes podrían acceder a recursos
educativos de su interés para estructurar sus cursos en-línea. Una vez obtenidos los
recursos, el instrumento creado para valorar los objetos de aprendizaje junto a la
estrategia para su valoración les permitiría evaluar los objetos y guardar en el
repositorio de la organización los que sean de una mejor calidad, sobre esta base se
estructurarían posteriormente los cursos para el e-learning.</p>
      <p>De esta forma se pretende que los alumnos a participar en este tipo de sistema de
enseñanza disfruten de contenidos y actividades no sólo de calidad pedagógica, sino
también técnica y funcional. Por otra parte, la aplicación de esta propuesta permitirá
promover una reflexión en los docentes sobre la planificación de la enseñanza en
cuanto a la búsqueda y calidad de recursos educativos. Como trabajo futuro se
realizará la implementación de esta propuesta para hacer los ajustes pertinentes.
Agradecimientos
Deseamos manifestar nuestro agradecimiento al grupo AWEG –Adaptive Web
Engineering Group – de la Universidad de Salamanca por sus contribuciones e ideas
en el desarrollo de este trabajo y a CONICYT (Corporación Nacional de Ciencia y
Tecnología de Chile). Este trabajo ha sido parcialmente financiado por el proyecto
SA017/02 de la Junta de Castilla y León (España) y el proyecto ODISEAME (Open
distance Interuniversity Synergies between Europe, Africa and Middle East), ref.
EUMEDIS B7-41100/2000/2165-79 P546.
IMS
(2003)</p>
      <p>Learning</p>
      <p>Design Specification., http://www.imsglobal.org/learningdesign/index.cfm</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          <string-name>
            <surname>Bloom</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          :
          <article-title>Taxonomy of Educational Objectives: Handbook I, Cognitive Domain</article-title>
          . David
          <string-name>
            <surname>McKay</surname>
          </string-name>
          (
          <year>1956</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          <string-name>
            <given-names>Cisco</given-names>
            <surname>System</surname>
          </string-name>
          . “
          <article-title>Reusable Learning Object Strategy, Definition Creation Process and Guidelines for Building”</article-title>
          ,
          <source>version 3.1. Technical Report</source>
          (
          <year>2000</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          <string-name>
            <surname>Gibbs</surname>
            ,
            <given-names>W.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Graves</surname>
            ,
            <given-names>P. R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bermas</surname>
            ,
            <given-names>R. S.</given-names>
          </string-name>
          :
          <article-title>Evaluation guidelines for multimedia courseware</article-title>
          .
          <source>Journal of Research on Technology in Education</source>
          ,
          <volume>34</volume>
          (
          <issue>1</issue>
          ),
          <fpage>2</fpage>
          -
          <lpage>17</lpage>
          (
          <year>2001</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          <string-name>
            <surname>LTSC</surname>
          </string-name>
          .
          <article-title>Learning technology standards committee website</article-title>
          . Disponible en http://ltsc.ieee.org/wg12/index.html (
          <year>2002</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          <string-name>
            <surname>IMS Content</surname>
          </string-name>
          <article-title>Packaging</article-title>
          ., http://www.imsglobal.org/content/packaging/index.cfm (
          <year>2003</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          <string-name>
            <surname>Marquès</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          : Criterios de calidad para los espacios web de interés educativo. Disponible en http://dewey.uab.es/pmarques/caliweb.htm (
          <year>2000</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <string-name>
            <surname>Marquès</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          : Elaboración de materiales formativos multimedia. Criterios de calidad. Disponible en http://dewey.uab.es/pmarques (
          <year>2000</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          <string-name>
            <surname>Marquès</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          :
          <article-title>Orientaciones para la selección de materiales didácticos</article-title>
          . Disponible en http://dewey.uab.es/pmarques (
          <year>2001</year>
          )
          <article-title>(última</article-title>
          revisión:
          <volume>29</volume>
          /07/03)
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          http://merlot.org (
          <year>2003</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          <string-name>
            <surname>Moreno</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bailly-Baillière</surname>
            <given-names>M. “</given-names>
          </string-name>
          <article-title>Diseño instructivo de la formación on-line. Aproximación metodológica a la elaboración de contenidos”</article-title>
          .
          <source>Editorial Ariel Educación</source>
          . (
          <year>2002</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          <string-name>
            <surname>Nesbit</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Belfer</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Vargo</surname>
            ,
            <given-names>J.:</given-names>
          </string-name>
          <article-title>A convergent participation model for evaluation of learning objects</article-title>
          .
          <source>Canadian Journal of Learning and Technology</source>
          . Volume
          <volume>28</volume>
          (
          <issue>3</issue>
          ) Fall / autumn (
          <year>2002</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          <string-name>
            <surname>Nielsen</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          : Usabilidad, Diseño de sitios Web.
          <source>ISBN 84-205-3008-5</source>
          . Prentice Hall Madrid (
          <year>2000</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          <string-name>
            <surname>Wiley</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          <article-title>A. Learning object design and sequencing theory</article-title>
          .
          <source>Unpublished Doctoral Dissertation</source>
          , Bringham Young University, Provo, UT. Disponible en http://davidwiley.com/papers/dissertation/ dissertation.pdf (
          <year>2000</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          <string-name>
            <surname>Wiley</surname>
            ,
            <given-names>D. A.</given-names>
          </string-name>
          <article-title>Connecting learning objects to instructional design theory: A definition, a metaphor, and a taxonomy</article-title>
          . In D. A. Wiley (Ed.),
          <source>The Instructional Use of Learning Objects: Online Version. Retrieved MONTH DAY, YEAR</source>
          , from the World Wide Web: http://reusability.org/read/chapters/wiley.doc. (
          <year>2000</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          <string-name>
            <surname>Williams</surname>
            ,
            <given-names>D. D.</given-names>
          </string-name>
          <article-title>Evaluation of LOs and instruction using LOs</article-title>
          . In D. A. Wiley (Ed.), The instructional use of LOs [Electronic version].
          <source>Retrieved April</source>
          <volume>18</volume>
          , from http://reusability.org/read/chapters/williams.doc (
          <year>2000</year>
          )
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>