=Paper=
{{Paper
|id=Vol-117/paper-29
|storemode=property
|title=Units of learning quality evaluation
|pdfUrl=https://ceur-ws.org/Vol-117/paper29.pdf
|volume=Vol-117
}}
==Units of learning quality evaluation==
https://ceur-ws.org/Vol-117/paper29.pdf
Units of learning quality evaluation
E. Morales1, F. García2, T. Moreira2, H. Rego2, A. Berlanga1
1 Department of Theory and History of Education, University of Salamanca
Campus Canalejas. Pº de Canalejas, 169, 37008 Salamanca, Spain
solis15@usal.es, solis13@usal.es
2 Department of Computer Science, University of Salamanca
Plaza de la Merced s/n, 37008 Salamanca, Spain
fgarcia@usal.es, thm@mail.pt, hugo_rego04@sapo.pt
Abstract. Quality in knowledge management is one of the first challenges for
e-learning. On the basis of this affirmation, we suggest to the teaching staff of
virtual educational organizations an e-learning model with knowledge
management capabilities in order to help them manage quality information for
course structure development, and also taking into account educational
standards. To make it possible we propose to import external learning objects
(LOs) like units of learning (UL) according to an educational context. After
that, we suggest standardizing these ones with a knowledge model and then to
value their quality through an instrument that consider quality criteria from
different kind of categories. For an optimal valuation we suggest a strategy and
finally to structure UL as content in conformity with the Learning Design
standard (LD). In this way quality UL will be storage in organization repository
from which teachers may select, modify and reuse contents in the structuring of
their courses.
Valoración de la calidad de unidades de aprendizaje
E. Morales1, F. García2, T. Moreira2, H. Rego2, A. Berlanga1,
Universidad de Salamanca, Instituto de Ciencias de la Educación, España
1
solis15@usal.es, solis13@usal.es,
2 Universidad de Salamanca, Departamento de Informática y Automática, España
fgarcia@usal.es, thm@mail.pt, hugo_rego03@hotmail.com
Resumen
La gestión de información de calidad es uno de los principales desafíos para lograr un óptimo
funcionamiento del e-learning. Sobre esta base, se propone un modelo para ayudar a los
docentes que impartan cursos a través de este tipo de sistemas a gestionar conocimiento de
calidad para construir cursos en línea con la ayuda de objetos didácticos (OD) que en este caso
se denominarán unidades de aprendizaje (UA) por hacer referencia a aquellos que tienen
sentido pedagógico. Para lograr este objetivo se propone importar UA, estandarizarlas según un
modelo de conocimiento que permita definir el nuevo contexto de utilización y luego valorar su
calidad a través de un instrumento que considere criterios de diversa categoría. Finalmente, se
sugiere la estructuración de las UA conforme al lenguaje de modelado educativo Learning
Design (LD) para luego formar parte del repositorio de la organización educativa con
información de calidad.
Palabras claves
Gestión del conocimiento, E-learning, Unidad de Aprendizaje, Calidad.
1. Introducción
La información de calidad es hoy en día una gran fuente de poder para cualquier
ámbito, la necesidad de obtener conocimiento de valor para la toma de decisiones y
actuar en consecuencia es primordial para la supervivencia de las organizaciones, por
tanto, en el ámbito educativo resulta de vital importancia que la información que
contengan los sistemas e-learning sea de calidad. La idea de utilizar recursos
educativos como objetos didácticos, es decir, como unidades independientes que
pueden ser reutilizadas - producto de la evolución de la Web hacia la semántica -
constituye un importante paso hacia la obtención de información de calidad en el
sentido de saber si el objeto es de interés del usuario gracias a la información que
contienen a través de los metadatos (datos sobre los datos). Sin embargo, la gestión de
la información como objetos didácticos sólo permite conocer las características de
éstos pero no significa que su contenido sea de calidad para sus destinatarios. En
cuanto a la valoración de recursos educativos digitales de calidad, existe gran cantidad
de criterios para evaluar recursos según su tipo y tamaño, por ejemplo material
multimedia, textos, sitios web educativos, etc. y a un mayor nivel se encuentran guías
para evaluar la calidad de cursos multimedia, software, etc. Sin embargo para la
evaluación de objetos didácticos se encuentran escasos criterios para valorar su
contenido sin considerar diversos puntos de vista que garanticen una óptima
evaluación.
La importancia de conocer el tamaño o nivel de granularidad de los recursos es
un asunto de especial importancia para los objetos didácticos. La definición que se
utiliza mayoritariamente es la de LTSC “entidad digital o no digital que puede ser
utilizada, reutilizada o referenciada mientras el aprendizaje sea soportado por
tecnologías” sin embargo, este concepto es demasiado amplio para garantizar una
eficiente gestión de los recursos, por esta razón se empleará la definición adaptada por
Wiley “cualquier recurso digital que puede ser reutilizado para soportar el
aprendizaje”, sobre esta base se hará referencia a objetos didácticos que no tengan un
nivel de granularidad mínimo (vídeo, texto, etc.) sino, a los que contengan una unidad
mínima de aprendizaje con sentido pedagógico, por ejemplo, un sitio Web que trate
un tema específico con texto, imágenes, etc. Por esta razón los objetos que cumplan
esta condición serán denominados unidad de aprendizaje (UA). De esta manera será
más fácil valorar la utilidad del objeto ya que se encuentran dentro de un contexto con
sentido pedagógico que podrían ser reutilizados en nuevas situaciones educativas y así
contribuir a la formación de un repositorio de contenidos de calidad que ayude a los
docentes a seleccionar contenidos relevantes para construir sus cursos en un sistema
e-learning.
Para lograr este objetivo en la sección 2, se sugieren aspectos a considerar para
importar objetos didácticos. En la sección 3, se propone un modelo de conocimiento
para estandarizar los objetos importados. Para valorar estos objetos ya clasificados, en
la sección 4 se propone un instrumento con criterios de calidad, junto a una estrategia
explicada en la sección 5 para valorar de forma óptima la preevaluación de los
objetos. De esta forma, los objetos de calidad quedarán registrados en repositorio de
la organización para que los docentes puedan construir las unidades de aprendizaje
que conformarán sus cursos. Para lograr una mejor comprensión de la propuesta, se
presenta a modo de ejemplo algunas imágenes de un prototipo que se está
desarrollando. Finalmente en la sección 6 se exponen las conclusiones y el trabajo
futuro.
2. Importación de unidades de aprendizaje
El repositorio de UA de una organización de enseñanza virtual puede ser mayormente
enriquecido si se gestionan objetos provenientes de diversas fuentes externas, de esta
manera se amplía el horizonte en la búsqueda de recursos que puedan ser de utilidad
para lograr los objetivos de enseñanza. De acuerdo a esto, las UA a importar deben
ser seleccionados según una serie de factores que están dentro del contexto de
enseñanza, como por ejemplo las necesidades educativas, prioridades, expectativas de
las personas involucradas y la organización, etc. [17].
Por otra parte, para seleccionar recursos educativos [10] sugiere tener en cuenta:
objetivos educativos, los contenidos que se van a tratar, las características de los
estudiantes: capacidades, estilos cognitivos, etc., las características del contexto
(físico, curricular, etc.) y las estrategias didácticas que se pueden diseñar
considerando la utilización del material.
A modo de síntesis, para la búsqueda y selección de UA, se sugiere tomar en
cuenta lo siguiente:
• Para la búsqueda: Es importante tener en cuenta el tema del curso y los
contenidos a tratar para definir palabras claves que permitan realizar la
búsqueda.
• Para la selección: Se deben considerar los objetivos a alcanzar en la
unidad según el contexto de la nueva situación educativa para procurar
que las UA seleccionadas sirvan para cumplir esos objetivos. También
se deben considerar los requisitos de los usuarios (estructura
psicológica) debido a que ayudan a seleccionar los recursos según el
perfil éstos.
Una vez definidos los aspectos asociados al contexto, se pueden definir palabras
claves para la búsqueda de las UA. A modo de ejemplo, la figura 1 representa la idea
implementada en el prototipo sobre los elementos a considerar. De acuerdo a ella, la
búsqueda se podría realizar por medio de una palabra clave u otros descriptores como
el título si es que se sabe y/o alguna palabra que pudiese coincidir con la descripción
de la unidad. Para no limitar la búsqueda se da opción a escoger diferentes idiomas en
que pudiesen estar estas unidades o buscar por autor de forma opcional. De esta
manera el buscador mostrará un listado de las coincidencias en caso de que se
encuentren.
Palabras clave
AND Título
OR Descripción
Lenguaje (opcional) Español
Nombre del autor
(opcional)
Buscar Borrar
Figura 1. Ejemplo de búsqueda de unidades de aprendizaje
Otra forma de buscar las UA es por medio de una inspección del repositorio de
información de la organización educativa, es decir, dar la posibilidad de ver a través
de un índice todo el contenido del repositorio para luego revisar las UA que se
deseen. Un ejemplo de inspección podría ser la búsqueda según el título o el autor,
como muestra la figura 2.
Título Autores
Algebra ACE b net
El cuerpo humano Gorissen, Pierre
Geografía universal Tattersall, Colin
Historia de España Lorenzo Martín
Literatura española Manderveld, Jocelyn;
Koper, Rob; Wagemans, Leo; Varwijk, Peter;Vegt
Matemática aplicada
van der, Wim
Web semántica Berners Lee
Figura 2. Ejemplo de búsqueda de unidades de aprendizaje por inspección
Una vez localizada la unidad de aprendizaje en el repositorio de
almacenamiento, el docente podrá visualizar una información global sobre
ellas, tal como muestra la figura 3.
Lenguaje Español
Titulo Concepto de Internet
Autores Koper, Rob
Este curso introductorio al mundo de Internet pretende darte una
visión general de qué es, para qué sirve y cómo se utiliza Internet.
Una de las características de Internet es la enorme cantidad de
Descripción información que contiene y a la que se puede acceder de forma
libre en la mayoría de los casos. El principal inconveniente es
encontrar rápidamente lo que uno busca, esperamos poder
ayudarte a conseguirlo.
Palabras clave Internet, ordenador
Figura 3. Visualización de información sobre las unidades de aprendizaje
Si se desea saber más información sobre las UA la herramienta permitirá ver a
través de hipervínculos los metadatos con todas sus categorías. Dentro de éstas se
recomienda revisar la categoría educativa ya que contiene información pedagógica
sobre la UA.
Por otra parte, si estas unidades ya se encuentran diseñadas con el lenguaje de
modelado educativo LD [6] se dará la posibilidad de ver cada uno de los componentes
de este lenguaje tal como muestra la figura 4.
metadatos
learning design
objetivos
prerrequisitos
roles
actividades
entornos
método
recursos
otros paquetes
Figura 4. Visualización de los metadatos y componentes de las UA
La posibilidad de conocer más información sobre las UA gracias a los metadatos
[5] permite saber si éstas realmente se ajustan a las necesidades educativas que se
deben tener en cuenta para su reutilización, de ser así, se puede proceder a su
normalización, de lo contrario se pueden realizar nuevas búsquedas.
3. Normalización a través de modelo de conocimiento
El desarrollo de teorías de diseño instruccional que soporten la creación de objetos
didácticos no ha sido uno de los ámbitos más investigados sobre ellos y aún existen
muchas interrogantes en cuanto a cómo debería ser este diseño. Actualmente se
encuentran algunas propuestas como [2,12,16,17] pero no una que sea ampliamente
utilizada. Si se desea importar UA lo más probable es que obedezcan a diversas
estructuras, ya sea en cuanto a tipo y cantidad de contenidos, actividades, etc. Es así
como para acceder a información de fuentes externas es necesario normalizar los
objetos didácticos importados. Para conseguir este objetivo, es necesario definir un
modelo de conocimiento como el que se sugiere a continuación.
Contexto
Se basa en Requisitos de los
Define Profesor(es) usuarios,
estrategias
tiene Importa y
Se basa en Se basan
Nivel Objetivo Objetos de Aprendizaje
Se clasifican en Vídeos, textos, gráficos,
Se divide Se basan
complejidad
Conocer… Se basan Se clasifican en
Menor
Básic Tipo de
Comprend Tipo de actividade
Se clasifican en Se desarrollan Se clasifican en
Aplicar…
Medio
Iniciació
complejidad
Analizar Datos y conceptos
Mayor
Sintetizar Procedimientos y Reestructuraci
Avanzad
Evaluar… Reflexión y actitudes Aplicación
Figura 5. Modelo de conocimiento
La figura 5 representa los componentes del modelo de conocimiento propuesto y
las relaciones entre ellos. En primer lugar de acuerdo al contexto de aprendizaje, en la
definición de objetivos didácticos se propone su clasificación según el dominio
cognitivo de la taxonomía de Bloom [1] Esto es porque se refiere a objetivos
relacionados al dominio cognitivo que son más fáciles de evaluar en un entorno
virtual y además se encuentran divididos en grados de menor o mayor complejidad.
Como se observa en la figura 1 los objetivos propuestos deben ser considerados en el
nivel de dificultad, en la importación y selección de objetos didácticos y en la
clasificación de los tipos de contenidos y de actividades.
Para establecer el grado de dificultad de los aprendizajes se proponen tres niveles
de complejidad: básico, medio y avanzado. La definición de estos niveles facilitará la
selección de las UA para su reutilización según los objetivos propuestos.
Sin embargo, la clasificación de las UA según un modelo de conocimiento no es
suficiente para garantizar su calidad.
4. Valoración de los objetos de aprendizaje
El concepto de calidad puede resultar bastante amplio si no se especifica su
aplicación. En el ámbito educativo uno de los factores más importantes para que
cualquier tipo de material instructivo sea de calidad es que sea de utilidad para el
logro de aprendizajes, a partir de esa idea existe una gran cantidad de criterios para
evaluar la calidad de estos recursos, en el caso de los de tipo digital se encuentra por
ejemplo la valoración de material multimedia y sitios Web [8,9,14]
Sobre la base de esta idea, para valorar los objetos didácticos de forma integral,
se deben considerar criterios de calidad para recursos digitales desde diversas
categorías [13,17] y así tomar en cuenta diversos puntos de vista para un mismo
objeto, así como también modelos para la evaluación de objetos didácticos [11,13,17]
De acuerdo a esto se sugiere un instrumento que presenta criterios de valoración
clasificados en cuatro categorías para valorar aspectos pedagógicos, curriculares,
técnicos y funcionales. La tabla 1 presenta algunos de estos criterios.
Criterios
Aspectos psicopedagógicos (30%)
- Capacidad de motivación
- Adecuación a los destinatarios
Aspectos didáctico-curriculares (30%)
- Promueve habilidades metacognitivas
- Participación activa,
- Plantea actividades problemáticas, aprendizaje por
descubrimiento, etc.
- Promueve trabajo colaborativo y cooperativo,
- Es reutilizable.
Aspectos técnicos-estéticos (20%)
- Colores, tamaño, resolución
- Diseño de interfaz
Aspectos funcionales (20%)
Facilidad de uso, accesibilidad, eficacia
publicidad, navegación, velocidad, etc.
Tabla 1. Criterios de calidad y valoración de la información
1. Aspectos psicopedagógicos (30%): Se refiere a criterios pedagógicos
relacionados con la sicología del aprendizaje, que permitan valorar si el objeto es
adecuado a las características de los alumnos, por ejemplo si es capaz de motivar
al alumno, si considera sus características en cuanto a profundidad, relevancia
disciplinar, etc.
2. Aspectos didáctico-curriculares (30%): Son criterios que permiten valorar si
ese objeto está relacionado con los objetivos del currículo y la enseñanza según el
contexto en el que se aplicará, por ejemplo si ayuda a conseguir los objetivos de
la unidad de aprendizaje, si promueve el desarrollo de habilidades
metacognitivas, participación activa, etc.
3. Aspectos técnicos-estéticos (20%): La consideración de criterios técnicos y
estéticos son importantes para realizar una valoración integral de la calidad y
evitar que las UA sean rechazados por parte de los usuarios y los desmotiven en
su proceso de aprendizaje. Entre los criterios se encuentran: legibilidad, contraste
de colores, tamaño adecuado, diseño de interfaz, etc.
4. Aspectos funcionales (20%): Valorar la funcionalidad, sin duda tiene mucho
que ver con la calidad, si el objeto no funciona adecuadamente aunque sea bueno
en otros aspectos, simplemente puede ayudar a entorpecer el aprendizaje de los
alumnos.
Dentro de los aspectos mencionados, la valoración de tipo psicopedagógica y
didáctico-curricular tienen en un contexto educativo más importancia que los aspectos
técnicos-estéticos y funcionales. Un recurso didáctico puede estar muy bien hecho y
funcionar muy bien pero si no es adecuado a las características de los destinatarios o
los objetivos de enseñanza no será de utilidad, por tanto, no se pueden evaluar todas
las categorías con la misma puntuación. Por este motivo, los de más importancia
llevan un 30% y los otros un 20%. En cuanto al rango de valoración, se propone del 0
al 5, como se muestra a continuación.
Rango: 0 = No presenta el criterio; 1 = Presenta el criterio de forma muy baja; 2 =
Presenta el criterio de forma baja; 3 = Presenta el criterio medianamente, 4 = Presenta
el criterio de forma alta, 5 = Presenta el criterio de forma muy alta.
Para obtener el resultado final, se promedia la puntuación obtenida por cada
objeto según el rango y se le aplica el porcentaje de la categoría correspondiente.
5. Estrategia para la valoración de unidades de aprendizaje
Debido a que una óptima valoración de las UA contempla criterios de diversas
categorías, es conveniente que para la evaluación participen expertos de diversos
ámbitos [13,17] por ejemplo: Diseñadores instruccionales, directivos, docentes, etc.
La participación de al menos un representante de cada área permitirá tener no sólo
diversos puntos de vista sobre la evaluación de una misma unidad, sino también, una
evaluación crítica, objetiva y fiable sobre su calidad.
Para utilizar el instrumento de valoración, se sugiere dos modalidades: de forma
asincrónica y sincrónica. La valoración individual de manera asincrónica permite una
primera apreciación sobre la calidad de las UA de acuerdo al juicio de cada
participante. La posibilidad de hacerlo posteriormente de forma sincrónica (sistema en
línea o presencial), permite contrastar la evaluación individual con la de los demás
expertos y compartir diferentes puntos de vista que permitan mejorar la valoración.
En caso de que no se llegue a un consenso, deberán quedar registrados los puntos
discordantes de la UA correspondiente para ser considerados en su reutilización.
Una vez hecha la valoración final, las UA de calidad quedarán registrados en el
repositorio de la organización educativa para que el profesor las pueda seleccionar
cuando desee estructurar su curso. Sin embargo, la valoración de las UA no es
definitiva. Una vez que se utiliza la unidad se aconseja una nueva evaluación que
contemple la valoración de los alumnos y comentarios del profesor(es) para ser
considerados en su reutilización. Cada situación educativa es diferente, por tanto, los
objetos deberán ser evaluados siempre que se desee estructurar un curso.
Finalmente, se requiere enlazar las UA para estructurar los cursos, para conseguir
este objetivo se sugiere el lenguaje de modelado educativo IMS LD [7] debido a que
se basa en unidades de aprendizaje formadas por paquetes “content packaging” [5] y
una estructura flexible a la incorporación de modelos de aprendizaje.
3. Conclusión
Esta propuesta constituiría un aporte a todas las organizaciones que deseen alimentar
su sistema de e-learning con información de calidad, puesto que se trata de una
propuesta genérica que puede ser aplicada a cualquier materia cuyos destinatarios
sean estudiantes de educación superior. Los docentes podrían acceder a recursos
educativos de su interés para estructurar sus cursos en-línea. Una vez obtenidos los
recursos, el instrumento creado para valorar los objetos de aprendizaje junto a la
estrategia para su valoración les permitiría evaluar los objetos y guardar en el
repositorio de la organización los que sean de una mejor calidad, sobre esta base se
estructurarían posteriormente los cursos para el e-learning.
De esta forma se pretende que los alumnos a participar en este tipo de sistema de
enseñanza disfruten de contenidos y actividades no sólo de calidad pedagógica, sino
también técnica y funcional. Por otra parte, la aplicación de esta propuesta permitirá
promover una reflexión en los docentes sobre la planificación de la enseñanza en
cuanto a la búsqueda y calidad de recursos educativos. Como trabajo futuro se
realizará la implementación de esta propuesta para hacer los ajustes pertinentes.
Agradecimientos
Deseamos manifestar nuestro agradecimiento al grupo AWEG –Adaptive Web
Engineering Group – de la Universidad de Salamanca por sus contribuciones e ideas
en el desarrollo de este trabajo y a CONICYT (Corporación Nacional de Ciencia y
Tecnología de Chile). Este trabajo ha sido parcialmente financiado por el proyecto
SA017/02 de la Junta de Castilla y León (España) y el proyecto ODISEAME (Open
distance Interuniversity Synergies between Europe, Africa and Middle East), ref.
EUMEDIS B7-41100/2000/2165-79 P546.
Referencias
Bloom, B.: Taxonomy of Educational Objectives: Handbook I, Cognitive Domain. David
McKay (1956)
Cisco System. “Reusable Learning Object Strategy, Definition Creation Process and
Guidelines for Building”, version 3.1. Technical Report (2000)
Gibbs, W., Graves, P. R., Bermas, R. S.: Evaluation guidelines for multimedia courseware.
Journal of Research on Technology in Education, 34(1), 2-17 (2001)
LTSC. Learning technology standards committee website. Disponible en
http://ltsc.ieee.org/wg12/index.html (2002)
IMS Content Packaging., http://www.imsglobal.org/content/packaging/index.cfm (2003)
IMS Learnig Resource Metadata Specification. http://www.imsglobal.org/metadata/index.cfm
(2003)
IMS Learning Design Specification., http://www.imsglobal.org/learningdesign/index.cfm
(2003)
Marquès, P.: Criterios de calidad para los espacios web de interés educativo. Disponible en
http://dewey.uab.es/pmarques/caliweb.htm (2000)
Marquès, P.: Elaboración de materiales formativos multimedia. Criterios de calidad. Disponible
en http://dewey.uab.es/pmarques (2000)
Marquès, P.: Orientaciones para la selección de materiales didácticos. Disponible en
http://dewey.uab.es/pmarques (2001) (última revisión: 29/07/03)
MERLOT. Multimedia Educational Resources for Learning and Online Teaching.
http://merlot.org (2003)
Moreno, F., Bailly-Baillière M. “Diseño instructivo de la formación on-line. Aproximación
metodológica a la elaboración de contenidos”. Editorial Ariel Educación. (2002)
Nesbit, J., Belfer, K., Vargo, J.: A convergent participation model for evaluation of learning
objects. Canadian Journal of Learning and Technology. Volume 28(3) Fall / autumn (2002)
Nielsen, J.: Usabilidad, Diseño de sitios Web. ISBN 84-205-3008-5. Prentice Hall Madrid
(2000)
Wiley, D. A. Learning object design and sequencing theory. Unpublished Doctoral
Dissertation, Bringham Young University, Provo, UT. Disponible en
http://davidwiley.com/papers/dissertation/ dissertation.pdf (2000)
Wiley, D. A. Connecting learning objects to instructional design theory: A definition, a
metaphor, and a taxonomy. In D. A. Wiley (Ed.), The Instructional Use of Learning Objects:
Online Version. Retrieved MONTH DAY, YEAR, from the World Wide Web:
http://reusability.org/read/chapters/wiley.doc. (2000)
Williams, D. D. Evaluation of LOs and instruction using LOs. In D. A. Wiley (Ed.), The
instructional use of LOs [Electronic version]. Retrieved April 18, from
http://reusability.org/read/chapters/williams.doc (2000)