=Paper=
{{Paper
|id=Vol-1784/w7
|storemode=property
|title=On the Road to a Method for Forecasting Performance in Informal Structure Domains Tasks
|pdfUrl=https://ceur-ws.org/Vol-1784/w7.pdf
|volume=Vol-1784
|authors=Macario Ruiz-Grijalva,Jorge Rodas-Osollo,Karla Olmos-Sanchez
}}
==On the Road to a Method for Forecasting Performance in Informal Structure Domains Tasks==
https://ceur-ws.org/Vol-1784/w7.pdf
On the Road to a Method for Forecasting Performance in
Informal Structure Domains Tasks
Macario Ruiz-Grijalva Jorge Rodas-Osollo Karla Olmos-Sánchez
Maestrante del programa de Maestría Laboratorio Nacional en Tecnología Laboratorio Nacional en Tecnología
en Cómputo aplicado DEyC, IIT, de la Información (sede UACJ) de la Información (sede UACJ)
UACJ jorge.rodas@uacj.mx kolmos@uacj.mx
150625@alumnos.uacj.mx
ABSTRACT Palabras Clave
How to make an assessment of the skills necessary for a certain Valoración de habilidades; Redes Bayesianas; Dominios de
person to successfully perform a task or acquire knowledge is a
long-standing subject of current interest for which some theories, Estructura Informal.
approaches and models have been proposed that aim to achieve it
in different areas. The difficulty of carrying out a meaningful
1. INTRODUCCIÓN
evaluation focuses on the large amount of uncertainty and tacit De acuerdo con el Diccionario de la lengua española, evaluar
knowledge that are present during the valuation process. Therefore, significa estimar, apreciar, calcular el valor de algo; por
as a first step, it is necessary to structure, as far as possible, what is consiguiente, evaluar el saber consiste en la estimación de los
known of the skills to later carry out a validation of whether conocimientos, aptitudes y rendimiento de alguna persona respecto
knowledge would be acquired or not. The objective of this article a un objetivo de evaluación.
is to communicate a series of ideas that in the end allowed to predict De acuerdo a [9] la evaluación tradicional se apoya en los
the performance in tasks or specific knowledge pertaining to an exámenes, pruebas y otros instrumentos basados mayormente en la
Informal Structure Domain (DEI) through the assessment of skills. medición cuantitativa. La evaluación cualitativa, por otra parte, se
Of the ideas reviewed such as: Bayesian Networks (RB), Rough orienta a las siguientes funciones: 1) diagnosticar, si se sitúa en el
Set, Probabilistic Models, Cognitive Approach among others, it is desarrollo de la estrategia de enseñanza y aprendizaje; 2) adaptar,
believed that RB are a promising option that would allow a cuando facilita información para que se puedan realizar
representation of the scope and prognostic knowledge, from skills, adecuaciones y acomodar los diferentes métodos a los distintos
of the achievement or the acquisition of some knowledge. ritmos de aprendizaje; y 3) controlar, cuando certifica la cantidad y
calidad de las competencias adquiridas. Por lo tanto, en un contexto
más amplio se puede definir el proceso de evaluación, como la
RESUMEN estimación de conocimientos que realiza un elemento evaluador
Título de artículo: En Camino a un Método para Pronosticar el (modelo, método, persona, etc.) a un elemento evaluado desde
Desempeño en Tareas de Dominios de Estructura Informal alguno o ambos enfoques cuantitativo o cualitativo y respecto a un
objetivo de evaluación.
El cómo realizar una valoración de las habilidades necesarias para
que cierta persona logre desempeñar satisfactoriamente alguna La evaluación en el ámbito educativo es una tarea fundamental, ya
tarea o bien adquirir un conocimiento, es un tema añejo y de interés que permite medir el grado de avance que se tiene respecto algún
actual para el cual, se han planteado algunas teorías, enfoques y dominio, cabe mencionar que la evaluación intenta reconocer el
modelos que pretenden lograrlo en diferentes ámbitos. La dificultad grado de conocimiento que se tiene sobre algún área para emitir un
de realizar una evaluación significativa se centra en la gran cantidad resultado que facilite información para entender qué contenidos se
de incertidumbre y conocimiento tácito que están presentes durante han asimilado, cómo se procesan y cuál es el grado de eficiencia en
el proceso de valoración. Por tanto, como un primer paso, es su uso sobre los contextos de evaluación propuestos [9].
necesario dar estructura, en la medida de lo posible, a lo que se En un dominio donde la estructura es formal las tareas a evaluar
conoce de las habilidades para posteriormente llevar a cabo una pueden dividirse fácilmente en sub tareas más simples, permitiendo
validación de si el conocimiento se adquiriría o no. que la validación de conocimientos se convierta en una actividad
El objetivo del presente artículo es comunicar una serie de ideas trazable, es decir, una solución única que se pueda representar
que a la postre permitieran pronosticar el desempeño en tareas o mediante una serie de pasos bien definidos. Sin embargo, este
conocimiento específico pertenecientes a un Dominio de Estructura proceso es diferente en los Dominios de Estructura Informal (DEI):
Informal (DEI) por medio de la valoración de habilidades. Dominios con un alto grado de informalidad, donde el
conocimiento es informalmente establecido, parcialmente
De las ideas revisadas como son: Redes Bayesianas (RB), Rough completo, implícitamente asumido, tácito y no estructurado [2].
Set, Modelos Probabilísticos, el Enfoque Cognitivo entre otros, se Además, el conocimiento está disperso entre los especialistas del
cree que las RB son una opción prometedora que permitiría una dominio. Por ejemplo, la evaluación de programación de
representación del conocimiento del ámbito y el pronóstico, a partir computadoras, ética, leyes, etc.
de habilidades, del logro o de la adquisición de algún conocimiento.
El objetivo del presente artículo es dar a conocer el interés que se
CCS Concepts tiene por desarrollar un método que permita elegir de una extensa
• Education➝Learning Management Systems cantidad de opciones las más adecuadas para crear una estructura
de conocimientos que facilite la verificación de habilidades en
algún sujeto al desempeñar una actividad. Para el que se propone
un enfoque orientado a problemas donde se puedan representar y
vincular las habilidades necesarias para llevar a cabo una tarea de cantidad de elementos del conocimiento y relaciones entre ellos,
forma satisfactoria. pero pueden ser bien definidos. Por ejemplo, en el campo de la
Se desea generar un pronóstico de habilidades en base a una Geografía gestionar los países y sus capitales (miles de pares). Sin
estructura que represente el conocimiento y verifique las embargo, muchos DEI sí son considerados dominios complejos.
habilidades por medio de evidencia parcial desde algunas o pocas
interacciones, las cuales pueden ser preguntas, aplicación de
3. ENFOQUE PROBABILÍSTICO
conocimiento a problemas, etc. Algunas de las áreas de interés de 3.1 Redes Bayesianas
la aplicación del método son: la evaluación en el sector educativo, Las Redes Bayesianas, (también conocidas como redes causales
en el ámbito industrial para la evaluación de candidatos durante el probabilísticas, redes causales, sistemas expertos bayesianos, redes
proceso de reclutamiento y selección, en el análisis de riesgos para de creencia, sistemas expertos probabilísticas o diagramas de
las Pymes entre otras. influencia) son herramientas estadísticas que representan un
conjunto de incertidumbres asociadas sobre la base de las
Existen diversos obstáculos cuando se desea evaluar conocimiento
relaciones de independencia condicional que se establecen entre
en DEI, debido a la gran cantidad de informalidad e incertidumbre.
ellas. Siguiendo a Charniak [5], una red bayesiana es un conjunto
En este caso se resaltan dos en particular: 1) la gran cantidad de
de variables, una estructura gráfica que conecta estas variables y un
conocimiento tácito que se debe educir y 2) la necesidad de
conjunto de distribuciones de probabilidad condicional (ver figura
sintetizar el conocimiento de los especialistas.
1), que codifica incertidumbre asociada a cada variable por medio
Los modelos probabilísticos para la evaluación de habilidades de probabilidades y, empleando el teorema de Bayes, esta
juegan un papel clave en los avances de los entornos de aprendizaje. incertidumbre es susceptible de ser modificada con base en
El modelado y la validación de habilidades de sujetos nos permiten observaciones (o evidencias) sobre el modelo.
evaluar de manera eficaz el conocimiento en dominios de estructura
mayormente formal. Básicamente lo que se busca es inferir a partir
de acciones y respuestas que habilidades están presentes para así
evaluar el conocimiento de algún tema [1].
El artículo está organizado de la siguiente manera: la primera
sección incluye una breve contextualización respecto a la
caracterización que se decide adoptar de los DEI. En la segunda
sección se describe el paradigma de RB y su aporte en la Ingeniería
del Conocimiento. Se mencionan además algunas de las
características de las RB y la racionalidad de su empleo en el
presente proyecto. Por último, se explica la interpretación del
conocimiento en la RB. La cuarta sección expone la percepción
general del método propuesto. Finalmente, la quinta sección
incluye la discusión generada a partir de esta investigación.
2. DOMINIOS DE ESTRUCTURA Figura 1. Red bayesiana con algunas de sus tablas de
probabilidad condicional. Tomada de ”What are Bayesian
INFORMAL (DEI) Networks and why are their Applications Growing Across all
De acuerdo a RAE formal significa definido, ordenado y metódico;
Fields?” [6].
esto no necesariamente implica que sea lógico o probado. Informal
Aunque se podría establecer una distinción más específica de los
es, por lo tanto, una categoría residual. Si un dominio es formal, los
elementos que componen una red bayesiana, se suele decir que una
especialistas de dominio pueden construir una estructura formal
red bayesiana tiene dos dimensiones: una cualitativa y otra
para resolver sus problemas. Sin embargo, si un dominio es
cuantitativa [8].
informal, esto no significa que los especialistas de dominio no
puedan construir una estructura; definitivamente lo hacen al 3.2 Dimensión Cualitativa
proponer soluciones. Una RB es un grafo; esto es, una representación gráfica de un
Existen múltiples y variadas opiniones respecto al concepto de los problema. Aunque la definición de grafo, y la terminología que la
dominios y su caracterización de acuerdo al grado de estructura que acompaña varía en función de los autores se puede definir grafo
poseen. En el presente trabajo se consideró la caracterización de los como un par G = (V, E), donde V es un conjunto finito de vértices,
DEI propuesta por Olmos & Rodas [2], donde se menciona que: nodos o variables y E es un subconjunto del producto cartesiano V
• Los conceptos y sus relaciones tienden a ser definidos basado en × V de pares ordenados de nodos llamados enlaces o aristas. Por
un consenso, en lugar de formalmente. otro lado, una red bayesiana es un tipo concreto de grafo que se
denomina grafo dirigido a cíclico (GDA)[8][5][6].
• Los problemas en estos dominios tienen las siguientes
características: 1) Las soluciones son diversas, consensuales e 3.3 Dimensión Cuantitativa
inverificables, y 2) No existen algoritmos para llegar a soluciones. Existen tres elementos esenciales que caracterizan la dimensión
• Para obtener la solución de un problema los especialistas cuantitativa de una RB: el concepto de probabilidad como un grado
generalmente construyen estructuras parciales con el conocimiento de creencia subjetiva relativa a la ocurrencia de un evento, un
explícito. Sin embargo, siempre se requieren grandes cantidades de conjunto de funciones de probabilidad condicionada que definen a
conocimiento tácito para obtener una solución aceptable. cada variable en el modelo y el teorema de Bayes como herramienta
básica para actualizar probabilidades con base en experiencia
Los DEI tienen una estructura o contenido que hace difícil evaluar [8][5][6].
el conocimiento. No obstante, se debe evitar confundir con los
Dominios Complejos. Los dominios complejos contienen una gran
3.4 Propiedades de las Redes Bayesianas Análisis de sensibilidad. Dado un conjunto de evidencias, las redes
Las RB se utilizan en problemas en los que interviene la Bayesianas permiten fácilmente calcular la sensibilidad de ciertas
incertidumbre, es decir, donde no se tiene un completo variables, simplemente modificando las evidencias.
conocimiento del estado del sistema, pero que sin embargo, se Incertidumbre. Las redes bayesianas pueden modelar grados de
pueden realizar observaciones (obtener evidencias) y actualizar las certidumbre, en vez de valores exactos. Por tanto, permiten
probabilidades del resto del sistema [8]. Hay dos tipos de evidencia: modelar la incertidumbre de manera efectiva y explícitamente, por
1) Evidencia firme o específica (instanciación), se da cuando se lo que pueden realizar buenas predicciones con información
asigna un valor concreto a una variable, es decir, se tiene certeza incompleta.
del estado de dicha variable. Por ejemplo, imagínese que la variable
A representa el resultado de un partido de baloncesto, con dos
4. EN CAMINO DEL MÉTODO PARA LA
posibles estados (ganar, perder); si se conoce que el equipo ha REPRESENTACIÓN, VALORACIÓN E
ganado el partido, se podría asignar la probabilidad 1 (certeza INTERPRETACIÓN DE HABILIDADES
absoluta) al estado ganar y 0 al estado perder (ver figura 2).
(REVIN-H)
La elaboración de una red bayesiana no es una tarea sencilla. Esto
se debe a que es necesario educir, representar e ingresar el
conocimiento y la experiencia de los especialistas como valores
porcentuales, donde cada valor representa las creencias del
especialista respecto a la variable analizada. De esta forma se ve
afectado el grado de efectividad del pronóstico que emita la red
bayesiana y por ende su eficiencia.
Existen un método propuesto por Xiao-xuan & Hui [7] que permite
educir el conocimiento y la experiencia del especialista del dominio
para la creación de una red bayesiana. En este método se sugiere la
construcción de redes bayesianas en dos fases: (1) determinar la
estructura de la red, y (2) la obtención de las tablas de probabilidad
condicional de cada nodo.
La primera fase se centra en determinar la relación causal entre las
Figura 2. Red bayesiana que ilustra el ejemplo de la evidencia
variables. Esta fase se apoya en la creación de una tabla que incluye
firme en un partido de baloncesto.
a cada variable y sus relaciones. El objetivo es facilitar la
2) Evidencia parcial o virtual de un nodo, permite actualizar las
colaboración entre especialistas y llegar a un consenso.
probabilidades a priori de los estados que puede tomar la variable.
Por ejemplo, a la variable resultado del partido de baloncesto, si el Para la segunda fase es necesario especificar las tablas de
equipo pierde por 20 puntos a pocos minutos del final, se podría probabilidad condicional de los nodos. Esta es la tarea más crítica
asignar una probabilidad muy alta a perder y muy baja a ganar [8]. en la construcción de redes bayesianas, ya que es muy difícil para
los expertos proporcionar directamente probabilidades numéricas.
Una RB en el que se proporciona un sistema de inferencia, una vez
encontradas nuevas evidencias sobre el estado de ciertos nodos, se Como apoyo a esta fase se propone el uso de una "escala de
modifican sus tablas de probabilidad; y a su vez, las nuevas probabilidad" (ver figura 3) para facilitar la interpretación del
probabilidades son propagadas al resto de los nodos. La conocimiento que el especialista posee y traducirlo a una
propagación de probabilidades se conoce como inferencia distribución de probabilidad. El resultado del uso de este método
probabilística, es decir, la probabilidad de algunas variables puede promete mejores resultados para la creación de redes bayesianas en
ser calculada dadas evidencias en otras variables [1]. base a conocimiento de especialistas [7].
Existen varias propiedades de las RB que las convierten en una
opción atractiva para la creación de estructuras que representan el
conocimiento. De acuerdo a Rodríguez & Dolado [8] algunas de
estas características son:
Representación gráfica. Las RB ofrecen una representación gráfica
de las relaciones explícitas de dependencia del dominio y nos
permiten modelar sistemas complejos permitiéndonos entender las
relaciones causales visualizándolas por medio del grafo.
Modelado cualitativo y cuantitativo. Las RB cuentan con un
enfoque cualitativo, el grafo, y uno cuantitativo, las tablas de Figura 3. Escala de Probabilidad. Tomada de “Using Expert´s
probabilidades, que permiten utilizar criterios objetivos y Knowledge to Build Bayesian Networks ” [7].
subjetivos. El método propuesto por Xiao-xoan & Hui [7] ofrece una opción
Inferencia bidireccional. Las RB pueden hacer inferencia en ambos interesante para la educción de conocimientos de especialistas. Sin
sentidos, es decir, las variables de entrada pueden ser usadas para embargo no incluye ningún aspecto respecto a la estructura
predecir las variables de salida y viceversa. Fijando las variables de necesaria para una mejor representación del conocimiento en la RB,
salida con los valores deseados, es posible predecir qué valores de así como la elección de las técnicas necesarias para la evaluación
las variables de entrada permiten dicha salida. del conocimiento. Se limita a representar los datos que se pueden
ingresar a la RB como valores probabilísticos y a apoyar el proceso
de consenso entre los especialistas del dominio. No obstante puede
ser de utilidad para la fase de interpretación que se desea
implementar en el método propuesto para la verificación de de las técnicas empleadas. Es importante destacar que el grado de
habilidades. asertividad de las inferencias dependerá en gran medida de la
El método a desarrollar contara con tres etapas principales: correcta representación, transferencia, verificación e interpretación
educción de conocimientos, representación de conocimientos y del conocimiento que se desea evaluar en el dominio en cuestión.
valoración de habilidades. Basándose en un enfoque incremental La eficiencia de la evaluación en el enfoque cognitivo depende en
donde se partirá de la creación de una estructura parcial de gran parte de la relación entre la cantidad de pruebas con la
conocimientos de los especialistas del dominio. amplitud de la evaluación. En problemas donde se tiene una amplia
Posteriormente se pretende aplicar un ciclo de educción de gama de habilidades el reto es generar una evaluación utilizable.
conocimiento tácito a explicito generando una primera Esta evaluación requerirá de un modelo que pueda establecer
representación de conocimientos de tipo grafo causal que vínculos entre habilidades (requisitos previos del conocimiento del
represente el área de interés para el objetivo de evaluación y las dominio) capaz de inferir el conocimiento necesario del sujeto en
posibles tareas/ problemas que podrán evaluarse. Luego se desea términos del dominio abordado [1].
sintetizar las tareas/ problemas a una representación de habilidades Hasta el momento el modelo Bayesiano parece ser la opción más
necesarias para desempeñar satisfactoriamente el objetivo de acertada para inferir el conocimiento deseado en la verificación de
evaluación. Obteniendo un mapa de conocimiento que deberá habilidades. Además la RB es capaz de representar de manera
entrar al ciclo de educción de conocimientos para ser validado por cualitativa y cuantitativa el conocimiento necesario para temas de
los especialistas del dominio. DEI donde se busca emitir un pronóstico del posible desempeño del
Una vez obtenido el mapa de conocimientos se pretende crear una sujeto respecto a un objetivo de evaluación.
representación formal por medio de un GDA que conforme la parte
cualitativa de la RB. Luego apoyarse en los especialistas del
dominio para generar las tablas de probabilidad de los nodos que 6. REFERENCIAS
forman el GDA y representan la parte cuantitativa de la RB.
Finalmente la aplicación de una escala de probabilidad como la 1 Desmarais M. C., Baker R. S. J. d. , 2011. “A Review of
propuesta por Xiao-xuan & Hui [7] será de utilidad para la creación Recent Advances in Learner and Skill Modeling in Intelligent
de una red bayesiana. Además se realizará una adecuación a la Learning Envrionments”. Review. Polytechnique Montréal,
escala de forma que permita la interpretación del pronostico Worcester Polytechnic Institute.
emitido por la red bayesiana. Con el interés de ofrecer la traducción 2 Olmos K. M. , 2015. “KMoS-RE: Knoledwe Management on
de probabilidades a un esquema de información en palabras o a Strategy for Requirements Engineering”. Tesis de
números que nos facilite el entendimiento de las inferencias Doctorado, Doctor en Ciencias en Ingeniería. Universidad
obtenidas por la red bayesiana. Autónoma de Ciudad Juárez.
El resultado esperado de la aplicación del método deberá ser una 3 Lynch C. F. & Ashley K. D., Alevent V. & Pinkwart N.
estructura capaz de representar el conocimiento, así como la “Defining Ill-Defined Domains; a Literature Survey”.
posibilidad de elegir alguna de las técnicas más adecuadas para: Survey. University of Pittsburgh, Carnegie Mellon
verificar e interpretar las habilidades. University.
4 Olmos K. M., Osollo J. E., Fernández L. F. , 2010.
De esta forma se pretende generar un método útil para quienes se “Pertinencia de la Formalización de Dominios Semi-
encuentren con la necesidad de realizar la evaluación de habilidades Formalmente Definidos en el Análisis Inteligente de Datos”.
y requieran de una guía para el desarrollo de una estructura capaz Culcyt Universidad Autónoma de Ciudad Juárez.
de representar conocimientos y elegir las técnicas que permitan:
5 Charniak E. , 1991. “Bayesian Networks Without Tears”. A.I.
verificar e interpretar habilidades.
Magazine Volume 12 Number 4.
6 Darwiche A. , 2010. ”What are Bayesian Networks and why
are their Applications Growing Across all Fields?”.
5. DISCUSIÓN Communications of the ACM Volume 53 Number 12. DOI
Algunos enfoques y modelos generados a partir de la IA como el 10.1145/1859204.1859277.
enfoque cognitivo, el modelo probabilístico, las técnicas Rough Set 7 Xiao-xuan H., Hui W., Shuo W. , 2007. “Using Expert´s
y las Redes Bayesianas entre otras, pueden ser más apropiados para Knowledge to Build Bayesian Networks ”. International
ciertas necesidades de evaluación facilitando la construcción de 8 Rodríguez D., Dolado J., “Redes Bayesianas en la Ingeniería
estructuras que representen el conocimiento deseado. Sin embargo, del Software”. Universidad de Alcalá, Universidad del País
será necesario elegir un modelado del conocimiento del dominio y Vasco.
técnicas de razonamiento para evaluar dicho conocimiento, en 9 Chahuán-Jiménez K., 2009. “Evaluación cualitativa y
consecuencia se supone pertinente la propuesta de un método para gestión del conocimiento ”. Educación y educadores,
la verificación de habilidades en DEI. volumen 12, No. 13. Universidad de la Valparaíso.
Algunas técnicas del área de Soft Computing pueden utilizarse para
la inferencia, clasificación y generación de conocimientos de
manera efectiva. No obstante, las características y estructura que
posea el conocimiento que se desea evaluar serán independientes