On the Road to a Method for Forecasting Performance in Informal Structure Domains Tasks Macario Ruiz-Grijalva Jorge Rodas-Osollo Karla Olmos-Sánchez Maestrante del programa de Maestría Laboratorio Nacional en Tecnología Laboratorio Nacional en Tecnología en Cómputo aplicado DEyC, IIT, de la Información (sede UACJ) de la Información (sede UACJ) UACJ jorge.rodas@uacj.mx kolmos@uacj.mx 150625@alumnos.uacj.mx ABSTRACT Palabras Clave How to make an assessment of the skills necessary for a certain Valoración de habilidades; Redes Bayesianas; Dominios de person to successfully perform a task or acquire knowledge is a long-standing subject of current interest for which some theories, Estructura Informal. approaches and models have been proposed that aim to achieve it in different areas. The difficulty of carrying out a meaningful 1. INTRODUCCIÓN evaluation focuses on the large amount of uncertainty and tacit De acuerdo con el Diccionario de la lengua española, evaluar knowledge that are present during the valuation process. Therefore, significa estimar, apreciar, calcular el valor de algo; por as a first step, it is necessary to structure, as far as possible, what is consiguiente, evaluar el saber consiste en la estimación de los known of the skills to later carry out a validation of whether conocimientos, aptitudes y rendimiento de alguna persona respecto knowledge would be acquired or not. The objective of this article a un objetivo de evaluación. is to communicate a series of ideas that in the end allowed to predict De acuerdo a [9] la evaluación tradicional se apoya en los the performance in tasks or specific knowledge pertaining to an exámenes, pruebas y otros instrumentos basados mayormente en la Informal Structure Domain (DEI) through the assessment of skills. medición cuantitativa. La evaluación cualitativa, por otra parte, se Of the ideas reviewed such as: Bayesian Networks (RB), Rough orienta a las siguientes funciones: 1) diagnosticar, si se sitúa en el Set, Probabilistic Models, Cognitive Approach among others, it is desarrollo de la estrategia de enseñanza y aprendizaje; 2) adaptar, believed that RB are a promising option that would allow a cuando facilita información para que se puedan realizar representation of the scope and prognostic knowledge, from skills, adecuaciones y acomodar los diferentes métodos a los distintos of the achievement or the acquisition of some knowledge. ritmos de aprendizaje; y 3) controlar, cuando certifica la cantidad y calidad de las competencias adquiridas. Por lo tanto, en un contexto más amplio se puede definir el proceso de evaluación, como la RESUMEN estimación de conocimientos que realiza un elemento evaluador Título de artículo: En Camino a un Método para Pronosticar el (modelo, método, persona, etc.) a un elemento evaluado desde Desempeño en Tareas de Dominios de Estructura Informal alguno o ambos enfoques cuantitativo o cualitativo y respecto a un objetivo de evaluación. El cómo realizar una valoración de las habilidades necesarias para que cierta persona logre desempeñar satisfactoriamente alguna La evaluación en el ámbito educativo es una tarea fundamental, ya tarea o bien adquirir un conocimiento, es un tema añejo y de interés que permite medir el grado de avance que se tiene respecto algún actual para el cual, se han planteado algunas teorías, enfoques y dominio, cabe mencionar que la evaluación intenta reconocer el modelos que pretenden lograrlo en diferentes ámbitos. La dificultad grado de conocimiento que se tiene sobre algún área para emitir un de realizar una evaluación significativa se centra en la gran cantidad resultado que facilite información para entender qué contenidos se de incertidumbre y conocimiento tácito que están presentes durante han asimilado, cómo se procesan y cuál es el grado de eficiencia en el proceso de valoración. Por tanto, como un primer paso, es su uso sobre los contextos de evaluación propuestos [9]. necesario dar estructura, en la medida de lo posible, a lo que se En un dominio donde la estructura es formal las tareas a evaluar conoce de las habilidades para posteriormente llevar a cabo una pueden dividirse fácilmente en sub tareas más simples, permitiendo validación de si el conocimiento se adquiriría o no. que la validación de conocimientos se convierta en una actividad El objetivo del presente artículo es comunicar una serie de ideas trazable, es decir, una solución única que se pueda representar que a la postre permitieran pronosticar el desempeño en tareas o mediante una serie de pasos bien definidos. Sin embargo, este conocimiento específico pertenecientes a un Dominio de Estructura proceso es diferente en los Dominios de Estructura Informal (DEI): Informal (DEI) por medio de la valoración de habilidades. Dominios con un alto grado de informalidad, donde el conocimiento es informalmente establecido, parcialmente De las ideas revisadas como son: Redes Bayesianas (RB), Rough completo, implícitamente asumido, tácito y no estructurado [2]. Set, Modelos Probabilísticos, el Enfoque Cognitivo entre otros, se Además, el conocimiento está disperso entre los especialistas del cree que las RB son una opción prometedora que permitiría una dominio. Por ejemplo, la evaluación de programación de representación del conocimiento del ámbito y el pronóstico, a partir computadoras, ética, leyes, etc. de habilidades, del logro o de la adquisición de algún conocimiento. El objetivo del presente artículo es dar a conocer el interés que se CCS Concepts tiene por desarrollar un método que permita elegir de una extensa • Education➝Learning Management Systems cantidad de opciones las más adecuadas para crear una estructura de conocimientos que facilite la verificación de habilidades en algún sujeto al desempeñar una actividad. Para el que se propone un enfoque orientado a problemas donde se puedan representar y vincular las habilidades necesarias para llevar a cabo una tarea de cantidad de elementos del conocimiento y relaciones entre ellos, forma satisfactoria. pero pueden ser bien definidos. Por ejemplo, en el campo de la Se desea generar un pronóstico de habilidades en base a una Geografía gestionar los países y sus capitales (miles de pares). Sin estructura que represente el conocimiento y verifique las embargo, muchos DEI sí son considerados dominios complejos. habilidades por medio de evidencia parcial desde algunas o pocas interacciones, las cuales pueden ser preguntas, aplicación de 3. ENFOQUE PROBABILÍSTICO conocimiento a problemas, etc. Algunas de las áreas de interés de 3.1 Redes Bayesianas la aplicación del método son: la evaluación en el sector educativo, Las Redes Bayesianas, (también conocidas como redes causales en el ámbito industrial para la evaluación de candidatos durante el probabilísticas, redes causales, sistemas expertos bayesianos, redes proceso de reclutamiento y selección, en el análisis de riesgos para de creencia, sistemas expertos probabilísticas o diagramas de las Pymes entre otras. influencia) son herramientas estadísticas que representan un conjunto de incertidumbres asociadas sobre la base de las Existen diversos obstáculos cuando se desea evaluar conocimiento relaciones de independencia condicional que se establecen entre en DEI, debido a la gran cantidad de informalidad e incertidumbre. ellas. Siguiendo a Charniak [5], una red bayesiana es un conjunto En este caso se resaltan dos en particular: 1) la gran cantidad de de variables, una estructura gráfica que conecta estas variables y un conocimiento tácito que se debe educir y 2) la necesidad de conjunto de distribuciones de probabilidad condicional (ver figura sintetizar el conocimiento de los especialistas. 1), que codifica incertidumbre asociada a cada variable por medio Los modelos probabilísticos para la evaluación de habilidades de probabilidades y, empleando el teorema de Bayes, esta juegan un papel clave en los avances de los entornos de aprendizaje. incertidumbre es susceptible de ser modificada con base en El modelado y la validación de habilidades de sujetos nos permiten observaciones (o evidencias) sobre el modelo. evaluar de manera eficaz el conocimiento en dominios de estructura mayormente formal. Básicamente lo que se busca es inferir a partir de acciones y respuestas que habilidades están presentes para así evaluar el conocimiento de algún tema [1]. El artículo está organizado de la siguiente manera: la primera sección incluye una breve contextualización respecto a la caracterización que se decide adoptar de los DEI. En la segunda sección se describe el paradigma de RB y su aporte en la Ingeniería del Conocimiento. Se mencionan además algunas de las características de las RB y la racionalidad de su empleo en el presente proyecto. Por último, se explica la interpretación del conocimiento en la RB. La cuarta sección expone la percepción general del método propuesto. Finalmente, la quinta sección incluye la discusión generada a partir de esta investigación. 2. DOMINIOS DE ESTRUCTURA Figura 1. Red bayesiana con algunas de sus tablas de probabilidad condicional. Tomada de ”What are Bayesian INFORMAL (DEI) Networks and why are their Applications Growing Across all De acuerdo a RAE formal significa definido, ordenado y metódico; Fields?” [6]. esto no necesariamente implica que sea lógico o probado. Informal Aunque se podría establecer una distinción más específica de los es, por lo tanto, una categoría residual. Si un dominio es formal, los elementos que componen una red bayesiana, se suele decir que una especialistas de dominio pueden construir una estructura formal red bayesiana tiene dos dimensiones: una cualitativa y otra para resolver sus problemas. Sin embargo, si un dominio es cuantitativa [8]. informal, esto no significa que los especialistas de dominio no puedan construir una estructura; definitivamente lo hacen al 3.2 Dimensión Cualitativa proponer soluciones. Una RB es un grafo; esto es, una representación gráfica de un Existen múltiples y variadas opiniones respecto al concepto de los problema. Aunque la definición de grafo, y la terminología que la dominios y su caracterización de acuerdo al grado de estructura que acompaña varía en función de los autores se puede definir grafo poseen. En el presente trabajo se consideró la caracterización de los como un par G = (V, E), donde V es un conjunto finito de vértices, DEI propuesta por Olmos & Rodas [2], donde se menciona que: nodos o variables y E es un subconjunto del producto cartesiano V • Los conceptos y sus relaciones tienden a ser definidos basado en × V de pares ordenados de nodos llamados enlaces o aristas. Por un consenso, en lugar de formalmente. otro lado, una red bayesiana es un tipo concreto de grafo que se denomina grafo dirigido a cíclico (GDA)[8][5][6]. • Los problemas en estos dominios tienen las siguientes características: 1) Las soluciones son diversas, consensuales e 3.3 Dimensión Cuantitativa inverificables, y 2) No existen algoritmos para llegar a soluciones. Existen tres elementos esenciales que caracterizan la dimensión • Para obtener la solución de un problema los especialistas cuantitativa de una RB: el concepto de probabilidad como un grado generalmente construyen estructuras parciales con el conocimiento de creencia subjetiva relativa a la ocurrencia de un evento, un explícito. Sin embargo, siempre se requieren grandes cantidades de conjunto de funciones de probabilidad condicionada que definen a conocimiento tácito para obtener una solución aceptable. cada variable en el modelo y el teorema de Bayes como herramienta básica para actualizar probabilidades con base en experiencia Los DEI tienen una estructura o contenido que hace difícil evaluar [8][5][6]. el conocimiento. No obstante, se debe evitar confundir con los Dominios Complejos. Los dominios complejos contienen una gran 3.4 Propiedades de las Redes Bayesianas Análisis de sensibilidad. Dado un conjunto de evidencias, las redes Las RB se utilizan en problemas en los que interviene la Bayesianas permiten fácilmente calcular la sensibilidad de ciertas incertidumbre, es decir, donde no se tiene un completo variables, simplemente modificando las evidencias. conocimiento del estado del sistema, pero que sin embargo, se Incertidumbre. Las redes bayesianas pueden modelar grados de pueden realizar observaciones (obtener evidencias) y actualizar las certidumbre, en vez de valores exactos. Por tanto, permiten probabilidades del resto del sistema [8]. Hay dos tipos de evidencia: modelar la incertidumbre de manera efectiva y explícitamente, por 1) Evidencia firme o específica (instanciación), se da cuando se lo que pueden realizar buenas predicciones con información asigna un valor concreto a una variable, es decir, se tiene certeza incompleta. del estado de dicha variable. Por ejemplo, imagínese que la variable A representa el resultado de un partido de baloncesto, con dos 4. EN CAMINO DEL MÉTODO PARA LA posibles estados (ganar, perder); si se conoce que el equipo ha REPRESENTACIÓN, VALORACIÓN E ganado el partido, se podría asignar la probabilidad 1 (certeza INTERPRETACIÓN DE HABILIDADES absoluta) al estado ganar y 0 al estado perder (ver figura 2). (REVIN-H) La elaboración de una red bayesiana no es una tarea sencilla. Esto se debe a que es necesario educir, representar e ingresar el conocimiento y la experiencia de los especialistas como valores porcentuales, donde cada valor representa las creencias del especialista respecto a la variable analizada. De esta forma se ve afectado el grado de efectividad del pronóstico que emita la red bayesiana y por ende su eficiencia. Existen un método propuesto por Xiao-xuan & Hui [7] que permite educir el conocimiento y la experiencia del especialista del dominio para la creación de una red bayesiana. En este método se sugiere la construcción de redes bayesianas en dos fases: (1) determinar la estructura de la red, y (2) la obtención de las tablas de probabilidad condicional de cada nodo. La primera fase se centra en determinar la relación causal entre las Figura 2. Red bayesiana que ilustra el ejemplo de la evidencia variables. Esta fase se apoya en la creación de una tabla que incluye firme en un partido de baloncesto. a cada variable y sus relaciones. El objetivo es facilitar la 2) Evidencia parcial o virtual de un nodo, permite actualizar las colaboración entre especialistas y llegar a un consenso. probabilidades a priori de los estados que puede tomar la variable. Por ejemplo, a la variable resultado del partido de baloncesto, si el Para la segunda fase es necesario especificar las tablas de equipo pierde por 20 puntos a pocos minutos del final, se podría probabilidad condicional de los nodos. Esta es la tarea más crítica asignar una probabilidad muy alta a perder y muy baja a ganar [8]. en la construcción de redes bayesianas, ya que es muy difícil para los expertos proporcionar directamente probabilidades numéricas. Una RB en el que se proporciona un sistema de inferencia, una vez encontradas nuevas evidencias sobre el estado de ciertos nodos, se Como apoyo a esta fase se propone el uso de una "escala de modifican sus tablas de probabilidad; y a su vez, las nuevas probabilidad" (ver figura 3) para facilitar la interpretación del probabilidades son propagadas al resto de los nodos. La conocimiento que el especialista posee y traducirlo a una propagación de probabilidades se conoce como inferencia distribución de probabilidad. El resultado del uso de este método probabilística, es decir, la probabilidad de algunas variables puede promete mejores resultados para la creación de redes bayesianas en ser calculada dadas evidencias en otras variables [1]. base a conocimiento de especialistas [7]. Existen varias propiedades de las RB que las convierten en una opción atractiva para la creación de estructuras que representan el conocimiento. De acuerdo a Rodríguez & Dolado [8] algunas de estas características son: Representación gráfica. Las RB ofrecen una representación gráfica de las relaciones explícitas de dependencia del dominio y nos permiten modelar sistemas complejos permitiéndonos entender las relaciones causales visualizándolas por medio del grafo. Modelado cualitativo y cuantitativo. Las RB cuentan con un enfoque cualitativo, el grafo, y uno cuantitativo, las tablas de Figura 3. Escala de Probabilidad. Tomada de “Using Expert´s probabilidades, que permiten utilizar criterios objetivos y Knowledge to Build Bayesian Networks ” [7]. subjetivos. El método propuesto por Xiao-xoan & Hui [7] ofrece una opción Inferencia bidireccional. Las RB pueden hacer inferencia en ambos interesante para la educción de conocimientos de especialistas. Sin sentidos, es decir, las variables de entrada pueden ser usadas para embargo no incluye ningún aspecto respecto a la estructura predecir las variables de salida y viceversa. Fijando las variables de necesaria para una mejor representación del conocimiento en la RB, salida con los valores deseados, es posible predecir qué valores de así como la elección de las técnicas necesarias para la evaluación las variables de entrada permiten dicha salida. del conocimiento. Se limita a representar los datos que se pueden ingresar a la RB como valores probabilísticos y a apoyar el proceso de consenso entre los especialistas del dominio. No obstante puede ser de utilidad para la fase de interpretación que se desea implementar en el método propuesto para la verificación de de las técnicas empleadas. Es importante destacar que el grado de habilidades. asertividad de las inferencias dependerá en gran medida de la El método a desarrollar contara con tres etapas principales: correcta representación, transferencia, verificación e interpretación educción de conocimientos, representación de conocimientos y del conocimiento que se desea evaluar en el dominio en cuestión. valoración de habilidades. Basándose en un enfoque incremental La eficiencia de la evaluación en el enfoque cognitivo depende en donde se partirá de la creación de una estructura parcial de gran parte de la relación entre la cantidad de pruebas con la conocimientos de los especialistas del dominio. amplitud de la evaluación. En problemas donde se tiene una amplia Posteriormente se pretende aplicar un ciclo de educción de gama de habilidades el reto es generar una evaluación utilizable. conocimiento tácito a explicito generando una primera Esta evaluación requerirá de un modelo que pueda establecer representación de conocimientos de tipo grafo causal que vínculos entre habilidades (requisitos previos del conocimiento del represente el área de interés para el objetivo de evaluación y las dominio) capaz de inferir el conocimiento necesario del sujeto en posibles tareas/ problemas que podrán evaluarse. Luego se desea términos del dominio abordado [1]. sintetizar las tareas/ problemas a una representación de habilidades Hasta el momento el modelo Bayesiano parece ser la opción más necesarias para desempeñar satisfactoriamente el objetivo de acertada para inferir el conocimiento deseado en la verificación de evaluación. Obteniendo un mapa de conocimiento que deberá habilidades. Además la RB es capaz de representar de manera entrar al ciclo de educción de conocimientos para ser validado por cualitativa y cuantitativa el conocimiento necesario para temas de los especialistas del dominio. DEI donde se busca emitir un pronóstico del posible desempeño del Una vez obtenido el mapa de conocimientos se pretende crear una sujeto respecto a un objetivo de evaluación. representación formal por medio de un GDA que conforme la parte cualitativa de la RB. Luego apoyarse en los especialistas del dominio para generar las tablas de probabilidad de los nodos que 6. REFERENCIAS forman el GDA y representan la parte cuantitativa de la RB. Finalmente la aplicación de una escala de probabilidad como la 1 Desmarais M. C., Baker R. S. J. d. , 2011. “A Review of propuesta por Xiao-xuan & Hui [7] será de utilidad para la creación Recent Advances in Learner and Skill Modeling in Intelligent de una red bayesiana. Además se realizará una adecuación a la Learning Envrionments”. Review. Polytechnique Montréal, escala de forma que permita la interpretación del pronostico Worcester Polytechnic Institute. emitido por la red bayesiana. Con el interés de ofrecer la traducción 2 Olmos K. M. , 2015. “KMoS-RE: Knoledwe Management on de probabilidades a un esquema de información en palabras o a Strategy for Requirements Engineering”. Tesis de números que nos facilite el entendimiento de las inferencias Doctorado, Doctor en Ciencias en Ingeniería. Universidad obtenidas por la red bayesiana. Autónoma de Ciudad Juárez. El resultado esperado de la aplicación del método deberá ser una 3 Lynch C. F. & Ashley K. D., Alevent V. & Pinkwart N. estructura capaz de representar el conocimiento, así como la “Defining Ill-Defined Domains; a Literature Survey”. posibilidad de elegir alguna de las técnicas más adecuadas para: Survey. University of Pittsburgh, Carnegie Mellon verificar e interpretar las habilidades. University. 4 Olmos K. M., Osollo J. E., Fernández L. F. , 2010. De esta forma se pretende generar un método útil para quienes se “Pertinencia de la Formalización de Dominios Semi- encuentren con la necesidad de realizar la evaluación de habilidades Formalmente Definidos en el Análisis Inteligente de Datos”. y requieran de una guía para el desarrollo de una estructura capaz Culcyt Universidad Autónoma de Ciudad Juárez. de representar conocimientos y elegir las técnicas que permitan: 5 Charniak E. , 1991. “Bayesian Networks Without Tears”. A.I. verificar e interpretar habilidades. Magazine Volume 12 Number 4. 6 Darwiche A. , 2010. ”What are Bayesian Networks and why are their Applications Growing Across all Fields?”. 5. DISCUSIÓN Communications of the ACM Volume 53 Number 12. DOI Algunos enfoques y modelos generados a partir de la IA como el 10.1145/1859204.1859277. enfoque cognitivo, el modelo probabilístico, las técnicas Rough Set 7 Xiao-xuan H., Hui W., Shuo W. , 2007. “Using Expert´s y las Redes Bayesianas entre otras, pueden ser más apropiados para Knowledge to Build Bayesian Networks ”. International ciertas necesidades de evaluación facilitando la construcción de 8 Rodríguez D., Dolado J., “Redes Bayesianas en la Ingeniería estructuras que representen el conocimiento deseado. Sin embargo, del Software”. Universidad de Alcalá, Universidad del País será necesario elegir un modelado del conocimiento del dominio y Vasco. técnicas de razonamiento para evaluar dicho conocimiento, en 9 Chahuán-Jiménez K., 2009. “Evaluación cualitativa y consecuencia se supone pertinente la propuesta de un método para gestión del conocimiento ”. Educación y educadores, la verificación de habilidades en DEI. volumen 12, No. 13. Universidad de la Valparaíso. Algunas técnicas del área de Soft Computing pueden utilizarse para la inferencia, clasificación y generación de conocimientos de manera efectiva. No obstante, las características y estructura que posea el conocimiento que se desea evaluar serán independientes