Methodological Proposal for Trajectory Analysis. Case Study L. Illescas-Peña1, M. Peña2, F. Bravo1, S. Larriva2 1 Universidad de Cuenca, Facultad de Filosofía, {lourdes.illescasp, fabian.bravo}@ucuenca.edu.ec 2 Universidad de Cuenca, Facultad de Ciencias Químicas, {mario.penao, silvana.larriva}@ucuenca.edu.ec Abstract. For university academic management in general, it is always important to clear- ly know the average time a student needs to complete the credits established in the curriculum. There are several methods to capture academic information and most of them are based on qualification records, access to virtual platforms, as- sistance, etc. Based on the architecture of learning analysis proposed by the au- thors, we specifically worked on a methodology that would allow measuring the academic trajectory using variables such as: number of credits per semester, grades, approvals and number of enrollments. Information from a 2013 cohort of two university careers was used as a reference. The result of the methodolo- gy allowed graphing the behavior and generating a detailed analysis of the aca- demic trajectory. The methodological proposal can be generalized for other ca- reers provided that the analysis of the results is contextualized to the behavior of the nature of the training area. Keywords. Learning Analytics, Academic Trajectory, Academic Performance 1 Introducción: El estudio y análisis de las causas de deserción, rendimiento académico, trayectoria, etc. han sido elementos considerados en numerosas investigaciones que buscan justi- ficar las causas y posibles soluciones a estas variables. Cada institución de educación superior busca pronosticar el comportamiento de sus estudiantes con el fin, entre otros muchos, de optimizar recursos, espacios y esfuerzos. El estudio, la predicción del desarrollo académico así como las investigaciones so- bre los factores que describen el éxito académico y la permanencia de los estudiantes, son temas de alto impacto en la educación superior [1]. Es así, que el interés de estas instituciones por identificar con claridad el desempeño estudiantil a través de tasas de deserción, retención, aprobación, tasas de egreso, etc., han generado investigaciones que surgen de una necesidad particular basadas en criterios académicos de acredita- ción o análisis temporal. A pesar del extenso número de estudios sobre el abandono en la educación supe- rior, aún sigue siendo motivo de análisis el proceso que provoca la deserción estu- diantil. La atención inadecuada sobre la definición de deserción ha llevado a los in- vestigadores a agruparse bajo la rúbrica de abandono, que resultan ser diferentes ya que no es lo mismo un fracaso escolar que un retiro voluntario académico [2]. Por otro lado, el rendimiento académico es un importante predictor del rendimiento en otros niveles de educación y de otros resultados laborales importantes, como el desempeño laboral y el salario [3]. Una de las perspectivas más relevantes para com- prender el rendimiento académico es la teoría sociocognitiva de la motivación, inicia- da por el trabajo de Dweck en 1986 con la premisa de que los comportamientos de los estudiantes son una función de los deseos de alcanzar objetivos particulares, centrán- dose principalmente en dos objetivos dominantes: aprendizaje y rendimiento [4]. En algunas investigaciones [5,6] se han abordado al mismo tiempo la deserción y la trayectoria académica, parece apropiado hacerlo de esta manera porque resulta difícil distinguir entre los alumnos que abandonan la universidad durante ciertos pe- ríodos y regresan a la misma (trayectoria discontinua) de aquellos que nunca regresan (desertores), porque las universidades ofrecen sistemáticamente facilidades para que los estudiantes concluyan sus estudios y obtengan el grado respectivo [7]. Paralelamente a estas investigaciones, una de las áreas dedicadas al estudio de los comportamientos académicos es la Analítica, utilizada mayormente en educación superior para la toma de decisiones administrativas; y, que combina grandes conjun- tos de datos, técnicas estadísticas y modelos predictivos. Se podría pensar que, es la práctica de extraer datos institucionales para producir "inteligencia procesable"[8]. En este contexto Cambell and Oblinger[8], definen la analítica educativa como un meca- nismo que trabaja en 5 fases: Captura, Reporte, Predicción, Acción y Refinamiento. Cada una de las fases que contempla la analítica del aprendizaje requiere un estu- dio y atención detallada. Esta propuesta se centró en la fase de predicción, que se diseña específicamente para proveer respuestas a preguntas previamente formuladas, por ejemplo, un algoritmo que permita ayudar a los estudiantes a anticiparse a dificul- tades durante su experiencia universitaria; ayudar a los instructores a identificar estu- diantes que no están avanzando como se esperaría; y, ayudar a los administradores a anticiparse sobre complicaciones en un curso [9]. Es así que se pretendió alcanzar un modelo de análisis que permita la predicción de una trayectoria académica, centrali- zada en el contexto en el que se desarrolla el estudiante, basado en la carrera de for- mación y en los comportamientos generados por los históricos registrados en un sis- tema informático con datos suficientes para el análisis. Para el cálculo de la trayectoria, Mares[5] propuso hacerlo en términos del prome- dio alcanzado en la universidad, la continuidad en los estudios y la manera de acredi- tar las materias. En la propuesta se plantearon dos categorías, la primera sobre compe- tencias académicas y no académicas y, en la segunda se refirió a las circunstancias económicas, culturales y familiares del estudiante. Estas acciones permitieron distin- guir la orientación de las acciones hacia los alumnos o hacia la institución [7], basado en ello la presente propuesta considera analizar la primera categoría basada en compe- tencias académicas generando una proyección que permitiera distinguir acciones orientadas directamente a los alumnos. Por otra parte, según Palomino[10], los principales indicadores asociados al rendi- miento académico son: Promedio ponderado acumulado (PPA), Promedio aritmético de calificaciones (PAC). En donde el promedio ponderado acumulado (PPA) es un indicador que presenta el rendimiento académico acumulado sobre todos los periodos tomados por cierto estudiante en la carrera; mientras que, el promedio aritmético de calificaciones (PAC) es un Indicador que presenta el rendimiento académico en un periodo dado [10]. 2 Metodología Esta sección provee la metodología utilizada para identificar la trayectoria académica en un contexto universitario basado en un sistema de aprobación por créditos. Para ello se analizaron estudios realizados sobre el análisis de trayectorias académicas y en base a una propuesta propia se construyó una función que permitiría realizar un cálcu- lo en base a variables como: eficiencia académica y eficacia terminal. Finalmente, la propuesta metodológica plantea una estrategia de graficación que permitió analizar la trayectoria académica de una forma global e identificar a los estudiantes con una tra- yectoria que demande atención o análisis personalizado. El análisis de la trayectoria académica propuesto, es parte de un modelo académico global con una arquitectura que contempla 5 cuadrantes Fig [1]. El primero consiste en definir la forma de obtener información académica generada en cualquier momento del aprendizaje; el cuadrante 2 trabaja en el análisis con el uso de herramientas diver- sas entre ellas la minería de datos; el tercer cuadrante se concentra en la representa- ción gráfica de los datos generados y a la vez cumple un papel indispensable para el cuadrante 4, en el que se realiza un análisis pedagógico sobre las causas, resultados y consecuencias de la información obtenida y,; finalmente el quinto cuadrante se encar- ga de realizar una propuesta de intervención interdisciplinaria sobre el problema de- tectado. Este modelo deberá repetirse constantemente tras la aplicación de diversas técnicas propuestas tras los resultados generados. Fig. 1. Arquitectura de Análisis Académico El presente artículo se centra en una propuesta que se genera para el cuadrante 2 y 3. A través de una metodología que permita identificar un valor asignado a una tra- yectoria académica medida por varias variables generadas en el proceso de aprendiza- je del estudiante y, una propuesta de representación gráfica que permita un análisis efectivo global y personalizado de los estudiantes en una cohorte cualquiera de una carrera determinada para el análisis. 2.1 Metodología de Análisis de la trayectoria. El sistema de gestión académica de la Universidad de Cuenca registra los detalles de las calificaciones, matrículas y ficha socioeconómica de los alumnos en cada se- mestre lectivo desde septiembre del 2009 hasta la actualidad; es decir, se cuenta con una base de datos suficiente que permitiría generar información específica en cuanto a rendimientos, avances curriculares y deserción. Por lo tanto, se tiene la posibilidad además de generar visualizaciones que permitan identificar posibles índices elevados de pérdidas, disminución e incremento matrículas, por dar un ejemplo. Los datos utilizados en este estudio fueron obtenidos del sistema de gestión aca- démica universitario. La información de carácter personal fue eliminada o reemplaza- da por códigos aleatorios para garantizar la confidencialidad de los campos estudia- dos. La información utilizada se basó en las notas finales de asignatura, estado (apro- bado o reprobado) de cada materia tomada por el estudiante. La cohorte analizada fue la correspondiente a los alumnos que ingresaron a primer año en el semestre marzo- julio 2013. La universidad dispone de 51 carreras de las cuales se tomarán dos como prueba piloto de la metodología propuesta en este artículo. Es así que, se tomó la in- formación de las carreras de Ingeniería Química con 32 estudiantes y Matemáticas y Física con 8 estudiantes. La metodología propuesta contempla los datos correspon- dientes a 10 semestres comprendidos entre marzo del 2013 hasta febrero del 2018 de una sola cohorte. Si bien es cierto, el análisis de la trayectoria académica se realiza por individuo, el resultado general en la visualización permitió observar un compor- tamiento global de los alumnos analizados. Para ello, se propuso analizar el promedio de rendimiento académico [10] y se uti- lizó la formula (1) Promedio Ponderado Acumulado (PPA), que corresponde a la suma de los productos de las notas finales de cada una de las asignaturas formalmente inscritas por un estudiante, aprobadas o reprobadas, multiplicado por su respectivo número de créditos y dividido por el total de créditos de las asignaturas formalmente inscritas acumuladas por el estudiante. ∑𝑛𝑗=1 𝑁𝑁𝑗 ∗ 𝑁𝑁𝑗 1 𝑃𝑃𝑃𝑖 = ∗ (1) ∑𝑛𝑗=1 𝑁𝑁𝑗 𝛼 donde: i = ciclo o semestre i − ésimo 𝑛 = Número de asignaturas formalmente inscritas hasta el periodo i − ésimo 𝑁𝑁 = Nota final de cada asignatura 𝑁𝑁 = Número de créditos de cada asignatura 𝛼 = Calificación máxima de las materias Con este índice se determinó el rendimiento, y la efectividad ponderada respecto a los créditos de cada material cursada hasta determinado ciclo o semestre. El factor α se incorpora para establecer al factor PPA en el intervalo [0, 1]. En relación a las calificaciones, el cálculo del Promedio Aritmético de Calificacio- nes (PAC) se realizó a través de la suma de las notas finales de las asignaturas inscri- tas por cada estudiante, aprobadas y reprobadas, dividido por la cantidad de asignatu- ras inscritas en un determinado ciclo o semestre (2) [10]. ∑𝑚 𝑘=1 𝑁𝑁𝑘 1 𝑃𝑃𝑃𝑖 ∗ (2) 𝑚 𝛼 donde, 𝑚 = Número de asignaturas formalmente inscritas en un determinado ciclo Con este índice se determinó el rendimiento, la efectividad respecto a un determi- nado ciclo. El factor α, nuevamente se incorpora para establecer al factor PAC en el intervalo [0, 1]. El objetivo del indicador 𝑃𝑃𝑃 es, presentar el rendimiento del estudiante en un de- terminado ciclo o semestre, es decir, su desempeño tras las evaluaciones. Mientras el indicador 𝑃𝑃𝑃 busca presentar el rendimiento histórico, y a la vez espera estabilizar el avance del estudiante. Se puede considerar por otro lado, el Avance (A) que corresponde al número de créditos aprobados en determinado ciclo o semestre 𝑖 − é𝑠𝑠𝑠𝑠, dividido para el total de créditos del plan de estudios o malla curricular. 𝑁𝑁𝑁𝑁𝑖 𝐴𝑖 = 𝑡 (3) ∑𝑙=1 𝑁𝑁𝑙 𝑁𝑁𝑁𝑁 = Número de créditos aprobabos en determinado ciclo o semestre − ésimo 𝑡 = número de créditos totales de la carrera En base a las funciones mencionadas, este estudio propuso una fórmula que permi- tiera calcular un valor que presente de manera holística la trayectoria de un estudiante, considerando el avance de los créditos sobre la malla y la efectividad en el avance. Es así que se propone el cálculo de la Trayectoria (4) de un estudiante en un periodo 𝑖 − é𝑠𝑠𝑠𝑠 por la multiplicación de los factores, Avance (A) y la semisuma entre: el Promedio aritmético de calificaciones (PAC), y el promedio ponderado acumulado (PPA); más el valor de la trayectoria en el periodo (𝑖 − 1). 𝑃𝑃𝑃𝑖 + 𝑃𝑃𝑃𝑖 𝑇𝑖 = 𝑇𝑖−1 + 𝐴𝑖 ∗ (4) 2 Para 𝑖 = {1, 2, 3, … . 𝑠}, siendo 𝑠 el total de periodos tomados por un estudiante. Como se esperaría, el valor de 𝑇0 = 0. Por otro lado, para la representación de los resultados, se propuso el uso de una gráfica que permitiera visualizar la trayectoria del estudiante sobre umbrales o límites (bandas) determinados por presente estudio Fig [2]. En este gráfico, en el eje horizon- tal se pueden identificar los semestres que han transcurrido a partir de marzo del 2013 hasta febrero del 2018 para la cohorte analizada; mientras en el eje vertical se identi- fica la trayectoria, calculada mediante la fórmula de la Trayectoria(4). La propuesta de representación “Trayectoria IDEAL” como aquella en la que hi- potéticamente el estudiante ha obtenido 100% como calificación en todas las mate- rias; naturalmente, el estudiante en este caso habría aprobado siempre todas las mate- rias formalmente inscritas. En la “Trayectoria NORMAL” se considera que el estu- diante habría aprobado siempre todas las materias formalmente inscritas con un pro- medio del 80% de rendimiento académico. La “Trayectoria DEFICIENTE” en cam- bio, describe a un estudiante que habría aprobado siempre pero con un promedio del 60%, es decir, el mínimo considerado para aprobar cualquier materia en la institución de educación superior analizada. Trayectoria IDEAL 1 0,9 Zona DESEADA 0,8 Trayectoria NORMAL Trayectoria (T) 0,7 Zona de RIESGO 0,6 Trayectoria DEFICIENTE 0,5 0,4 Zona de ALERTA 0,3 0,2 0,1 0 0 1 2 3 4 5 6 7 8 9 10 Ciclo o Semestre Fig. 1 Propuesta de representación de la variable Trayectoria Académica Con estos umbrales se establecen 3 zonas importantes. La “Zona DESEADA” en donde estarían las trayectorias de los estudiantes con calificaciones aceptables (sobre el 80%). La “Zona de RIESGO” en la se identifican estudiantes con calificaciones regulares (entre 60% y 80%) y que pasen sin repetir materias. Finalmente la “Zona de ALERTA” considerada una zona no deseada que implique un análisis más profundo y generen situaciones de intervención para evitar una deserción. 3 Resultados Tras la aplicación de metodología de cálculo e trayectoria, se generó la tabla de re- sultados de la Carrera de Matemáticas y Física e Ingeniería Química y la representa- ción de la trayectoria de cada uno de los estudiantes enmarcados en las tres áreas de clasificación. La Fig [3]. muestra las gráficas correspondientes a Matemáticas y física y la Fig [4] la correspondiente a la carrera de Ingeniería Química. Las carreras analizadas tienen una malla curricular de 9 y 10 ciclos respectivamen- te. En el caso de matemáticas y física se puede observar que la tendencia de la trayec- toria académica de los alumnos tiende a ubicarse en la Zona Deseada, mientras que en la carrera de Ing. Química la mayoría de estudiantes se registra en la zona de Riesgo. 1 0,8 Trayectoria (T) 0,6 0,4 0,2 0 0 1 2 3 4 5 6 7 8 9 10 Ciclo Matemáticas y Física Fig. 2 Trayectoria Académica de los estudiantes de la Carrera de Matemáticas y Física 1 0,8 Trayectoria (T) 0,6 0,4 0,2 0 0 1 2 3 4 5 6 7 8 9 10 Ciclo Ing. Química Fig. 3 Trayectoria Académica de los estudiantes de la Carrera de Ing. Química Mientras 5 estudiantes de la cohorte de matemáticas y física están en la zona Deseada ya que terminan de cursar las materias en nueve semestres y con calificacio- nes en promedio sobre el 80%; en la carrera de Ing. Química, se observa que apenas 3 estudiantes alcanzan la zona pero con dificultad. Para quienes se mantuvieron en la zona de RIESGO durante toda su carrera, es evidente que la trayectoria demorará más de nueve semestres y esto se observa en el gráfico. Es evidente que aquellos estudiantes que han tenido un buen rendimiento académi- co y han sido regulares en aprobar las asignaturas planificadas en la malla curricular de su carrera, están en la zona deseada y culminan la carrera en los plazos estableci- dos. Aquellos estudiantes que están en la zona de riesgo no tienen altos rendimientos académicos, y es probable que hayan perdido una o más asignaturas, por lo que la culminación de sus estudios está retrasada. Los estudiantes que ubican en la zona de alerta son aquellos que tienen problemas de rendimiento académico, han perdido va- rias asignaturas y su trayectoria académica demanda atención. 4 Conclusiones Tras la validación de la fórmula propuesta, fue posible el cálculo de una variable Trayectoria Académica calculada en base a las calificaciones obtenidas por el estu- diante y el número de créditos registrados en cada semestre académico. El resultado de la fórmula generó valores que fueron posibles de representar en una gráfica senci- lla que representa la forma de avance de un estudiante de una cohorte específica en una carrera cualquiera. La propuesta se concentró en dos carreras, Matemáticas y Física e Ingeniería Quí- mica del área social y del área técnica respectivamente. El resultado del cálculo de las trayectorias evidenció que el comportamiento académico en las dos carreras es dife- rente. La carrera del área social tiene una tendencia a la aprobación y un número pe- queño de estados de alerta. Por otro lado la carrera del área técnica ubica a la mayoría de sus estudiantes en una zona de alerta, que podría sugerir un alto número de pérdi- das en asignaturas y por lo tanto un retraso en cumplir la malla curricular en los 10 semestres definidos para esta formación. Los resultados muestran además, que es posible detectar a aquellos estudiantes so- bre los que se debería intervenir, permitiendo formular actividades encaminadas a mejorar el desempeño académico, corrigiendo trayectorias y llevándolas sobre el um- bral de trayectoria Normal, es decir, realizar acciones para llevar a los estudiantes a la zona Deseada. El proceso de análisis deberá ser replicado en las 49 carreras restantes y se sugiere analizar si el comportamiento en las carreas del área técnica mantienen un compor- tamiento similar a la de este caso de estudio, así mismo las de las áreas sociales. Una vez conocidos los resultados, será necesario generar un proceso que permita identificar con más claridad el comportamiento de ralentización de una trayectoria académica para la elaboración de propuestas de intervención directas sobre los casos detectados. 5 Bibliografía 1. Ruban L.M., McCoach D.B.:Gender Differences in Explaining Grades Using Structural Equation Modeling, Rev. High. Educ. J. Assoc. Study High. Educ., vol. 28, no. 4, pp. 475–502, (2005). 2. Tinto V., Dropout from Higher Education: A Theoretical Synthesis of Recent Re- search, Rev. Educ. Res., vol. 45, no. 1, pp. 89–125, 1975. 3. Kuncel N.R.,Crede M.,Thomas L. L.: The Validity of Self-Reported Grade Point Averages, Class Ranks, and Test Scores: A Meta-Analysis and Review of the Lit- erature, Rev. Educ. Res., vol. 75, no. 1, pp. 63–82, 2005. 4. Fenollar P., Román S., Cuestas P.J.:University students’ academic performance: An integrative conceptual framework and empirical analysis, Br. J. Educ. Psychol., vol. 77, no. 4, pp. 873–891, 2007. 5. Chaín M., Ramírez R.:Trayectorias Escolares en la Univesrsidad Veracruzana, Revista de la Educación Superior, 1997. [Online]. Available: https://cdigital.uv.mx/bitstream/handle/123456789/5819/Publragu.htm?sequence= 2&isAllowed=y. [Accessed: 20-Jun-2018]. 6. Meléndez M. A.:Reprobación y deserción estudiantil en el IT Parral: un estudio de caso.,Confluencia Noroeste, vol. 6, 1998. 7. Mares G., Rocha H., Rivas O., Rueda E., Cabrera R., Tovar J.: Identification of factors vinculated to desertion and academic trajectory of Psychology stud ents at FES Iztacala, vol. 17, no. 55, pp. 189–207, 2012. 8. John D. G. O. , Campbell P., Peter B. DeBlois: Academic Analytics: A New Tool for a New Era | EDUCAUSE, 42, 2007. [Online]. Available: https://er.educause.edu/articles/2007/7/academic-analytics-a-new-tool-for-a-new- era. [Accessed: 14-May-2018]. 9. Larusson J. A. , White B.: Learning Analytics: From Research to Practice, vol. 8, no. 1. New York, 2012. 10. Palominos F. E., Díaz H. M., Palominos S. K., and Cañete L. R.: Relación entre los Procedimientos de Selección a la Educación Superior y el Desempeño Aca- démico de los Estudiantes con base en una Clasificación mediante Conjuntos Di- fusos, vol. 11, pp. 45–52, 2018.