Early detection of students tending to drop out is crucial to improve not only graduation rates but also education quality. By using basic statistical learning techniques, this work presents a simple way to predict possible dropouts based on their demographic and academic characteristics. In order to reasonably predict while gaining a better understanding of the dropout phenomenon, after a preliminary analysis, 4 classification methods are applied including 2 easy-tointerpret ones. Some of the main results of this study show that almost 22% of current students are potential dropouts while being an older student and failing many subjects tend to cause dropout; on the other hand, passing more than 12 subjects and long-term access to library materials can prevent students from leaving college.
En la educación superior, la deserción estudiantil es un problema relevante, no sólo en
América Latina sino en países desarrollados. Aunque no existe consenso para medir la
calidad de la educación, uno de los indicadores importantes es el tiempo de titulación
para graduarse (TTG), el cual está relacionado directamente con la deserción estudiantil
[
Existen varias investigaciones que determinan en alguna medida la deserción en
América Latina. En la gran mayoría se trata acerca de la determinación de los factores
que conllevan a la deserción, la medición del número de desertores y los mecanismos
para disminuirlo [
La aplicación de los métodos de aprendizaje estadístico para abordar el problema de
la deserción ya ha sido propuesta por varios estudios, analizando ya sea, la deserción o
culminación de un curso [
En este artículo, se presenta un marco de trabajo para los sistemas de detección temprana de potenciales desertores, en el cual se propone utilizar las 4 técnicas ya mencionadas de manera conjunta. Para medir la efectividad del marco de trabajo, estas técnicas son aplicadas sobre el conjunto de datos del Sistema Académico de la Escuela Superior Politécnica del Litoral (ESPOL), institución pública de educación superior del Ecuador. 2
En esencia este proyecto trata de comparar las características de los estudiantes desertores versus las características de aquellos que no lo son, para luego de esto definir una regla o modelo que los diferencie. En este trabajo, un estudiante es considerado desertor si ha dejado de estudiar los últimos 3 años (2015, 2016, y 2017) y no se ha graduado.
En la Fig. 1 se observa la tendencia del porcentaje de deserción de los estudiantes que ingresaron a la ESPOL en el período 2009-2013 clasificados por género. Este porcentaje de deserción ha ido decreciendo hasta situarse en el 10.56% para las mujeres y el 14.48% para los hombres; sin embargo, aún son porcentajes altos, especialmente, si se los traduce a cantidades absolutas.
La Fig. 1 también refleja que existe una considerable diferencia en la deserción de ambos grupos. Ésta muestra no sólo que ha existido mayor porcentaje de desertores varones que de mujeres, sino que la brecha entre estos 2 grupos se ha acortado, pero siempre ha existido. La Tabla 1 muestra la comparación porcentual de desertores según su género. El estadístico 2 de Pearson para la prueba de independencia de esta tabla de contingencia es 78.96 con un valor p< 0.0001, lo cual indica que la deserción y el género no son independientes. Sin embargo, esto último no implica que el género tiene la capacidad suficiente para discriminar entre estudiantes desertores y no desertores.
Tabla 1. Deserción de estudiantes que ingresaron desde el 2009 al 2013.
Desertor No Desertor
Totales
Femenino Cantidad 498 2,878 3,376
Para la selección del conjunto de datos objetivo, se tomará como “instante de tiempo” el segundo semestre del año 2011. En concreto, el conjunto de datos objetivo lo conforman los estudiantes que ingresaron a la ESPOL desde el año 2009 y estudiaron en el semestre 2011-2s con las características que tuvieron en ese instante de tiempo. Este conjunto de datos consta de 4294 estudiantes de los cuales 525 son desertores.
El conjunto de variables seleccionadas se divide en 2 grupos: las variables relacionadas a las características personales del estudiante y las variables relacionadas a su comportamiento académico. En la Tabla 2 se indica la descripción de cada una de estas variables. El período de prueba mencionado en las variables “Superadas” y “Perdidas” se refiere al semestre en que un estudiante tiene la última oportunidad de aprobar una materia luego de haberla reprobado 2 veces en semestres anteriores; reprobar dicha materia en el período a prueba restringe al estudiante de continuar en la misma carrera.
Tabla 2. Descripción de las variables seleccionadas. # 1 2 3 4 5 6 7 8 9 10 11 12
Variable SEXO
EDAD FACTOR_P RESIDENCIA APROBADAS REPROBADAS
PROMEDIO ANTIGÜEDAD
PERDIDAS SUPERADAS T_AUTONOMO
DESERTOR
Descripción Sexo del estudiante Edad del estudiante Indicador del nivel socioeconómico
Tipo de residencia # de materias aprobadas # de materias reprobadas
Promedio general # de semestres de estudio # de veces en que perdió
un período de prueba # de veces en que superó un período de prueba # de días de consulta de material de la biblioteca principal en el semestre
actual Etiqueta que indica si el estudiante ha o no ha desertado
Tipo Categórica Numérica Numérica Categórica Numérica Numérica Numérica Numérica Numérica Numérica Numérica Categórica, variable respuesta
Posibles valores
{F, M} 16 en adelante
0 a 40 {LOCAL,PROV} 0 en adelante 0 en adelante 0 a 10 0 a 5 Desde 0 en
adelante Desde 0 en
adelante Desde 0 en adelante {SI,NO} 2.3
Para la aplicación de las técnicas se toma el 70% de los datos para entrenamiento y el 30% restante para pruebas. Se toman varias muestras aleatorias con el esquema 70-30. Posterior a la generación de los modelos con las muestras de entrenamiento, se evalúa la precisión de los modelos.
Los métodos aplicados que presentan modelos fáciles de interpretar son: árbol de decisión y regresión logística. Ambos métodos permiten determinar las variables que tienen mayor influencia en la deserción universitaria. En la Fig. 2 se observa el árbol de decisión obtenido con una de las muestras.
Los árboles de decisión pueden presentar reglas incidentales que carecen de
generalidad, tomarlas en cuenta conduciría al efecto conocido como sobreajuste [
La regresión logística es un método de clasificación que permite predecir la probabilidad de deserción del estudiante.
Los resultados de la aplicación de este método a una de las muestras de
entrenamiento se exponen en la Fig. 3. Tal como se observa, las variables pro-deserción
son edad y número de materias reprobadas con coeficientes de 0.2 y 0.23
respectivamente; mientras que las variables que podrían evitar la deserción son el
número de materias aprobadas y el trabajo autónomo del estudiante con coeficientes de
-0.1 y -0.006 respectivamente; todas estas variables de influencia con un valor p menor
a 0.0001. Los otros 2 métodos que se aplican al conjunto de datos son: K-vecinos más
cercanos y Naive Bayes. Estos métodos que se conocen como métodos retardados, no
siempre generan un modelo explícito a la manera del árbol de decisión o la regresión
logística y emplean el mayor tiempo de procesamiento cuando son consultados acerca
de la clasificación de un nuevo elemento [
El principal interés es predecir con razonable precisión la tasa de deserción de un conjunto de estudiantes, es por esto, que el porcentaje de correctas clasificaciones no es muy utilizado como medida de evaluación.
Aplicando validación cruzada 10-fold para los métodos naive bayes y regresión logística se obtienen porcentajes de detección promedio de 28.57% y 28.56% respectivamente.
La técnica de validación cruzada es especialmente útil para la determinación del
valor idóneo de k, en el método de los k-vecinos más cercanos. En este caso, se emplea
la validación cruzada Leave-One-Out, que consiste en tomar todos los elementos
excepto uno para entrenar el modelo, siendo el elemento sobrante empleado para la
prueba [
35.00% 30.00% 25.00% 20.00% 15.00% 10.00% 5.00% 0.00% 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 % de Detección
En esta sección, se presentan los resultados de evaluar cada método con 5 conjuntos de prueba. Al evaluar cada método se podrá obtener las tasas de: malas clasificaciones, falsos positivos, falsos negativos y detección.
En el caso de regresión logística es común etiquetar a un nuevo estudiante como desertor si la probabilidad de deserción que se obtiene es mayor que 0.5. Sin embargo, valores menores para este umbral disminuyen los falsos negativos, aunque en contraparte aumentan los falsos positivos. A este respecto, la Fig. 5 muestra el comportamiento de las distintas tasas al variar el umbral. La selección del umbral no es del todo objetiva; depende, en gran medida, de los recursos disponibles de la institución para atender a los falsos positivos. De acuerdo a la figura, un valor para el umbral pudiera ser 0.3 ó 0.4, ya que se obtiene un porcentaje de detección mayor al 30% con un porcentaje de falsos positivos menor al 10%. Es interesante notar que el porcentaje de malas clasificaciones (% de error) varía muy poco para valores del umbral entre 0.3 y 0.8.
100.00% 90.00% 80.00% 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 0.2 0.3 0.4 0.6 0.7
0.8 0.5
Umbral % falsos negativos % falsos positivos % detección % de error
La Tabla 3 muestra un resumen de la prueba de cada uno de los métodos. En esta tabla se observan los mejores y peores resultados por cada método, siendo el método con mejor porcentaje de detección promedio, la regresión logística con umbral 0.4.
Tabla 3. Porcentajes de detección por método y por muestra.
Métodos muestra 1 muestra 2 muestra 3 muestra 4 muestra 5 Promedio
Para encontrar el porcentaje de detección global de desertores, es necesario aplicar de forma secuencial cada método e ir contabilizando los nuevos desertores que surgen.
La Tabla 4 muestra el resumen final de la aplicación sucesiva de los 4 métodos del proyecto. Tal como se observa, la estimación de la capacidad del proyecto para predecir la deserción universitaria es mayor al 52% y su precisión para clasificar correctamente es mayor al 82%.
Tabla 4. Porcentaje de detección acumulado y precisión por muestra.
Métodos muestra 1 muestra 2 muestra 3 muestra 4 muestra 5 Promedio
Finalmente, se aplican los métodos entrenados al conjunto de 9,159 estudiantes registrados en el segundo semestre del año 2017, de los cuales por supuesto se desconoce su futura deserción. La Fig. 6 muestra los potenciales desertores empleando los 4 métodos. De acuerdo a esto, más del 22% de los estudiantes posiblemente desertarán. Es notorio que los métodos incomprensibles naive bayes y knn-1 agregan gran cantidad de desertores que los otros 2 métodos no detectan (311 + 747 vs. 9 + 73). 4
De manera general, los resultados obtenidos muestran que mientras más avanza el estudiante en sus estudios menos probable es su deserción; y a excepción de la edad, las características personales de los estudiantes poco inciden en su retiro de la universidad.
De acuerdo al método de árbol de decisión, reprobar más de 4 materias en las primeras fases de la carrera contribuye significativamente a la deserción. En el caso de la regresión logística, las variables que más contribuyen a la deserción son: la edad y la cantidad de materias reprobadas. En promedio, se obtuvo que los estudiantes con mayor edad tienen 22% más posibilidades (odds) de desertar frente a los que son un año menor; y, por cada materia reprobada las posibilidades de desertar frente a no hacerlo se incrementan en un 28%; en cambio, cada materia aprobada reduce la razón entre la probabilidad de desertar versus no desertar en un 16% y la consulta de material bibliográfico reduce esta misma razón en 1% por cada día de consulta.
Puesto que las variables “perdidas” y “superadas” no influyen en la deserción, se concluye que reprobar una materia estando a prueba no es garantía de deserción universitaria; así como superar un período de prueba tampoco implica mayor resiliencia en los estudios.
Luego de los experimentos realizados, se estima que la capacidad promedio del proyecto para detectar un posible desertor es mayor al 52%; y, la capacidad promedio para clasificar a un estudiante en el grupo correcto es mayor al 82%.
En el caso de la predicción sobre los datos actuales, al aplicar los 4 métodos de discriminación a los 9,159 estudiantes registrados en el segundo semestre del 2017, se obtuvo que alrededor del 22% de los estudiantes fueron detectados como posibles desertores por al menos uno de los métodos; mientras que 220 estudiantes fueron detectados por más de 2 métodos aumentando así su riesgo de deserción.
Los resultados preliminares obtenidos en este artículo indican que el proceso de
enseñanza-aprendizaje pudiera verse beneficiado al enfocarse en los estudiantes
detectados como posibles desertores, permitiendo que éstos tengan mayor acceso no
sólo a material bibliográfico especializado sino a mejores oportunidades de incrementar
su trabajo autónomo favoreciendo así su aprendizaje activo. Algunos de los siguientes
pasos para potenciar estos resultados serían, estimar el tiempo que tienen los directivos
antes de que el estudiante deserte, como se calcula en [