This paper applies classification algorithms in a large database with the purpose of diagnosing the causes of two problems faced in Brazilian universities, college dropout and retention. The accuracies of many algorithms were measured with a focus on verifying the ability to correctly classify available instances. Results showed that the Bayesian Network method reached an overall precision approximately 86% and it is considered a very satisfactory solution for the discovery and representation of knowledge about academic performance of undergraduate students, especially those who are willing to give up or extrapolate the deadline for completing to the course. Resumo. Este artigo aplica algoritmos de classificação em uma grande base de dados com finalidade de diagnosticar as causas de dois problemas enfrentados em universidades brasileiras, a evasão e a retenção. Foram mensuradas acurácias de diversos algoritmos com foco em verificar a capacidade de classificar corretamente as instâncias disponíveis. Os resultados apontaram que o método Rede Bayesiana atingiu precisão geral de aproximadamente 86% sendo considerada uma solução bastante satisfatória para descoberta e representação do conhecimento acerca do desempenho acadêmico dos alunos da graduação, especialmente aqueles propensos a desistir ou extrapolar o prazo para conclusão do curso.
concluintes. Constata-se que houve queda no número de concluintes em todas as
organizações acadêmicas, representando redução de 6,4% para as faculdades, 6,8% em
relação aos centros universitários, 4,4% tendo em conta as universidades e 26,0%
considerando Institutos Federais (IFs) e Cefets [
Governo Federal acerca do problema da evasão, sob a asserção “os índices de evasão de
estudantes nos cursos de graduação atingem, em alguns casos, níveis alarmantes”. Outra
medida adotada pelo Governo Federal brasileiro foi a Lei Nº 12.089 de novembro de
2009 [
Segundo [
Considerando que os problemas da evasão e retenção possuem inúmeras causas e consequências negativas para estudantes, instituições de ensino e comunidades nas quais esses indivíduos estão inseridos, este trabalho tem como objetivo a criação de subsídios que auxiliem gestores da instituição de ensino superior a identificar alunos, dos cursos de graduação, em situação de vulnerabilidade à evasão ou à retenção dentro dos seus ambientes de aprendizagem. Dentre os subsídios importantes à gestão, destacam-se: previsão de quais alunos são propensos a desistir ou permanecer além do tempo estipulado pelo currículo; representação desta informação; e identificar quais atributos, dentre os disponíveis, são mais relevantes durante a classificação desse aluno.
representa um “processo não-trivial de extração de informações implícitas, previamente
desconhecidas e potencialmente úteis a partir de dados” [
Foram testados algoritmos, durante a etapa de Data Mining, a partir da tarefa de
classificação, que define-se como “o processo de atribuir, a uma determinada
informação recebida, o nome de uma classe à qual ela pertence” [Rich e Knight 1993]
ou ainda constrói um modelo ou classificador [
de métodos para explorar os dados provenientes de cenários educacionais e como essas
metodologias são empregadas para compreender os alunos nos seus ambientes de
aprendizagem. Argumenta-se a existência de um aumento considerável no interesse por
pesquisas valendo-se de EDM [
[Baker et al. 2011] ratificam os argumentos supramencionados, afirmando, em adição, que a área de EDM vem crescendo rapidamente em países da Europa e nos EUA, salientando ainda o fortalecimento das pesquisas no Brasil durante a última década. Destas constatações, deduz-se que a comunidade científica está cada vez mais interessada nesse campo emergente de investigação, o que o torna tendência promissora de investimentos e pesquisas em âmbito científico e acadêmico [Baker 2009].
[
árvore de decisão conseguiu a melhor taxa de acerto (93, 0%). [
No Brasil, as investigações em Mineração de Dados Educacionais se consolidaram
em 2012, na ocasião, [
O nosso trabalho, proposto neste artigo, possui similaridades com aqueles discutidos anteriormente, visto que, por exemplo, vale-se de algoritmos classificadores para detecção de um padrão que classifique às instâncias corretamente quanto à evasão e retenção em âmbito acadêmico. Contudo diferencia-se dos demais nos seguintes aspectos: i) aplicação em uma grande base de dados, composta por quase 100 mil amostras, pois a maioria dos trabalhos usam data sets com algumas centenas de registros; ii) análise sobre todos os cursos de graduação, enquanto muitos trabalhos avaliam cursos ou disciplinas de maneira isolada. Além disso, este trabalho visa fortalecer o campo de EDM, uma vez que esta área é nova, há poucos estudos nacionais e exerce grande influência na resolução de problemas atrelados ao desempenho escolar.
área acadêmica através de módulos como: graduação, pós-graduação (stricto e lato sensu), ensino técnico, entre outros. O SIGAA foi adquirido pela Universidade Federal do Pará (UFPA), por meio de um contrato firmado com a Universidade Federal do Rio
Os dados selecionados à pesquisa são registros acadêmicos, oriundos do SIGAA, referentes a 157.298 discentes dos cursos de graduação, ingressantes até o ano de 2016, da Universidade Federal do Pará, totalizando 175.779 amostras. Desta quantidade, as tuplas inconsistentes ou que continham valores nulos foram removidas, permanecendo 98.698 linhas. A Tabela 1 mostra os 31 atributos selecionados e os seus respectivos significados.
(IECH), Índice de Eficiência em Períodos Letivos (IEPL), Índice de Eficiência
métricas quantificam o desempenho dos alunos da graduação e nos cálculos consideram-se dados do histórico acadêmico, tais como: quantidades de reprovações, aprovações, trancamentos, cargas horárias acumuladas e esperadas para integralização do curso, entre outros. As fórmulas para cálculo desses indicadores e os seus respectivos significados estão dispostos no Regimento da Graduação da Universidade Federal do
Tabela 1. Atributos selecionados à pesquisa Nº Variável 1 sexo idade interior turno 2 3 4 5 6 7 forma_ingresso numero_trancamento numero_vinculos 8-10perc_ch_{tipo} 11 sem_ordem 12 primeiro_semestre_ocorr 1139- indices_academicos 2202- prob_indices 2330- perc_{conceito}_{avaliacao} 31 status Descrição Sexo que o discente pertence Idade que o aluno ingressou no curso Informa se o discente estuda no campus capital ou em um dos campi do interior do estado Turno no qual o discente estuda Forma de seleção pela qual o discente ingressou na universidade Número de vezes que o discente trancou a matrícula Número de vezes que o discente fez outras graduações (vínculos) até o ingresso no curso atual Percentual das cargas horárias prática, teórica e de estágio O percentual das disciplinas cursadas fora da ordem proposta pelo currículo do discente Informa qual o semestre que o discente cursou pela primeira vez uma disciplina fora de ordem Representam os indicadores de desempenho acadêmico Refere-se a probabilidade de um discente formado nos últimos 5 anos possuir índice acadêmico maior ou igual ao aluno avaliado Refere-se ao percentual de um conceito conseguido pelo discente dentro do período avaliado
Denota a situação (classe) a qual o estudante pertence
últimos cinco anos possuir um dos índices acadêmicos igual ou superior aos demais alunos pertencentes ao mesmo curso e matriz curricular. Foram usados os indicadores
letivo, é convertida em conceito, definido segundo a escala apresentada na Tabela 2. As variáveis indexadas de 23 a 30 referem-se ao percentual de um determinado conceito de acordo com o período de avaliação, seja este geral (acumulado por todo o curso) ou para o primeiro ano cursado. Por exemplo, a variável perc_ins_primeiro_ano denota o percentual de conceitos do tipo INS referente ao primeiro ano de graduação.
possíveis valores são: “Formado”, “Evadido” e “Retido”. Os alunos considerados na classe “Formado” são aqueles que conseguiram integralizar a carga horária prevista pelo curso. Por sua vez, o rótulo “Evadido” remete-se aos alunos que, por decisão própria ou processo de prescrição previsto em regimento da instituição, abandonaram a graduação.
prazo de conclusão estabelecido no currículo do curso foram classificados como “Retido”. Existem na base de dados 65.758 (66,63%) amostras referentes a classe dos alunos formados; 25.581 (25,92%) dos registros, pertencem aqueles que desistiram dos estudos; e por fim, os alunos em retenção são menos representativos, 7.359 (7,46%).
Tabela 2. Correspondência entre a média das notas e o conceito
Conceito
Bom (BOM)
[0-4,99] [5-6,99] [7-8,99] [9-10]
Durante a etapa de Data Mining, foram testados algoritmos classificadores, a partir disso analisou-se a precisão global (acurácia) de cada um deles, para finalmente selecionar aquele que obteve uma taxa de acerto aceitável. Considerou-se ainda à seleção do algoritmo dois critérios: a representação dos resultados e o quanto esta informação pode ser interpretada por especialistas e usuários inseridos no domínio. Para estas finalidades, a Rede Bayesiana se mostra uma importante ferramenta, pelos seguintes aspectos: representação gráfica da relação entre estados; a rede expressa o conhecimento especialista acerca do domínio; e os resultados numéricos (probabilidades) podem ser visualizados através de gráficos.
e testes, destinados a estimar precisão e confiabilidade do modelo construído pelo
classificador, foi a validação cruzada com k conjuntos estratificada (stratified k-fold
cross-validation), por ser uma das mais empregadas em mineração de dados [
Os algoritmos de aprendizado supervisionado [
A Tabela 4 apresenta os 9 algoritmos e as métricas usadas: tempos para treinar e testar
modelo, acurácia e coeficiente Kappa. Os resultados mostram que a melhor solução foi
conseguida através do indutor Random Forest cuja acurácia superou 87%, não obstante
o algoritmo Bayesian Network revelou precisão global próxima de 86% e tempos
aceitáveis para construção e testes do modelo, além disso este algoritmo obteve valor de
estatística Kappa igual a 0,6961, considerado um nível substancial de concordância
interobservador [
Tabela 3. Abordagens para construção classificadores e parâmetros de execução dos modelos, algoritmos Abordagens Probabilístico Probabilístico Baseado em funções
Algoritmos Naive Bayes Redes Bayesianas (Bayesian Network) Support Vector
Machine (SVM) Baseado em instâncias K-Nearest Neighbor l(eInasrtnainncge)d-based (KNN) K=1 Parâmetros Não se aplica Algoritmo de construção da rede: K2; Máximo número de pais em cada nós 5 Função kernel gaussiana: exp(−γ ∗ |u-v|2); C = 1; γ = 1/k, seja k o número de instâncias.
Redes Neurais Artificiais Árvores de Decisão Tipo Backpropagation;
Função de ativação sigmóide; Multilayer Perceptron Número de épocas = 500; Taxa de aprendizado = 0.3; Momentum Rate = 0.2
Mínimo de instâncias por folha = 2; C4.5
Limite de confiança para prunning = 25% Árvores de Decisão
Random Tree Árvores de Decisão
Random Forest Árvores de Decisão
Classification And Regression Trees (CART)
Número de iterações = 100; Profundidade máxima da árvore ilimitada; Mínimo de instâncias por folha = 1 Número de iterações = 100; Profundidade máxima da árvore ilimitada; Mínimo de instâncias por folha = 1 Número máximo de instâncias em nós terminais = 2
clássicas. A escolha pela rede Bayesiana é satisfatória aos objetivos desta pesquisa, porquanto, neste experimento: não penalizou tempo de construção e testes do modelo; demonstrou taxa de acerto adequada se confrontada as demais; e agrega conhecimento especialista sobre o domínio em representação gráfica. Diante do exposto, apresentamse, na Subseção 5.2, a geração da RB e o conhecimento extraído da própria topologia da rede, por intermédio da inferência probabilística.
Tabela 4. Métricas de desempenho geral dos classificadores
Tempo para treino (segundos)
Tempo para teste (segundos)
Acurácia (%)
Algoritmos Naive Bayes Bayesian Network KNN SVM C4.5 Multilayer Perceptron Random Tree Random Forest CART 0.31 6.77 0.29 1418.69 5.2. Análise da evasão e retenção via Redes Bayesianas
classe (status), de acordo com ganho de informação [
estão diferentes com propósito de agrupar os tipos das variáveis conforme seus significados no domínio de aplicação. Os elementos em laranja, verdes e azuis são respectivamente, índices acadêmicos, probabilidades de o discente possuir o valor índice acadêmico menor ou igual aos formados, e os percentuais avaliados para determinado conceito (notas).
estudante depende diretamente do número de trancamentos, do Índice de Eficiência Acadêmico (IEA), da probabilidade em relação a este índice, e do percentual de reprovações durante todo o curso. Com efeito, essas relações fazem sentido, uma vez que o aumento do número de trancamentos e baixo IEA implica, consequentemente, em uma elevação na probabilidade do índice (probabilidade_iea); isto é, o discente fica abaixo da expectativa de conclusão dos estudos em tempo hábil, ou ainda de concluir do curso. Vale destacar que, a partir da topologia apresentada, outras interpretações são possíveis e válidas no contexto pesquisado.
Kappa 0.5688 0.6961 0.6483 0.6999 0.7048 0.6984 0.5924 0.7118 Figura 1. Rede Bayesiana construída para analisar a evasão e retenção no âmbito educacional
trancamentos (numero_trancamento). A Tabela 5 evidencia as probabilidades, em cada categoria de estudantes, dadas evidências por classe (estado) dos atributos apresentados.
Tabela 5. Probabilidades das três classes de estudantes segundo a inferência probabilística para os atributos IEA (iea) e número de trancamentos (numero_trancamentos) Classes de
alunos Formado Retido Evadido
número de trancamentos são determinantes para o aluno concluir os estudos com êxito.
matrícula possui aproximadamente 95% (0,946) de possibilidades para formar-se. Notase que a ocorrência de 1 trancamento e índice de eficiência acadêmica de regular a bom (6,435 a 7,975), constitui uma faixa limítrofe, pois estudantes nesta situação têm 67,5% de serem diplomados. Após 1 trancamento os discentes, com desempenhos de bom a excelente, possuem 44% (0,436) de chances para concluírem os estudos sem entrar em situação de retenção.
Os graduandos que não trancaram a matrícula e possuem índice de eficiência acadêmica inferior a 3,95 apresentam 15,3% de chances à retenção. Dos resultados, observa-se que um estudante tende a extrapolar o prazo de conclusão proposto em currículo quando realiza 1 trancamento e possui um IEA entre 3,905 e 6,335. Estas situações são, empiricamente, observáveis em ambientes universitários, geralmente os alunos com baixo rendimento acadêmico (insuficiente ou regular) e que trancaram a matrícula, extrapolam o tempo de permanência na graduação em decorrência do acumulo de disciplinas o qual dificulta ainda mais a conclusão dos estudos.
Inversamente ao fato notado aos estudantes formados, a redução do IEA e o aumento do número de trancamentos são fortes indícios da evasão. Os resultados obtidos evidenciam que há uma alta probabilidade (90,5%) de o aluno abandonar o curso, caso realize mais de um trancamento da matrícula e tenha desenvolvido um IEA insuficiente (3,95). Evidencia-se com um IEA maior que 3,95 e no máximo 1 trancamento, o discente possuirá probabilidade menor a 38% de abandonar a graduação, uma situação tida segura para o discente concluir os estudos, ademais do risco da retenção.
Esta pesquisa utilizou mineração de dados sobre uma base de dados com quase cem mil registros acadêmicos dos discentes de graduação para entender as causas associadas ao abandono dos estudos e a permanência além do prazo estipulado para conclusão do curso. Neste trabalho foram testados nove algoritmos classificadores, sendo que o método Random Forest, apresentou a melhor acurácia, superior a 87%. Contudo, priorizou-se a escolha de um classificador capaz de possuir fácil representação de resultados e que esta possa expressar o conhecimento do especialista sobre o domínio estudado. Nessa perspectiva, o classificador Bayesian Network foi escolhido e, ratificou sua escolha por também obter desempenho satisfatório, visto que sua precisão global ultrapassou 85%.
A Rede Bayesiana construída mediante o uso do método de buscas K2 viabilizou a extração de importantes conhecimentos a respeito dos problemas analisados, permitindo a sua vinculação ao índice de eficiência acadêmica e a interrupção da matrícula em período letivo. Os resultados alcançados não são exaustivos, dessa forma outras pesquisas são necessárias para consolidar as respostas acerca dos principais fatores ligados à evasão e retenção em âmbito universitário. Como trabalhos futuros, serão realizadas novas investigações com atributos adicionais de caráter socioeconômicos, fato que permitirá relacionar o desempenho acadêmico a situações de vulnerabilidades sociais e, principalmente, quantificar o impacto dessa dependência, o que propiciará aos gestores a criação de mecanismos eficazes de combate à evasão e retenção.
Quantitativa. In Simpósio Brasileiro de Sistemas de Informação, pages 468-479.