Um Modelo Ontológico para Auxiliar os Educadores na Avaliação do Desempenho Acadêmico de Alunos no Ensino a Distância Laécio A. Costa1, Leandro M. P. Sanches2, Laís N. Salvador2, Marlo Souza2 1 Instituto Federal do Sertão Pernambucano (IFSertão-PE) - Petrolina – PE - Brasil 2 Universidade Federal da Bahia (UFBA) - Salvador – BA – Brasil laecio.costa@ifsertao-pe.edu.br, leandrompsanches@gmail.com, {laisns,msouza1}@ufba.br Abstract. This work presents an ontology to assist teachers in the process of evaluating the academic performance of distance education students. The purpose of this ontology is to infer about student's academic performance from the monitoring of student interactions in the Learning Management System. The ontology proposed represents two taxonomies consolidated by learning theories and widely used by educators in the planning of pedagogical activities. This ontology is part of a software architecture for the educational context with the proposal of assisting educators in the evaluation process of learning. Resumo. Este trabalho apresenta uma ontologia para auxiliar professores no processo de avaliação do desempenho acadêmico dos alunos da Educação a Distância. O objetivo da ontologia é inferir sobre o desempenho acadêmico do estudante a partir do monitoramento das interações dos alunos no Sistema de Gerenciamento da Aprendizagem. A ontologia proposta representa duas taxonomias consolidadas por teorias de aprendizagem e amplamente utilizadas por educadores no planejamento das atividades pedagógicas. Esta ontologia é parte de uma arquitetura de software para o contexto educacional com a proposta de auxiliar educadores no processo de avaliação da aprendizagem. 1. Introdução A avaliação de desempenho acadêmico dos alunos em cursos a distância é um processo que ocorre diferentemente do ensino presencial devido à distância transacional entre educadores e alunos (Lima e Fialho, 2001). Além disso, fatores como, a limitação das ferramentas de análise de dados disponíveis no ambiente de aprendizagem e o alto custo para o educador gerenciar e analisar uma grande quantidade de dados educacionais, não propiciam uma avaliação eficiente da aprendizagem. A avaliação da aprendizagem é um instrumento pedagógico, intrínseco ao processo de ensino. O educador utiliza métodos avaliativos para mensurar as habilidades e competências adquiridas pelo aluno a partir do planejamento dos Objetivos de Aprendizagem (OA) (Luckesi, 2011). Os OA orientam educadores no planejamento das atividades de ensino, alunos no processo de construção do conhecimento e possibilitam mensurar o conhecimento através das avaliações (Bloom, 1956). A construção dos OA é uma etapa do planejamento da disciplina onde educadores definem o percurso da aprendizagem. Copyright © 2019 for this paper by its authors. Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0). Neste artigo, descrevemos a ontologia Onto-LO - Ontology of Learning Objectives, que formaliza a Taxonomia de Bloom e a Taxonomia Revisada de Bloom (Costa et al., 2018b). Onto-LO objetiva inferir conhecimento a partir das interações dos alunos no Sistema de Gerenciamento da Aprendizagem (SGA) e fornecer informações sobre o nível de aprendizagem para módulo de processamento da arquitetura SapeS (Student Academic Performance Evaluation System) (Costa et al., 2019). SapeS é uma arquitetura de software que visa extrair informações das interações dos alunos e produzir relatórios que auxiliam o educador no processo de avaliação do desempenho acadêmico, norteado por uma taxonomia de OA. O uso da ontologia na ferramenta SapeS possibilita ao educador parametrizar o sistema com o carregamento da formalização de uma taxonomia de OA. No restante deste artigo, a Seção 2 detalha os trabalhos relacionados. A arquitetura SapeS é apresentada na Seção 3. A Seção 4 descreve a visão geral das Taxonomias de OA e a ontologia Onto-LO. A Seção 5 apresenta as considerações finais. 2. Trabalhos Relacionados Com base no Mapeamento Sistemático realizado por Costa et al. (2018a), descrevemos os principais trabalhos relacionados. Lima et al. (2017) propuseram uma ontologia que objetiva gerenciar Objetos Virtuais de Aprendizagem (OVA) e suas relações com os OA norteados pela Taxonomia de Bloom. Os autores utilizam Mapa de Conteúdos e Mapa de Dependências para representar o conteúdo mais significativo para um determinado objetivo educacional. Kalou et al. (2012) demonstram um modelo, baseado na Taxonomia Revisada de Bloom, que visa classificar os resultados da aprendizagem alinhados com os OA explorando os aspectos do conhecimento. Esse modelo pode ajudar tutores e estudantes na recuperação de conhecimento útil e na construção de ferramentas educacionais. Ng (2005) apresenta uma ontologia para representação dos OA visando à recomendação de OVA de acordo com as experiências dos alunos. Esse modelo tem como objetivo melhorar as regras de sequenciamento dos conteúdos e a personalização dos objetivos com base na Taxonomia de Bloom. O estudo de Nussbaumer et al. (2012) apresenta um modelo para auxiliar na conscientização e reflexão das ações não observáveis das atividades cognitivas e metacognitivas dos alunos aliada a taxonomia das atividades de aprendizagem. Yago et al. (2018), propuseram uma rede de ontologias para supervisionar as ações dos alunos e por fim, recomendar ações de aprendizagem com base na Taxonomia de Bloom. Esses trabalhos apresentam modelos ontológicos observando a relação de OVA e ações de aprendizagem no progresso acadêmico e no sequenciamento dos conteúdos. Entretanto, não foram identificados trabalhos que utilizam um modelo ontológico para monitorar o desempenho acadêmico dos alunos norteado por uma taxonomia dos OA. 3. A arquitetura SapeS SapeS (Student Academic Performance Evaluation System) é uma ferramenta aplicada no contexto educacional para auxiliar educadores no processo de ensino e aprendizagem. A arquitetura SapeS coleta as experiências de aprendizagem, oriundas das interações dos alunos no ambiente de aprendizagem, processa-os e ao final produz informações a serem abstraídas pelos atores (Educadores e Alunos). A arquitetura SapeS, apresentada na Figura 1a., é dividida em três módulos: 1) Coleta e Armazenamento, 2) Processamento e Análise dos dados educacionais, e 3) Visualização das Informações. O módulo de coleta utiliza a linguagem de consulta SPARQL que, aplicada em bases de dados educacionais (LRS – Learning Record Store), possibilita recuperar as experiências de aprendizagem dos alunos realizadas no SGA. Os dados recuperados estão no formato da tripla (Ator-Verbo-Objeto) em RDF e especificados conforme o framework xAPI1 (Experience API). a. b. SGA LRS SGA Compreensão Figura 1: Visão geral da arquitetura SapeS (a.) e da estrutura taxonômica(b.) O processamento dos dados é realizado no Módulo 2 e utiliza uma taxonomia de OA formalizada por uma ontologia, neste caso a Onto-LO. A Onto-LO possibilita inferir sobre o nível de conhecimento do aluno em relação ao nível de aprendizagem definida pela taxonomia formalizada. A Onto-LO contém verbos oriundos das experiências de aprendizagem dos alunos coletadas no SGA e infere sobre o nível de conhecimento do estudante relacionado à atividade realizada. O conhecimento inferido sobre cada atividade realizada pelo aluno será agrupado utilizando algoritmos estatísticos. O módulo 3, Visualização, consiste de uma ou mais camadas com instrumentos visuais que associam variáveis monitoradas e gráficos que mostram a evolução dessas variáveis. Os níveis de informações apresentadas nos Dashboards devem ser suficientes para que educadores abstraiam e consumam as informações processadas de maneira mais clara e sem a dedução de outros resultados. Esse módulo esta dividido em duas visões: uma para o Educador que possibilitará monitorar toda a turma ou um aluno específico, e outra visão do Aluno, a qual permitirá monitorar sua performance e, consequentemente, promover a auto regulação da aprendizagem. 4. A Taxonomia de Objetivos de Aprendizagem e a ontologia Onto-LO As taxonomias de OA são úteis para auxiliar educadores no processo de ensino, aprendizagem e avaliação, categorizando as metas e objetivos. Elas são utilizadas para classificar as ações educativas fornecendo uma estrutura de categorias que dá um significado comumente compreendido. A Taxonomia de Bloom foi a primeira estrutura de classificação dos OA sendo representado por mais de cem verbos que determinam ações educativas distribuídas nos seis níveis hierárquicos, os quais indicam o grau em 1 xAPI - é uma especificação que coletar dados sobre as experiências de aprendizagem do aluno, https://xapi.com/ que a habilidade ou conhecimento subjacente foi atingido. Cada nível possui um conjunto de verbos especificados por especialistas da área de educação (Bloom, 1956). A estrutura original de Bloom, Figura 1b, foi revisitada por pesquisadores que reconhecem nela uma ferramenta útil e eficaz para auxiliar na avaliação do processo ensino-aprendizagem, no planejamento das aulas e na criação de estratégias de ensino. Ela foi revisada em 2001 (Krathwohl e Anderson, 2001) alterando os verbos para a forma infinitiva e a posição de alguns níveis da taxonomia. A ontologia Onto-LO é composta por cinco classes, representadas na Figura 2, criadas com base nas Taxonomias dos OA (Bloom e Bloom Revisada) e nos modelos ontológicos identificados na Seção 2. O desenvolvimento da ontologia seguiu a metodologia proposta por Noy e McGuiness (2001), a qual é amplamente adotada. A Onto-LO descreve os níveis das taxonomias, as quais representam as habilidades desenvolvidas pelo aluno através da classe Desempenho_academico. Cada nível do desempenho acadêmico está vinculado a um determinado nível do Objetivo Educacional através da propriedade tem_objetivo. As subclasses da classe Objetivo_educacional descrevem os verbos dos níveis que a taxonomia retrata, por exemplo o Objetivo_educacional de Nível 1 (conhecimento) relaciona-se com verbos que determinam ações interativas dos alunos nesse respectivo nível. A classe Verbo possui instâncias que determinam as ações esperadas no processo de aprendizagem e a classe Estudante representa as instâncias dos nomes dos alunos. A classe Estrutura_classificacao possui instâncias que descrevem as duas taxonomias (Bloom e Bloom Revisada) implementadas na ontologia. a. b. Figura 2: Visão geral da ontologia Onto-LO. Cada classe que representa um elemento estrutural das taxonomias está associada a uma descrição de linguagem natural, Figura 2b. Essa descrição é capturada por propriedades literais dos objetos processados. Além disso, as propriedades dos objetos (ObjectProperty) são utilizadas para expressar os relacionamentos entre classes e instâncias. Neste sentido, o resultado da inferência do nível taxonômico é fruto de um conjunto de relacionamentos que vincula uma instância de uma classe com outra. Para inferir um conhecimento são fornecidas as literais: nome do estudante e o verbo, encontrados na declarativa de interação com as atividades de aprendizagem. Várias características e correlações entre as classes, propriedades e instâncias podem ser elaboradas apenas por regras de lógica descritiva e pela exploração dos mecanismos de raciocínio existentes. Esse modelo inclui quatro tipos de regras todas expressas em SWRL (Semantic Web Rule Language) representadas na Tabela 1. Tabela 1. Regras SWRL implementadas no modelo ontológico ID Regra sapes:tem_objetivo(?d, ?o) ^ sapes:verbo_encontrado(?p, ?v) ^ sapes:tem_verbo(?o, ?v) -> S1 sapes:desempenho_atual(?p, ?d) S2 sapes:tem_objetivo(?d, ?o) ^ sapes:classificacao(?o, ?c) -> sapes:classificacao(?d, ?c) sapes:objetivo_atingido(?o1, ?o2) ^ sapes:tem_objetivo(?d1, ?o1) ^ sapes:tem_objetivo(?d2, ?o2) ^ S3 sapes:desempenho_atual(?p, ?d1) -> sapes:desempenho_atingido(?p, ?d2) sapes:objetivo_atingido(?o1, ?o2) ^ sapes:desempenho_atingido(?p, ?d1) ^ sapes:tem_objetivo(?d1, S4 ?o1) ^ sapes:tem_objetivo(?d2, ?o2) -> sapes:desempenho_atingido(?p, ?d2) Na primeira regra (S1), o raciocinador verifica se o verbo encontrado tem correlação com o objetivo e o atual desempenho, então infere o nível da taxonomia a qual pertence. A segunda regra (S2), possibilita inferir sobre qual taxonomia um objetivo esta relacionado, neste caso Bloom ou Bloom Revisada. A regra S3 possibilita inferir sobre o desempenho atingido a partir do desempenho atual do aluno, verificando se o aluno cumpriu algum objetivo do nível anterior. A última regra, S4, tem como finalidade inferir sobre os níveis anteriores ao desempenho atual do aluno (desempenho_atingido), por exemplo: se um aluno estiver no nível 5 da taxonomia, ele deve (necessariamente) ter cumprido os objetivos educacionais em cada nível anterior. A ontologia foi povoada com alguns estudantes e verbos. Cada estudante possui uma propriedade (ObjectProperty) verbo_encontrado que tem como range o verbo da atividade desenvolvida a partir das interações do aluno no SGA. Resultados da inferên- cia da ontologia aplicada na arquitetura SapeS são representados na Figura 3. a. b. Figura 3: Resultado parcial do processamento da arquitetura SapeS. Na parte “a” da Figura 3 está representado o resultado da inferência do nível de conhecimento do aluno com base na Taxonomia Revisada de Bloom. Na parte “b” tem- se resultados da inferência em relação à Taxonomia de Bloom. A Figura 3 apresenta conhecimento sobre o aluno Rafael, o qual teve uma experiência de aprendizagem corresponde ao Nível 3 das taxonomias. 5. Considerações Finais Neste trabalho, apresentamos uma ontologia que formaliza duas taxonomias de OA. A ontologia proposta foi integrada à arquitetura SapeS que ajudará educadores e alunos no processo de ensino e aprendizagem. Em particular, essa ontologia apresenta benefício para os educadores, pois possibilitará o planejamento de atividades pedagógicas mais estruturadas e claras. Além disso, educadores poderão ajustar o planejamento do curso para uma forma mais eficaz e personalizada. Por outro lado, os alunos poderão organizar melhor o seu estudo uma vez que podem monitorar, de forma mais clara, o seu desempenho acadêmico e proporcionar uma aprendizagem autorregulada. O conhecimento resultante sobre o desempenho acadêmico possibilitará aos educadores a construção de novos encaminhamentos no planejamento pedagógico que favoreçam o engajamento e sucesso dos alunos. Como trabalho futuro forneceremos as ferramentas e os métodos necessários para incorporar a ontologia proposta em aplicações inteligentes capazes de processar e gerenciar os aspectos do conhecimento em SGA. Pretendemos oferecer à comunidade educacional serviços avançados para lidar com os dados educacionais que visam promover ganhos no processo de avaliação da aprendizagem. 6. References Bloom, B. (1956) “Taxonomy of Educational Objectives”, New York: David McKay Company Inc. Costa, Laecio A.; Salvador, Laís N.; Amorim, Ricardo R. (2018a) "Evaluation of Academic Performance Based on Learning Analytics and Ontology: a Systematic Mapping Study," IEEE FIE, San Jose-EUA. DOI: 10.1109/FIE.2018.8658936. Costa, Laecio A.; Sanches, Leandro P.; Salvador, Laís N.; Souza, Marlo V.; Amorim, Ricardo R. (2018b) "OntoLo: Um modelo ontológico para avaliar o desempenho acadêmico na Educação a Distância" SBIE, Maceió-AL. DOI: cbie.sbie.2018.1898. Costa, Laecio A.; Salvador, Laís N.; Amorim, Ricardo R.; Souza, Marlo, V. (2019) "Monitoring Students Performance in E-learning based on Learning Analytics and Learning Educational Objectives," IEEE ICALT, Maceió-AL. DOI: 10.1109/ICALT.2019.00067. Kalou, Aikaterini; Solomou, Georgia; Pierrakeas, Christos; Kameas, Achilles (2012) “An Ontology Model for Building, Classifying and Using Learning Outcomes”. IEEE ICALT. DOI:10.1109/ICALT.2012.45. Krathwohl, D. e Anderson, L. (2001) “A Taxonomy for Learning, Teaching and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives”, New York: Longman. Lima, Rommel W.; Oliveira, Alysson M.; Silva, Patrício A.; Silva, Maria das Graças P. (2017) “Ontologia para Gerenciamento de Objetos de Aprendizagem”. SBIE. DOI: 10.5753/cbie.sbie.2017.1796. Lima, R. W.; Fialho, S. V. (2011) “Mapa de Conteúdos e Mapa de Dependências: ferramentas para um planejamento com base em objetivos educacionais”. In: Revista de Exatas e Tecnológica, v.2, p.10. Luckesi, Cipriano C. (2011) Avaliação da Aprendizagem – Componente do ato pedagógico. CORTEZ Editora. Ng, Lai (2005) “Ontological Model for Representation for Learning Objectives. Simon Fraser University”. Tese (Simon Fraser University). Canadá. Disponível em: http://summit.sfu.ca/item/10336. Noy, Natalya F. e McGuiness, Deborah L. (2001) “Ontology Development 101: A Guide to Creating Y our First Ontology”, Stanford Knowledge Systems Laboratory Technical Report KSL-01-05. Nussbaumer, A.; Scheffel, M.; Niemann, K.; Kravcik, M.; Albert, D. (2012) Detecting and reflecting learning activities in personal learning environments. ARTEL. Pp. 125-131. ISSN: 16130073. Yago, H.; Clemente, J.; Rodriguez, D.; Fernandez-de-Cordoba, P. (2018) ON- SMMILE: Ontology Network-based Student Model for Multiple Learning Environments. Data & Knowledge Engineering, DOI: 10.1016/j.datak.2018.02.002.