Most existing solutions for automatic assessment of open-ended questions use machine learning models, based on writing style and with an emphasis on a final score. They do not consider the relevance of the feedback content: how much of the response is relevant or not to the content of the question. This work proposes an approach to improve the quick feedback needed in this type of assessment, identifying the cognitive deficiencies of each student and guiding them in the elimination of these deficiencies. The approach combines the notions of ontology learning, ontology alignment algorithms, action recommendation algorithms, and plan recommendation algorithms for each student.
Segundo [6] a maioria dos avanços nas pesquisas sobre questões abertas em avaliações automáticas envolve modelos de aprendizagem de máquina, onde o feedback se resume a um valor de percentagem indicando o quanto a resposta para a questão aberta está correta (por exemplo: 75% correto), ou seja, oferecendo informações insuficientes de feedback, que não detalham as deficiências cognitivas ou não indicam onde o estudante pode minimizar tais deficiências.
O presente trabalho propõe uma abordagem para melhorar a agilidade e qualidade do feedback da avaliação automática de questões abertas, empregando ontologias geradas a partir das respostas do professor e do estudante, algoritmos de alinhamento de ontologias, e algoritmos de recomendação de ações e planos personalizados, visando minimizar as deficiências cognitivas de cada estudante. Para isso, a apresentação da abordagem está organizado em mais cinco seções. A Seção 2 elenca os trabalhos relacionados. A Seção 3 detalha a metodologia do trabalho. A Seção 4 sistematiza a avaliação de desempenho da abordagem. A Seção 5 discute os resultados preliminares. Finalmente, a Seção 6 apresenta as considerações finais e indicações de trabalhos futuros.
Em [6] apresenta-se uma revisão da literatura sobre sistemas automatizados de avaliação em questões abertas, onde em [7] ilustra-se uma abordagem para encontrar a pontuação final verificando a correspondência de similaridade entre a resposta dos estudantes e o conteúdo do professor, baseado no algoritmo de similaridade de ontologias Wu-Palmer [8]. A biblioteca OpenNLP foi utilizada para detecção de sentenças, marcação de frases, marcação de Part-ofspeech (POS), análise morfológica e sintática de textos. Tal trabalho não apresenta detalhes sobre a qualidade das ontologias criadas, ou sobre o formato do feedback de respostas. A pontuação ifnal apresentada utiliza a medida Wu-Palmer, atribuindo pontuação com: nota máxima para um valor maior que 0.6; nota média para um valor entre 0.4 e 0.6; e nota zero, para o valor menor que 0.4. Em [9] foi proposta uma abordagem baseada em grafos para identificar padrões importantes a partir de textos fornecidos por rubricas e respostas de alunos com pontuação máxima. Em [10] propuseram redes de similaridade de frases com 30 diferentes métricas para encontrar a pontuação das respostas.
Na literatura é possível encontrar diversas propostas de sistemas de recomendações aplicadas ao contexto educacional, tais como as apresentadas em [11, 12]. Elas abordam o levantamento de perfis de usuários associados à representação de informações de um especialista, no processo de classificação desses perfis. Para o presente trabalho, a construção do sistema de recomendações (SR) será baseado em [13].
O processo de desenvolvimento da abordagem aqui proposta está dividido em 4 etapas. A etapa 1 é responsável pelo pré-processamento do texto não estruturado oriundo dos usuários, texto do estudante e do professor. A etapa 2 é responsável pela construção das entidades, conceitos e relacionamentos das ontologias. Na etapa 3 ocorre o processo de emparelhamento das ontologias.
A etapa 4 utiliza o relatório resultante da etapa 3 como entrada, e retorna outro relatório com as entidades corretas, ou seja, as informações sobre as correspondências e medidas de confiança entre as duas ontologias, a do estudante e a do professor, entidades ausentes e entidades incorretas. É na etapa 4 que o feedback da avaliação obtida com as informações resultantes do alinhamento de ontologias é utilizado como entrada para um sistema de recomendações, que fornecerá como saída as sugestões de reforço de estudo dos assuntos necessários. Tais informações também serão disponibilizadas para visualização do professor, que poderá acompanhar e realizar intervenções apropriadas, em função desse feedback.
Em resumo, as recomendações serão elaboradas considerando: a pergunta (questão aberta) e a resposta de referência elaboradas pelo professor; a ontologia construída automaticamente a partir da resposta de referência; o texto, da resposta para a questão, elaborado pelo estudante; a ontologia construída automaticamente a partir dessa resposta; o relatório do alinhamento entre as ontologias do professor e estudante; e, um conjunto de recursos de aprendizagem associados ao conteúdo da questão, como, por exemplo, textos, vídeos, e outras mídias que possam ser utilizadas para reforçar a aprendizagem dos conteúdos necessários à resposta correta da questão.
A abordagem propõe investigar três estruturas de programas de agentes artificias inteligentes, ou seja, o agente reativo baseado em modelos e orientado por regras condição-ação, o agente orientado por objetivos e o agente orientado por utilidade [14]. O primeiro agente recomenda ações baseado em um modelo que lhe permite entender melhor uma situação corrente e em um conjunto de regras especialistas, relacionando situações (condição) a uma recomendação adequada (ação). O segundo agente, em vez de se considerar um conjunto de regras prédefinidas, utiliza a noção de situação desejada para elaborar recomendações no formato de planos adequados. Semelhantemente, o terceiro agente utiliza uma função de utilidade (multiobjetivo) para a elaboração destes planos.
Vale reforçar que o fluxo descrito por essas etapas está simplificado. Outras tarefas importantes dizem respeito à aquisição de conhecimento especializado no formato de regras condição-ação para a recomendação de ações, e a concepção de um mecanismo que permita a definição de situações correntes e desejadas, de efeitos de ações em situações correntes e da noção de espaço de estados do problema de recomendação, e que, consequentemente, possibilite a utilização de algoritmos de busca sistemática e local para a elaboração de recomendações no formato de planos.
A avaliação da abordagem aqui proposta será divida em três fases. A primeira medirá a qualidade das ontologias e do resultado do seu alinhamento. Para avaliar as ontologias construídas automaticamente a partir de texto, serão utilizadas as principais ferramentas de Processamento de Linguagem Natural (PLN) e suas métricas, onde, dentre outros critérios, será considerada a avaliação dos conceitos que envolvem palavras sinônimas, apoiadas pela utilização de artefatos linguísticos como Wordnet. Ainda nessa fase, será avaliada a qualidade do alinhamento das ontologias, a partir de um gold standard e métricas como: precisão, cobertura e medida-f.
A segunda fase consistirá na avaliação de desempenho dos programas de agentes artificiais para a recomendação de ações e planos racionais. No caso do agente reativo, a avaliação focará no desempenho do modelo - que será proposto para o agente descrever uma situação corrente e, no mecanismo de seleção de recomendações no formato de ações considerando um conjunto de regras especialistas. No caso do segundo e terceiro agentes, a avaliação será no desempenho dos algoritmos de busca concebidos para a elaboração de recomendações no formato de planos.
A terceira fase focará em uma avaliação mais qualitativa dos componentes da abordagem. Por exemplo, a elaboração de questionários para serem aplicados aos usuários da plataforma, ou seja, docentes e discentes em cenários de estudos de casos, e análise das respostas para as questões com base na escala de Likert, permitirão avaliar o desempenho da abordagem em termos de usabilidade, qualidade e utilidade do feedback gerado.
A apresentação dos resultados preliminares foi organizada seguindo as etapas ilustradas na seção anterior. Na etapa 1, o processo de construção automática de ontologias (Ontology Learning - OL) demonstrou-se uma tarefa desafiadora; e, conforme detalhado em [ 15], a literatura apresenta algumas ferramentas e técnicas para auxiliar nesta etapa. Assim, ainda nessa etapa, optou-se por implementar uma solução própria que faz uso de ferramentas e bibliotecas bem conhecidas da literatura – como NLTK e Stanford OpenNLP – para apoiar o processo de pré-processamento de texto em linguagem natural, e geração de objetos no formato SVO (Sujeito-Verbo-Objeto) com a linguagem Python; devido a dificuldades de acesso e utilização das ferramentas da literatura como, por exemplo, Text2Onto [16] e Ontogen [17], descontinuidades de atualizações, falta de documentação suficiente para a correta manipulação, e problemas na exportação da ontologia para formatos OWL ou RDF. Na etapa 2, os objetos SVO foram convertidos em uma ontologia descrita na linguagem OWL (Web Ontology Language), conforme ilustrado na Figura 1(a).
Na etapa 3, conforme citado em [18, 19], o processo de alinhamento de ontologias mostrou-se útil em diversos cenários e existem diversos sistemas de emparelhamento de ontologias, métricas e algoritmos para alinhamento de ontologias. Nesta etapa, foram selecionadas algumas ferramentas de alinhamento de ontologias: Lily, LogMap, Ontoemma, Machine-learning-ontologymatching, Deep-align e OntoMatch. Onde foram avaliadas características como: documentação, facilidade no acesso e instalação, linguagem de programação e bibliotecas. Após a execução de alguns experimentos, dentre as ferramentas listadas, optou-se por utilizar a ferramenta OntoMatch1, pois ela foi a única ferramenta, em comparação às citadas, que retornou resultados sem maiores problemas ou dificuldades de configuração e execução, conforme Figura 1(b).
Com a abordagem proposta espera-se melhorar a qualidade do feedback das avaliações automáticas de questões abertas, minimizando as dificuldades cognitivas dos estudantes, por meio da recomendação de reforço do estudo de conteúdos não assimilados efetivamente. A abordagem também permitirá melhorar a agilidade do feedback tanto para o estudante quanto para o professor, e reduzir a sobrecarga de trabalho dos professores no processo de correção de questões abertas. A abordagem proposta contribuirá com o estado da arte das pesquisas em ASAG, por meio de uma avaliação do processo de ensino-aprendizagem centrada no conteúdo, preenchendo uma carência das soluções atuais. Também espera-se que a avaliação dessa abordagem em comparação com outras abordagens tradicionais enriquecerá a discussão e fomentará a produção de trabalhos futuros sobre a temática da avaliação centrada no conteúdo. Além disso, uma abordagem orientada por ontologias favorecerá a interoperabilidade da proposta com outras soluções no domínio educacional.
Futuramente, ainda poderão ser agregadas novas funcionalidades à plataforma proposta. Por exemplo, a geração automatizada de perguntas guiadas por ontologias, podem trazer benefícios para os professores, diminuindo o tempo para a elaboração de perguntas. Este tipo de automatização pode ajudar na elaboração de questões que tenham correspondência com o conteúdo que dever ser realmente aprendido pelos estudantes, conforme preconiza [21], ao apresentar as condições sob as quais a avaliação apoia a aprendizagem. 1Disponível em: <https://github.com/sbalot/OntoMatch>. Acesso em: 29 jul. 2022. É uma extensão do trabalho [20]. [6] D. Ramesh, S. K. Sanampudi, An automated essay scoring systems: a systematic literature review, Artificial Intelligence Review (2022) 2495—-2527. [7] S. A. Ajetunmobi, O. Daramola, Ontology-based information extraction for subjectfocussed automatic essay evaluation, in: 2017 International Conference on Computing Networking and Informatics (ICCNI), IEEE, 2017, pp. 1–6. [8] Z. Wu, M. Palmer, Verb semantics and lexical selection, in: Proc. 32nd Annual Meeting of the Association for Computational Linguistics (ACL), 1994, pp. 133––138. [9] L. Ramachandran, J. Cheng, P. Foltz, Identifying patterns for short answer scoring using graph-based lexico-semantic text matching, in: Proceedings of the Tenth Workshop on Innovative Use of NLP for Building Educational Applications, 2015, pp. 97–106. [10] K. Zupanc, M. Savić, Z. Bosnić, M. Ivanović, Evaluating coherence of essays using sentencesimilarity networks, in: Proceedings of the 18th International Conference on Computer Systems and Technologies, 2017, pp. 65–72. [11] S. F. Bezerra, S. Silva, F. M. Neto, P. Silva, B. de Sousa Monteiro, Sistema de recomendação ubíquo integrando hipermídias baseada em ontologia, in: Simpósio Brasileiro de Informática na Educação-SBIE, volume 28, 2017, p. 1793. [12] J. Aguiar, A. Barbosa, J. Fechine, E. Costa, Um estudo sobre a influência das dimensões do modelo felder-silverman na recomendação de recursos educacionais baseada nos estilos de aprendizagem dos alunos, in: Simpósio Brasileiro de Informática na Educação-SBIE, volume 28, 2017, p. 1277. [13] J. T. de Souza, G. A. L. de Campos, C. Rocha, E. Werbet, L. F. d. Costa, R. T. de Melo, L. V. Alves, An agent program in an iot system to recommend activities to minimize childhood obesity problems, in: Proceedings of the 35th Annual ACM Symposium on Applied Computing, 2020, pp. 654–661. [14] S. Russel, P. Norvig, Artificial Intelligence. A Modern Approach. 4th Edition, Pearson, 2020. [15] F. N. Al-Aswadi, H. Y. Chan, K. H. Gan, Automatic ontology construction from text: a review from shallow to deep learning trend, Artificial Intelligence Review 53 (2020) 3901–3928. [16] P. Cimiano, J. Völker, Text2onto: A framework for ontology learning and data-driven change discovery, in: Proceedings of the 10th International Conference on Natural Language Processing and Information Systems, NLDB’05, Springer-Verlag, Berlin, Heidelberg, 2005, p. 227–238. URL: https://doi.org/10.1007/11428817_21. [17] B. Fortuna, M. Grobelnik, D. Mladenic, Ontogen: Semi-automatic ontology editor, in: Symposium on Human Interface and the Management of Information, Springer, 2007, pp. 309–318. [18] J. Euzenat, P. Shvaiko, et al., Ontology matching, Springer Berlin, Heidelberg, 2013. [19] L. Otero-Cerdeira, F. J. Rodríguez-Martínez, A. Gómez-Rodríguez, Ontology matching: A literature review, Expert Systems with Applications 42 (2015) 949–971. [20] D. Faria, C. Pesquita, E. Santos, M. Palmonari, I. F. Cruz, F. M. Couto, The agreementmakerlight ontology matching system, in: OTM Confederated International Conferences" On the Move to Meaningful Internet Systems", Springer, 2013, pp. 527–541. [21] G. Gibbs, C. Simpson, Conditions under which assessment supports students’ learning, Learning and Teaching in Higher Education (2004) 3–31.