In context of programming learning environments, many students have difficulties to understand the contents, causing a lack of performance in the discipline. This way, in many researches methodologies and tools are proposed to provide fast and effective feedback. In this investigation, was verified if the number of reference solutions have positive influence in classification of solutions. At the end of the investigation, it was possible to notice that, in a few cases, similarity algorithms provide an fair agreement with the experts, the use of a larger number of reference solutions did not constitute a significant improvement. Resumo. No contexto de ensino e aprendizagem de programação, muitos alunos têm apresentado dificuldades na compreensão dos conteúdos, o que ocasiona mau desempenho na disciplina. Visto isso, muitas pesquisas investigam metodologias e propõem ferramentas para fornecer um feedback rápido e efetivo. Nessa investigação, buscou-se identificar se a quantidade de soluções de referência adotadas influência positivamente a classificação das soluções realizadas por um classificador automático. Ao final da investigação, foi possível notar que em poucos casos o classificador automático fornece uma concordância equivalente aos especialistas, e o uso de uma maior quantidade de soluções de referência não consistiu em um ganho significativo.
Atividades práticas de codificação são fundamentais para o aprendizado de
programação, os estudantes devem ter o hábito de solucionar exercícios e direcionarem
seus estudos à codificação [
Nesta pesquisa, foram usados algoritmos de avaliação de similaridade para classificar códigos com base na taxonomia SOLO (Structure of the Observed Learning Outcomes). Dois objetivos foram adotados, sendo um comparar as classificações geradas automaticamente com as classificações fornecidas por um conjunto de especialistas, e o segundo verificar se a variação da quantidade de soluções de referência adotadas tem impacto na qualidade das classificações geradas automaticamente.
Este artigo está organizado da seguinte maneira, na Seção 2 são apresentados os fundamentos teóricos necessárias para compreensão da pesquisa. Na Seção 3 são apresentados os trabalhos relacionados ao contexto desta pesquisa. A metodologia adotada, bem como os resultados obtidos e a discussão relacionada são exibidos na Seção 4. Por fim, na Seção 7 são descritas conclusões relativas a essa pesquisa.
Para este artigo foram utilizados algoritmos de similaridade com a finalidade de medir o grau de semelhança entre duas entidades. Foram usadas quatro estratégias para a identificação de similaridade, são elas: Coeficiente de Jaccard, similaridade baseada na edição de texto (Text Edit Distance), similaridade baseada na edição de árvore (Tree Edit Distance) e a frequência de termos (Term Frequency-Inverse Document Frequency) (TFIDF). A seguir são apresentadas as descrições de cada estratégia utilizada:
Coeficiente de Jaccard é uma técnica que é utilizada para calcular a similaridade entre duas ou mais instancias. O valor de similaridade está contido dentro de um intervalo de [0,1]. Dado dois conjuntos A e B, a divisão do tamanho da intersecção de A e B pelo tamanho da união de A e B, resultará no valor de similaridade entre os dois conjuntos. Tal como é exibido na Equação 1:
mínimo de uma sequência de operações que transformam uma cadeia X em outra cadeia
Y . Segundo [
árvores (A,B) é possível determinar quantos passos são necessários para transformar determinada árvore em outra aplicando as operações de edição, são elas: inserção, remoção e substituição de nós. O valor obtido corresponde a dissimilaridade (ds) entre os conjuntos, a similaridade s é dada pelo complemento (1 − ds).
Frequência de termos é uma medida estatística que utiliza a frequência com que
um termo/palavra é exibido em uma string para determinar sua importância. Quanto
maior a frequência da palavra em um código qualquer maior será sua
relevância/importância. Existem diferentes estratégias na literatura para computar tal
medida. Neste artigo, foi utilizado a estratégia baseada na medida cosseno [
Nessa pesquisa foram utilizadas métricas de comparação Cohen’s Kappa e Distância Euclidiana com o objetivo de medir o quão próximo são as classificações dos algoritmos quando comparados com a dos especialistas. A seguir as descrições de cada métrica:
Kappa de Cohen é um método estatístico que avalia o nível de concordância além do que seria esperado tão somente pelo acaso entre dois conjuntos de classificações. Sejam dados dois conjuntos de classificações fornecidos por dois especialistas E1 e E2, deseja-se saber o quanto E1 e E2 concordam entre si. A intensidade da concordância entre E1 e E2 pode ser dada pela medida do coeficiente Kappa de Cohen. Este critério mede o grau de concordância além do que seria esperado pelo acaso. O Kappa de Cohen é adequado para obter a concordância entre classificações fornecidas por especialistas par a par. Os valores de Kappa de Cohen variam em um intervalo de [-1,1], onde os valores negativos representam discordância, os valores positivos representam concordância, onde quanto maior o valor obtido maior será a concordância entre os conjuntos, e o valor 0 (zero) que representa que a concordância foi exatamente a esperada pelo acaso.
Distância Euclidiana corresponde à distância em linha reta entre dois pontos em um espaço euclidiano n-dimensional. Sejam dados dois pontos P e Q em um espaço ndimensional, a distância euclidiana entre estes pode ser calculada de acordo com a Equação 3, onde pi e qi representam respectivamente uma coordenada do ponto P e Q. (3)
Desenvolvida por [
Quadro 1. Quadro do modelo adaptado da Taxonomia SOLO
Extended abstract
Resposta cumpre com 100% dos requisitos solicitados e vai além, empregando conceitos mais avançados.
Resposta atinge alta porcentagem dos requisitos solicitados, mas não os cumpre totalmente.
Resposta atinge porcentagem intermediária dos requisitos solicitados, só os cumpre parcialmente.
Resposta atinge baixa porcentagem dos requisitos solicitados, limitando-se aos aspectos mais básicos.
Uma vez que era desejado apenas identificar se uma solução atendia todos os requisitos solicitados, sem necessidade de análise do uso de conceitos mais avançados, não foram diferenciadas as soluções Relational e Extended abstract. Dessa forma, caso uma solução tenha atendido todos os critérios solicitados, independente dos constructos utilizados, ela deveria ser classificada como Relational.
Nesta seção são descritos os artigos de [
Na pesquisa apresentada em [
No artigo desenvolvido por [
O artigo proposto por [
A condução desta pesquisa foi norteada para responder as questões de pesquisa: QP1 - Adotando N soluções de referências classificadas como Relational, a avaliação fornecida é equivalente a avaliação dos especialistas? H0: A classificação automática é igual a dos especialistas.
H1: A classificação automática não é igual a dos especialistas.
QP2 - A variação da quantidade de soluções de referências adotadas tem impacto na qualidade das classificações geradas automaticamente? H0: As classificações são iguais independente da variação da quantidade de soluções de referências adotadas.
H1: As classificações melhoram quando mais soluções de referências são adotadas.
O conjunto de dados utilizado nessa pesquisa é composto por: um conjunto de enunciados de exercícios de programação; um conjunto de códigos submetidos pelos discentes como soluções aos enunciados; um conjunto de algoritmos propostos como soluções de referência e um conjunto de classificações fornecido pelo especialistas.
O conjunto de enunciados de exercícios de programação é composto por quatro enunciados, estes foram fornecidos como uma atividade prática em uma disciplina de introdução a programação.
O conjunto de códigos submetidos pelos discentes representa um total de 438 (quatrocentos e trinta e oito) soluções, sendo 131 para a primeira questão, 118 para a segunda questão, 108 para a terceira e 81 para a quarta questão. As questões possuem níveis de complexidade diferentes, sendo a primeira questão a mais fácil solução e a última questão a mais difícil. Todas as soluções foram desenvolvidas na linguagem de programação Python na versão 3.
O conjunto de soluções de referência é composto por 32 programas, de modo que cada questão possui 8 soluções de referências classificadas como Relational. Sendo assim, um conjunto de quatro soluções possui similaridade abaixo de 0.5, enquanto o outro conjunto de quatro soluções possui similaridade acima de 0.5.
O conjunto de classificações foram fornecidos por três especialistas, sendo dois destes professores e um tutor. As classificações foram realizadas em um momento anterior a realização do experimento. Todos os especialistas receberam uma descrição da taxonomia SOLO, o conjunto de enunciados e os códigos que deveriam classificar.
Foram realizados três rodadas de execução no experimento, onde nestas foi alterada a quantidade de soluções de referência e a similaridade entre estas soluções. Na primeira rodada, foi utilizada apenas uma solução de referência classificada como Relational. Na segunda rodada, foram utilizadas quatro soluções de referência classificadas como Relational, onde a média de similaridade entre as soluções foi menor que 0.5. Na terceira rodada, foram utilizadas outras quatro soluções de referência classificadas como Relational, onde a média de similaridade entre elas foi maior que 0.5. Cada rodada foi executada em três etapas: execução dos algoritmos de similaridade sobre os códigos submetidos, geração dos valores referente a cada métrica de comparação e uma análise dos dados.
Todas as classificações receberam correspondentes numéricos, no seguinte modo: Relational, Multistructural, Unistructural e Prestructural agora são 4, 3, 2 e 1 respectivamente. As soluções foram classificadas da seguinte forma, quando uma solução foi classificada como relational quando a similaridade estava no intervalo (0.75, 1.00], como multistructural quando no intervalo (0.50, 0.75], como unistructural quando no intervalo (0.25, 0.50] e como prestructural quando no intervalo (0.0, 0.25].
Nesta seção serão apresentados os resultados obtidos na pesquisa, além de uma série de discussões. Nas figuras 1, 2, 3 e 4 são exibidos os gráficos boxplots com os resultados obtidos para o conjunto de especialistas e os algoritmos utilizados. Em todos os gráficos, foram mantidos os resultados dos especialistas e da classificação obtida usando apenas uma solução de referência.
Foram adotados as seguintes nomenclaturas: ref1 o uso de apenas uma solução de referência, ref4 o uso de quatro referências e ref4_E2 o uso de quatro referências na rodada 2. Desta maneira, por exemplo, Tree_ref1 se refere ao resultado do algoritmo Tree quando apenas uma solução foi utilizada, Tree_ref4 refere-se ao resultado do algoritmo Tree quando quatro soluções foram utilizadas, e Tree_ref4_E2 refere-se ao resultado do algoritmo Tree quando quatro soluções foram utilizadas na rodada 2.
Para a medida de comparação Kappa, tomando como base a análise das medianas exibidas nas Figuras 1 e 2. Percebe-se que a concordância entre os especialistas é superior a concordância de todos os algoritmos, em todas as rodadas. Somente o algoritmo Tree obteve, na primeira e segunda rodadas (”Tree_ref1”e ”Tree_ref4”), valores máximos (Kappa = 0.48) e (Kappa = 0.48) superiores à mediana obtida entre especialistas (Kappa = 0.405). Para todos os outros algoritmos os valores máximos obtidos foram inferiores à mediana obtida entre os especialistas.
Figura 1. Resultados da primeira rodada para a medida de comparação Cohen’s Kappa. Figura 2. Resultados da segunda rodada para a medida de comparação Cohen’s Kappa.
Em todas as execuções do experimento o algoritmo Tree Edition Distance foi o que obteve melhores resultados, tanto com uma solução quanto com quatro soluções de referência. Em relação a variação do número de soluções, na segunda rodada, observa-se que o uso de um número maior de soluções resultou em um impacto negativo, muitos dos resultados foram inferiores aos obtidos com uma solução de refeência apenas. Já na terceira rodada, com exceção do algoritmo Tree, o impacto do uso de um maior número de soluções foi positivo, pois os valores de máximo, mínimo e mediana, são em geral maiores que os obtidos com uma solução apenas.
Para a medida Distância Euclidiana, tomando como base a análise das medianas exibidas na Figura 3 e 4. Com exceção dos algoritmos Jaccard e Text, todos os algoritmos tiveram medianas bem próximas à mediana obtida entre os especialistas. Além disso, na terceira rodada, o algoritmo “Tree_ref4_E2” (mediana DE = 8.065) foi o único a obter uma mediana superior à mediana entre os especialistas (mediana DE = 8.245). Ao analisar os valores de máximo, mediana e mínimo, percebe-se que o algoritmo Tree foi o que obteve melhores resultados no experimento.
Em relação ao número maior de soluções de referências utilizadas, para a segunda rodada, com exceção do algoritmo Tree, o impacto foi positivo, pois em geral os valores de máximo, mínimo e mediana obtiveram melhores resultados quando comparados com os algoritmos que utilizaram apenas uma solução de referência. Já na terceira rodada, os resultados foram melhores quando comparados com o uso de uma solução apenas. Desta forma, é possível sugerir que o uso de uma maior quantidade de soluções de referência melhora a classificação fornecida pelos algoritmos. Figura 3. Resultados da primeira rodada para a medida de comparação Distância Euclidiana.
Figura 4. Resultados da segunda rodada para a medida de comparação Distância Euclidiana.
Nesta seção são apresentados dados relacionados com a convergência das submissões dos alunos em relação ao conjunto de soluções de referência utilizados. Observando os dados é possível verificar como ficaram divididas as soluções submetidas, separadas pelo algoritmo de similaridade adotado e pela solução de referência utilizada. Foram utilizadas 404 soluções do universo de 438, pois algumas soluções possuíam erros de sintaxe ou não haviam sido classificadas por todos os especialistas. Na Tabela 1, são exibidos os dados da análise de convergência, sendo R2, a segunda rodada do experimento, e R3 a terceira rodada do experimento.
Tabela 1. Análise de convergência das soluções.
R2 304 316 348 322
R3 99 110 124 113
R2 64 65 33 62
R3 153 186 149 212
R2 2 4 11 3
R3 37 38 35 35
R2 34 19 12 16
R3 115 70 96 44
Na Tabela 1, na segunda rodada percebe-se uma convergência para a solução A, proposta pelo professor da disciplina, em relação as outras soluções, criadas para realização do experimento. Isso demonstra que a solução de referência A obteve mais concordância com os algoritmos propostos pelos alunos. Na terceira rodada, as soluções propostas tiveram uma melhor divisão entre as soluções de referências utilizadas. A solução B foi a que obteve uma maior concordância entre as soluções utilizadas e os códigos submetidos. A mudança de convergência não gerou alteração significativa em relação à classificação das soluções.
As seguintes ameaças à validade se fazem presentes neste trabalho: A pequena quantidade de questões – a baixa quantidade de questões utilizadas não permite a generalização dos resultados para outras questões; A quantidade de especialistas – apenas três especialistas forneceram classificações, tal quantidade não é representativa do universo de especialistas; A linguagem adotada - apenas códigos na linguagem Python foram observados, códigos de outra linguagem podem alterar os valores de similaridade obtidos e portanto gerar resultados distintos daqueles aqui exibidos.
Neste estudo, foi apresentada uma investigação sobre o uso de algoritmos de avaliação de similaridade com o objetivo de classificar uma solução de acordo com a taxonomia SOLO. Em relação à qualidade da classificação, os resultados obtidos sugerem que o uso destes algoritmos de forma isolada não reflete a classificação de um especialista. Em relação à influência da quantidade de soluções de referência adotadas, os resultados obtidos foram bastante próximos dado qualquer conjunto de soluções de referência.
Alexandre, Correia, A. L., and de Barros Costa, E. (2015). Um mapeamento sistemático sobre analisadores de código em disciplinas de programação. In Anais do SBIE.