Considering the need to evaluate educational software before deciding on its adoption, and the diversity of available assessment approaches, the emergence of doubts about choosing the most appropriate technique is quite common. Each technique proposes different criteria and distinct representations, and it is difficult to choose the most complete in order to cover pedagogical aspects, software quality, and quality of use. The aim of this work is to perform the evaluation of educational software according to a combined approach of techniques in order to identify equivalent criteria between them and possible weaknesses. Resumo. Diante da necessidade de avaliar um software educacional antes de decidir sobre sua adoção, e da diversidade de abordagens de avaliação disponíveis, é comum o surgimento de dúvidas sobre a escolha da técnica mais adequada. Cada uma delas propõe critérios e formas de representação diferentes, e fica difícil escolher a mais abrangente para que aspectos pedagógicos, de qualidade de software, e de qualidade de uso sejam contemplados. Sendo assim, o objetivo desse trabalho é realizar a avaliação de um software educacional segundo uma abordagem combinada de técnicas, a fim de identificar equivalência de critérios entre elas e possíveis fragilidades.
1. Introdução
A Era da Informação influencia todos os setores da sociedade, e a inovação tecnológica
tem afetado especialmente a educação, com o uso cada vez mais comum de recursos
digitais no processo de ensino-aprendizagem [
A ludicidade dos recursos tecnológicos atrai os discentes, que rapidamente se envolvem no processo de ensino-aprendizagem. Porém, além das dificuldades de adaptação encontradas pelos docentes na implantação desses recursos no ambiente escolar, estes encaram ainda o desafio de escolherem SEs que correspondam às suas expectativas, que sejam adequados aos componentes curriculares a serem trabalhados, e direcionados para o público discente ao qual se destinam.
Portanto, para decidir sobre a adoção de um SE como recurso de apoio no processo de ensino-aprendizagem, o docente deve considerar se seus elementos pedagógicos estão de acordo com os propósitos dos conteúdos abordados, se a interface apresenta-se com usabilidade e ergonomia condizentes com as características, necessidades e limitações dos discentes, e se a qualidade interna do software, do ponto de vista de seu desenvolvimento, é satisfatória. Problemas em qualquer um destes níveis podem prejudicar o processo de construção do conhecimento pelos discentes. Portanto, é necessário, antes de decidir adotar um SE, certificar-se de que este será um elemento agregador no aprendizado.
Para realizar avaliação de SE, é possível identificar na literatura vários métodos,
metodologias e técnicas de avaliação, a exemplo de: Método de Reeves [
A diversidade de abordagens de avaliação de SE é uma realidade que pode
tornar difícil a escolha sobre qual técnica adotar.
O artigo está organizado em quatro seções, incluindo esta. Na seção 2, são
descritas brevemente as técnicas aplicadas neste estudo, seus critérios e escalas de
medição. Na seção 3, descreve-se a aplicação da abordagem combinada para avaliação
de SE e apresentam-se os resultados alcançados. Por fim, na seção 4, estão as
considerações finais, contemplando as limitações e contribuições desta pesquisa, assim
como as possibilidades para continuá-la.
2. Métodos de Avaliação de Softwares Educacionais
De acordo com
A avaliação de um SE deve considerar as características voltadas à sua qualidade
didático-pedagógica, de tal modo que os objetivos dos estudiosos da ergonomia de
software e dos educadores possam convergir para um mesmo ponto [
Embora
Neste sentido, existe uma grande variedade de técnicas para avaliação de SE descritas na literatura, e cada uma delas possui singularidades em relação (i) ao número de critérios; (ii) à natureza dos critérios (aspectos pedagógicos, qualidade de software, qualidade de uso); (iii) à natureza e granularidade das escalas adotadas na avaliação dos critérios e (iv) à qualidade dos resultados alcançados. Dentre as existentes, serão consideradas no escopo deste trabalho as seguintes abordagens, cuja caracterização esta sumarizada nos Quadros 1 e 2: Método de Reeves; Técnica de TICESE; Técnica de Mucchielli; Avaliação de LORI; Metodologia de Martins, e Método Rocha. Os campos vazios correspondem a “Não se Aplica”, e a numeração representa a quantidade de critérios de cada técnica.
Quadro 1: Abordagens para Avaliação de SE
Pedagógico Qualidade de software
Qualidade de uso
Total 14 10 24 s e v e e R 10 10 i l l e i h c c u M 4 6 10 s n i t r a M 1 4 4 9
I R O L 1 6 9 16
E S E C I T 9 1 10 s o p m a C 15 1 16 a h c o R Quadro 2: Caracterização das estratégias de avaliação por Abordagem
Direita: positivo 5 = positivo máximo (1, 2, 3, 4, 5) 5 = mais fácil (1, 2, 3, 4, 5) 5 = positivo máximo (1, 2, 3, 4, 5) 1.5 = muito importante 1 = positivo máximo (0, 1, 1.5) (0; 0,25; 0,50;
0,75; 1) (0.00 a 0.59; 0.60 a 0.89; 0.90 a 0.94; 0.95 a 1)
Escala bidirecional não numérica
Esquerda: negativo 1 = negativo
máximo 1 = mais difícil 1 = negativo máximo 0 = não aplicável 0 = negativo
máximo Escala numérica de 0.00 a 0.59 sem 4 pontos qualidade 0.95 a 1 alta qualidade
Realizando uma análise inicial das abordagens e de seus critérios, ao comparar
com a proposta de
Neste sentido, um estudo aprofundado sobre a completude das abordagens em
relação à proposta de [Oliveira et al. 2001] foi realizada e descrita em [
Interação aluno-SE-professor: REEVES and MARTINS and TICESE; Fundamentação pedagógica: REEVES or MUCCHIELLI; Conteúdo: TICESE and LORI and MARTINS; Programação: ROCHA and (TICESE or MARTINS) and LORI and REEVES and CAMPOS.
Embora a proposta de [
A avaliação do software foi feita por duas duplas de alunos, que, após um estudo
bibliográfico sobre os métodos de avaliação presentes na combinação de abordagens
aqui proposta, e a aplicação de algumas delas em atividades da disciplina Softwares
Educativos, se revezaram na aplicação das técnicas. Num primeiro momento, o SE foi
avaliado considerando cada técnica isoladamente, e os resultados foram registrados em
relatórios. Em seguida, iniciou-se o mapeamento entre os critérios propostos em
[Oliveira et al. 2001] e a combinação de abordagens proposta por [
Nas subseções seguintes, são apresentados os resultados obtidos com a avaliação a partir da abordagem combinada para a versão web do Duolingo. Com o intuito de facilitar a compreensão dos resultados, estes estão apresentados de acordo com a categorização proposta em [Oliveira et al. 2001]. 3.1. Interação Aluno-SE-Professor = REEVES and MARTINS and TICESE Observando a Figura 1, é possível perceber que muitos critérios são cobertos por apenas uma das técnicas, o que justifica a necessidade de combiná-las para ter um resultado abrangente. Entretanto, ainda há critérios (2, 4, 11, 15, 16, 19, 20 e 21) que não são cobertos por nenhuma das técnicas, deixando lacunas na avaliação. Além disso, os resultados obtidos em técnicas distintas nem sempre foram compatíveis, como fica evidente para o critério 9: mal avaliado em REEVES, e bem avaliado em MARTINS. 3.2. Fundamentos Pedagógicos = REEVES or MUCCHIELLI Para fundamentação pedagógica, houve discrepâncias dos resultados obtidos com Reeves (avaliação negativa) em comparação com Mucchielli (avaliação positivas), como pode ser visto na Figura 2. Este conflito de resultados é preocupante, uma vez que as abordagens podem ser utilizadas de forma alternada (devido ao operador lógico OR). A não equivalência dos resultados entre elas pode influenciar a avaliação feita, e induzir o avaliador na tomada de decisão sobre a adoção do SE.
Figura 2: Avaliação dos Fundamentos Pedagógicos para o Duolingo Web 3.3. Conteúdo = TICESE and LORI and MARTINS Embora seja proposta a combinação de três técnicas para avaliação do conteúdo, ainda há quatro critérios (25, 31, 34, 35) que não puderam ser avaliados por nenhuma delas. Além disso, LORI compreende apenas dois critérios, e ambos são mapeados por TICESE, levando a uma reflexão sobre a real necessidade de seu uso. No caso de Martins, são apenas dois critérios, porém um deles (30) não é avaliado pelas outras duas técnicas. Ainda assim, num universo dos 12 critérios destacados pela Figura 3, cabe a reflexão se o uso combinado dessas técnicas seria realmente necessário, ou se apenas TICESE seria suficiente para avaliar a qualidade do conteúdo do SE.
Figura 3: Avaliação do Conteúdo para o Duolingo Web 3.4. Programação = ROCHA and (TICESE or MARTINS) and LORI and REEVES and CAMPOS Para os critérios de programação, não ter acesso ao código-fonte do Duolingo impossibilitou que os critérios mapeados para Rocha e Campos fossem avaliados – na Figura 4 estes itens possuem um contorno destacado. Outra informação relevante consiste no fato de alguns dos critérios serem cobertos por apenas uma das técnicas usadas: 40 (Reeves); 51 (Campos); 39, 41, 49, 53 (Rocha); 59 e 60 (LORI) – exigindo que o avaliador conheça todas as técnicas e suas escalas de avaliação para um uso muito pontual, interferindo na sua curva de aprendizado para aplicação da abordagem combinada. Além disso, é importante perceber que a alternância entre as abordagens de TICESE e Martins (pelo operador lógico OR) leva à não verificação de um critério. Ou seja, caso a opção seja por TICESE, o item 55 não será avaliado; caso prefira Martins, o critério 36 não terá correspondente. Mesmo com uma abrangente combinação de técnicas, os critérios 37 e 44 não puderam ser mapeados para nenhuma das abordagens. 4. Considerações finais Diante da necessidade de avaliar um software educativo, o educador se depara com uma grande variedade de abordagens, cada uma com critérios próprios e notações diferenciadas, sendo difícil escolher qual deverá ser usada. Além disso, algumas abordagens possuem critérios muito subjetivos e com alto nível de abstração, não apresentando explicações ou exemplos sobre como estes devem ser avaliados. Como consequência, os resultados alcançados em uma avaliação ficam fortemente vinculados ao avaliador que aplicou a abordagem (expertise e know-how). De forma complementar, as avaliações de SE devem contemplar critérios da tríade: elementos pedagógicos, qualidade de uso (usabilidade) e qualidade de software (desenvolvimento e programação). A multidisciplinaridade envolvida no processo de avaliação, também exige do avaliador uma gama de conhecimentos particulares – deixando explícita, mais uma vez, a necessidade de expertise e know-how – impactando na curva de aprendizado para realização das avaliações. Além disso, as abordagens para avaliação de SE não contemplam, sozinhas, os três pilares que consolidam a qualidade de um software educativo. Sendo assim, é importante considerar a adoção combinada de mais de uma técnica para avaliação de SE.
A fim de tornar a avaliação de SE mais abrangente, uma abordagem combinada de
vários métodos, técnicas e metodologias foi elaborada por [
Tendo compreensão da validade da proposta de abordagens combinadas para avaliação de SE, e conhecendo suas atuais limitações, acredita-se que o ponto de partida para auxiliar os avaliadores de SE, em sua maioria docentes, que atuam nas mais diversas áreas de conhecimento, consiste na padronização dos critérios em termos de instrumentos de mensuração. Em seguida, faz-se necessário tornar a aplicação da abordagem mais exata (menos dependente do conhecimento do avaliador) e menos custosa (tempo e esforço). Estes dois objetivos podem ser alcançados tendo como apoio a padronização dos critérios-base para permitir o desenvolvimento de uma ferramenta que guie o processo de avaliação de SE. Com o auxílio de uma ferramenta computacional, seria possível, a partir da caracterização do SE (mobile, web, desktop), dos seus propósitos pedagógicos (EaD, simulação, resolução de exercícios, etc), e do seu uso (jogo, uso colaborativo, etc.) sugerir critérios a serem analisados. Os critérios poderiam ser mensurados de acordo com uma escala comum e os resultados poderiam ser exibidos para os avaliadores considerando a proporção de critérios satisfeitos, e alertas sobre aspectos relevantes para o contexto geral de SE que não sejam contemplados pelo SE em análise.