=Paper=
{{Paper
|id=Vol-1667/CtrlE_2016_AC_paper_34
|storemode=property
|title=Aplicando uma abordagem combinada para avaliação de Software Educativo: avanços e desafios
|pdfUrl=https://ceur-ws.org/Vol-1667/CtrlE_2016_AC_paper_34.pdf
|volume=Vol-1667
|authors=Wendell Pereira,Raimundo Cardoso Filho,Williane Rodrigues Silva,Raphael Salviano Da Silva,Vanessa Dantas,Yuska Aguiar
}}
==Aplicando uma abordagem combinada para avaliação de Software Educativo: avanços e desafios==
https://ceur-ws.org/Vol-1667/CtrlE_2016_AC_paper_34.pdf
Aplicando uma abordagem combinada para avaliação de
Software Educativo: avanços e desafios
Wendell Pereira, Raimundo Cardoso Filho, Williane Rodrigues Silva, Raphael
Salviano da Silva, Vanessa Dantas, Yuska Aguiar
Departamento de Ciências Exatas (DCX) – Universidade Federal da Paraíba (UFPB),
Campus IV Rio Tinto – PB – Brasil
{wendell.pereira, raimundo.filho, williane.rodrigues,
raphael.salviano, vanessa, yuska}@dcx.ufpb.br
Abstract. Considering the need to evaluate educational software before
deciding on its adoption, and the diversity of available assessment
approaches, the emergence of doubts about choosing the most appropriate
technique is quite common. Each technique proposes different criteria and
distinct representations, and it is difficult to choose the most complete in order
to cover pedagogical aspects, software quality, and quality of use. The aim of
this work is to perform the evaluation of educational software according to a
combined approach of techniques in order to identify equivalent criteria
between them and possible weaknesses.
Resumo. Diante da necessidade de avaliar um software educacional antes de
decidir sobre sua adoção, e da diversidade de abordagens de avaliação
disponíveis, é comum o surgimento de dúvidas sobre a escolha da técnica
mais adequada. Cada uma delas propõe critérios e formas de representação
diferentes, e fica difícil escolher a mais abrangente para que aspectos
pedagógicos, de qualidade de software, e de qualidade de uso sejam
contemplados. Sendo assim, o objetivo desse trabalho é realizar a avaliação
de um software educacional segundo uma abordagem combinada de técnicas,
a fim de identificar equivalência de critérios entre elas e possíveis
fragilidades.
1. Introdução
A Era da Informação influencia todos os setores da sociedade, e a inovação tecnológica
tem afetado especialmente a educação, com o uso cada vez mais comum de recursos
digitais no processo de ensino-aprendizagem [Costa et al. 2003]. Segundo Freski
(2008), a função da educação é auxiliar as pessoas na produção da sua própria realidade
material, e de sua consciência sobre ela. Desta maneira, os Softwares Educativos (SEs)
podem auxiliar no processo de ensino-aprendizagem a partir da contextualização de
determinados conteúdos para a realidade de cada aluno [Morais 2003]. O SE é
concebido com o objetivo principal de facilitar o processo de ensino-aprendizagem,
sendo composto por um conjunto de recursos computacionais projetados com a intenção
de serem usados em um contexto educacional [Sancho 1998].
170
A ludicidade dos recursos tecnológicos atrai os discentes, que rapidamente se
envolvem no processo de ensino-aprendizagem. Porém, além das dificuldades de
adaptação encontradas pelos docentes na implantação desses recursos no ambiente
escolar, estes encaram ainda o desafio de escolherem SEs que correspondam às suas
expectativas, que sejam adequados aos componentes curriculares a serem trabalhados, e
direcionados para o público discente ao qual se destinam.
Portanto, para decidir sobre a adoção de um SE como recurso de apoio no
processo de ensino-aprendizagem, o docente deve considerar se seus elementos
pedagógicos estão de acordo com os propósitos dos conteúdos abordados, se a interface
apresenta-se com usabilidade e ergonomia condizentes com as características,
necessidades e limitações dos discentes, e se a qualidade interna do software, do ponto
de vista de seu desenvolvimento, é satisfatória. Problemas em qualquer um destes níveis
podem prejudicar o processo de construção do conhecimento pelos discentes. Portanto,
é necessário, antes de decidir adotar um SE, certificar-se de que este será um elemento
agregador no aprendizado.
Para realizar avaliação de SE, é possível identificar na literatura vários métodos,
metodologias e técnicas de avaliação, a exemplo de: Método de Reeves [Campos 1989];
Técnica de TICESE [Gamez 1998]; Técnica de Mucchielli [Silva 1998]; Avaliação de
LORI [Nesbit et al. 2002]; Metodologia de Martins [Martins 2004], e Método Rocha
[Rocha 1992]. Estas são abordagens objetivas de avaliação, uma vez que se apoiam em
um conjunto de critérios (checklists), associados a uma escala de avaliação de
conformidade, e sua aplicação resulta em um diagnóstico indicando se o SE contempla
ou não os critérios de interesse. Cada abordagem possui critérios, escalas e diagnósticos
específicos.
A diversidade de abordagens de avaliação de SE é uma realidade que pode
tornar difícil a escolha sobre qual técnica adotar. Oliveira e Aguiar (2014) realizaram
um estudo de análise comparativa entre um conjunto de abordagens de avaliação de SE.
Este estudo comparativo contempla os métodos, metodologias e técnicas de avaliação
citadas anteriormente, incluindo a Taxonomia de Bloom, que acabou sendo descartada
neste trabalho, por ter sido considerada uma ferramenta inadequada para a avaliação de
SE. Como resultado, os autores identificaram que: (a) existem critérios equivalentes
entre abordagens distintas, embora a nomenclatura utilizada não seja a mesma (uso de
sinônimos); e (b) nenhuma das abordagens contempla, igualmente, os três pilares de
uma avaliação de SE: elementos pedagógicos, critérios de usabilidade e qualidade
interna do software. Portanto, os autores propõem uma abordagem que combina
critérios de vários métodos, técnicas e metodologias a fim de tornar a avaliação do SE
mais abrangente. Neste sentido, o presente trabalho tem por objetivo aplicar a
abordagem combinada proposta em [Oliveira and Aguiar 2014] a fim de analisar sua
aplicabilidade em termos de (i) abrangência dos critérios analisados em relação à tríade:
elementos pedagógicos, critérios de usabilidade e qualidade interna do software; (ii) a
equivalência entre os critérios adotados na abordagem mista; (iii) o esforço cognitivo e
temporal para sua aplicação, e (iv) qualidade dos resultados alcançados.
O artigo está organizado em quatro seções, incluindo esta. Na seção 2, são
descritas brevemente as técnicas aplicadas neste estudo, seus critérios e escalas de
medição. Na seção 3, descreve-se a aplicação da abordagem combinada para avaliação
171
de SE e apresentam-se os resultados alcançados. Por fim, na seção 4, estão as
considerações finais, contemplando as limitações e contribuições desta pesquisa, assim
como as possibilidades para continuá-la.
2. Métodos de Avaliação de Softwares Educacionais
De acordo com Frescki (2008), a expressão “avaliação de software educativo” consiste
em analisar como um software pode ser aplicado na educação para ajudar o aluno na
construção do conhecimento, e assim aperfeiçoar sua visão de mundo.
A avaliação de um SE deve considerar as características voltadas à sua qualidade
didático-pedagógica, de tal modo que os objetivos dos estudiosos da ergonomia de
software e dos educadores possam convergir para um mesmo ponto [Silva 1998]. Além
disso, os SEs devem ter suas funcionalidades corretas, de acordo com os preceitos de
Engenharia de Software [Sommerville 2007], sendo importante ainda que a
interatividade e a interface oferecidas pelo SE sejam adequadas ao público-alvo [Preece
et al. 2013]. Numa tentativa de agrupar melhor os critérios de avaliação de SE, Oliveira
et al. (2001) propôs a definição de quatro categorias, a saber:
i. Interação aluno-SE-professor: agrupa 21 critérios destinados a avaliar a
qualidade e a importância da utilização de um dado recurso tecnológico
dentro do ambiente escolar;
ii. Fundamentação pedagógica: compreende 2 critérios para identificar quais
foram as teorias e as opções pedagógicas selecionadas para o
desenvolvimento do SE sob avaliação;
iii. Conteúdo: une 12 critérios para identificar a completude e corretude do
conteúdo considerando a área de conhecimento que está sendo trabalhada
pelo SE; e, por fim,
iv. Programação: cujos 25 critérios reunidos buscam verificar se o SE
encontra-se de acordo com suas especificações (fidedignidade e integridade)
e com os critérios de facilidade e flexibilidade para o contexto educacional.
Embora Oliveira et al. (2001) contemple um conjunto considerável de 60
critérios e o agrupamento adotado considere as quatro categorias citadas acima, não
existe uma definição clara dos critérios associados especificamente à usabilidade
(qualidade de uso), encontrando-se estes diluídos dentre as demais categorias. Os
critérios relativos aos elementos pedagógicos estão presentes nas três primeiras
categorias de forma não organizada, havendo uma identificação mais clara dos itens
relacionados à qualidade de software (programação). Outro fator relevante a considerar
consiste no fato do autor não indicar, explicitamente, como os critérios devem ser
avaliados, não definindo, por exemplo, escalas de valores a serem associadas a cada
critério. Em virtude destas características, esta proposta de organização de critérios para
avaliação de SE pode ser entendida como uma abstração a ser instanciada por métodos,
metodologias, e técnicas de avaliação de SE.
Neste sentido, existe uma grande variedade de técnicas para avaliação de SE
descritas na literatura, e cada uma delas possui singularidades em relação (i) ao número
de critérios; (ii) à natureza dos critérios (aspectos pedagógicos, qualidade de software,
172
qualidade de uso); (iii) à natureza e granularidade das escalas adotadas na avaliação dos
critérios e (iv) à qualidade dos resultados alcançados. Dentre as existentes, serão
consideradas no escopo deste trabalho as seguintes abordagens, cuja caracterização esta
sumarizada nos Quadros 1 e 2: Método de Reeves; Técnica de TICESE; Técnica de
Mucchielli; Avaliação de LORI; Metodologia de Martins, e Método Rocha. Os campos
vazios correspondem a “Não se Aplica”, e a numeração representa a quantidade de
critérios de cada técnica.
Quadro 1: Abordagens para Avaliação de SE
Mucchielli
Campos
Martins
TICESE
Reeves
Rocha
LORI
Pedagógico 14 1 1
Aspectos Qualidade de software 10 10 4 4 6 9 15
de
avaliação Qualidade de uso 6 4 9 1 1
Total 24 10 10 9 16 10 16
Quadro 2: Caracterização das estratégias de avaliação por Abordagem
Forma de
Valor mínimo Valor máximo Escala
avaliação
Escala bidirecional Esquerda: Direita:
Reeves
não numérica negativo positivo
1 = negativo
Mucchielli 5 = positivo máximo (1, 2, 3, 4, 5)
máximo
Escala numérica de
Martins 1 = mais difícil 5 = mais fácil (1, 2, 3, 4, 5)
5 pontos
1 = negativo
LORI 5 = positivo máximo (1, 2, 3, 4, 5)
máximo
Escala numérica de 0 = não 1.5 = muito
TICESE (0, 1, 1.5)
3 pontos aplicável importante
Escala numérica de 0 = negativo (0; 0,25; 0,50;
Campos 1 = positivo máximo
5 pontos máximo 0,75; 1)
(0.00 a 0.59;
Escala numérica de 0.00 a 0.59 sem 0.95 a 1 alta 0.60 a 0.89;
Rocha
4 pontos qualidade qualidade 0.90 a 0.94;
0.95 a 1)
Realizando uma análise inicial das abordagens e de seus critérios, ao comparar
com a proposta de Oliveira et al. (2001), é possível perceber que existe uma diferença
significativa em relação à quantidade de critérios definidos por este (60) e pelas
abordagens, sendo o Método de Reeves a que apresenta maior quantidade (24). Em
173
adicional, ao observar a distribuição dos critérios nos aspectos de avaliação, apenas duas
abordagens (LORI e TICESE) contemplam critérios na tríade: elementos pedagógicos,
qualidade de uso e de software, embora a quantidade de critérios seja baixa (9 e 16,
respectivamente). Essas observações iniciais incitam o questionamento sobre a
possibilidade de utilizar estas abordagens de forma combinada, aumentando o número
de critérios e a abrangência do resultado em relação aos aspectos de avaliação.
Neste sentido, um estudo aprofundado sobre a completude das abordagens em
relação à proposta de [Oliveira et al. 2001] foi realizada e descrita em [Oliveira and
Aguiar 2014]. Foi realizado um mapeamento dos critérios destas abordagens em relação
aos critérios abstratos de [Oliveira et al. 2001], a fim de identificar a completude das
abordagens, assim como a equivalência entre os critérios destas. Como resultado da
análise identificou-se: i) a pobreza de critérios relacionados aos aspectos pedagógicos,
comparado a critérios de qualidade de uso (usabilidade) e qualidade de software
(programação) – exceto em Reeves; ii) a ausência de uma abordagem que, sozinha,
cobrisse um conjunto abrangente e significativo de critérios. Com estas duas
percepções, Oliveira e Aguiar (2014) constataram que os resultados alcançados na
avaliação de um SE a partir da aplicação destas abordagens poderiam ser insuficientes,
podendo prejudicar na tomada de decisão sobre a adoção de um SE. A fim de minimizar
este problema, Oliveira e Aguiar (2014) propuseram uma abordagem para avaliação de
SE que combina o conjunto total de critérios mapeados no estudo. Foi utilizada como
base a classificação de Oliveira et al. (2001) para agrupar a combinação de critérios por
abordagem, e os operadores lógicos AND (indica o uso de ambas as abordagens) e OR
(indica a escolha de apenas uma das abordagens) para evidenciar a equivalência entre
critérios:
Interação aluno-SE-professor: REEVES and MARTINS and TICESE;
Fundamentação pedagógica: REEVES or MUCCHIELLI;
Conteúdo: TICESE and LORI and MARTINS;
Programação: ROCHA and (TICESE or MARTINS) and LORI and REEVES and
CAMPOS.
Embora a proposta de [Oliveira and Aguiar 2014] seja bastante interessante, os
autores não apresentam uma validação da abordagem combinada, a partir de sua
aplicação na avaliação de um SE real. Sendo assim, não existe informação sobre a
viabilidade da proposta, ou das limitações impostas pela associação de abordagens com
critérios e escalas de avaliação distintas, ou ainda sobre a qualidade dos resultados
obtidos. Portanto, o objetivo do presente trabalho consiste em analisar estes aspectos
diante da avaliação de um SE amplamente utilizado para o estudo de idiomas, o
Duolingo.
3. Aplicação da abordagem combinada para avaliação do Duolingo
O Duolingo é um aplicativo para estudo de idiomas (inglês, francês, espanhol e alemão),
disponível nas versões web e mobile, e com usuários de diferentes nacionalidades. Neste
SE, o conteúdo é agrupado em níveis (iniciante, intermediário e avançado), com temas
de estudo (saudações, comidas, animais, família, etc). Os temas são organizados em
lições e atividades. O nível de dificuldade das lições aumenta à medida que o aluno
174
progride entre as lições. Foram avaliadas as dez primeiras lições disponíveis na versão
web do Duolingo para ensino-aprendizagem de inglês.
A avaliação do software foi feita por duas duplas de alunos, que, após um estudo
bibliográfico sobre os métodos de avaliação presentes na combinação de abordagens
aqui proposta, e a aplicação de algumas delas em atividades da disciplina Softwares
Educativos, se revezaram na aplicação das técnicas. Num primeiro momento, o SE foi
avaliado considerando cada técnica isoladamente, e os resultados foram registrados em
relatórios. Em seguida, iniciou-se o mapeamento entre os critérios propostos em
[Oliveira et al. 2001] e a combinação de abordagens proposta por [Oliveira and Aguiar
2014], produzindo tabelas únicas que concentravam todas as informações das
avaliações. O passo seguinte consistiu em acrescentar em cada tabela os resultados das
avaliações, a fim de identificar equivalências e fragilidades. A organização tabular da
informação considerou as “fórmulas” para combinação das abordagens.
Nas subseções seguintes, são apresentados os resultados obtidos com a avaliação
a partir da abordagem combinada para a versão web do Duolingo. Com o intuito de
facilitar a compreensão dos resultados, estes estão apresentados de acordo com a
categorização proposta em [Oliveira et al. 2001].
3.1. Interação Aluno-SE-Professor = REEVES and MARTINS and TICESE
Observando a Figura 1, é possível perceber que muitos critérios são cobertos por apenas
uma das técnicas, o que justifica a necessidade de combiná-las para ter um resultado
abrangente. Entretanto, ainda há critérios (2, 4, 11, 15, 16, 19, 20 e 21) que não são
cobertos por nenhuma das técnicas, deixando lacunas na avaliação. Além disso, os
resultados obtidos em técnicas distintas nem sempre foram compatíveis, como fica
evidente para o critério 9: mal avaliado em REEVES, e bem avaliado em MARTINS.
175
Figura 1: Avaliação da Interação Aluno-SE-Professor para o Duolingo Web
3.2. Fundamentos Pedagógicos = REEVES or MUCCHIELLI
Para fundamentação pedagógica, houve discrepâncias dos resultados obtidos com
Reeves (avaliação negativa) em comparação com Mucchielli (avaliação positivas),
como pode ser visto na Figura 2. Este conflito de resultados é preocupante, uma vez que
as abordagens podem ser utilizadas de forma alternada (devido ao operador lógico OR).
A não equivalência dos resultados entre elas pode influenciar a avaliação feita, e induzir
o avaliador na tomada de decisão sobre a adoção do SE.
Figura 2: Avaliação dos Fundamentos Pedagógicos para o Duolingo Web
3.3. Conteúdo = TICESE and LORI and MARTINS
Embora seja proposta a combinação de três técnicas para avaliação do conteúdo, ainda
há quatro critérios (25, 31, 34, 35) que não puderam ser avaliados por nenhuma delas.
Além disso, LORI compreende apenas dois critérios, e ambos são mapeados por
TICESE, levando a uma reflexão sobre a real necessidade de seu uso. No caso de
Martins, são apenas dois critérios, porém um deles (30) não é avaliado pelas outras duas
técnicas. Ainda assim, num universo dos 12 critérios destacados pela Figura 3, cabe a
176
reflexão se o uso combinado dessas técnicas seria realmente necessário, ou se apenas
TICESE seria suficiente para avaliar a qualidade do conteúdo do SE.
Figura 3: Avaliação do Conteúdo para o Duolingo Web
3.4. Programação = ROCHA and (TICESE or MARTINS) and LORI and REEVES
and CAMPOS
Para os critérios de programação, não ter acesso ao código-fonte do Duolingo
impossibilitou que os critérios mapeados para Rocha e Campos fossem avaliados – na
Figura 4 estes itens possuem um contorno destacado. Outra informação relevante
consiste no fato de alguns dos critérios serem cobertos por apenas uma das técnicas
usadas: 40 (Reeves); 51 (Campos); 39, 41, 49, 53 (Rocha); 59 e 60 (LORI) – exigindo
que o avaliador conheça todas as técnicas e suas escalas de avaliação para um uso muito
pontual, interferindo na sua curva de aprendizado para aplicação da abordagem
combinada. Além disso, é importante perceber que a alternância entre as abordagens de
TICESE e Martins (pelo operador lógico OR) leva à não verificação de um critério. Ou
seja, caso a opção seja por TICESE, o item 55 não será avaliado; caso prefira Martins, o
critério 36 não terá correspondente. Mesmo com uma abrangente combinação de
técnicas, os critérios 37 e 44 não puderam ser mapeados para nenhuma das abordagens.
177
Figura 4: Avaliação da Programação para o Duolingo Web
4. Considerações finais
Diante da necessidade de avaliar um software educativo, o educador se depara com uma
grande variedade de abordagens, cada uma com critérios próprios e notações
diferenciadas, sendo difícil escolher qual deverá ser usada. Além disso, algumas
abordagens possuem critérios muito subjetivos e com alto nível de abstração, não
apresentando explicações ou exemplos sobre como estes devem ser avaliados. Como
consequência, os resultados alcançados em uma avaliação ficam fortemente vinculados
ao avaliador que aplicou a abordagem (expertise e know-how). De forma complementar,
as avaliações de SE devem contemplar critérios da tríade: elementos pedagógicos,
qualidade de uso (usabilidade) e qualidade de software (desenvolvimento e
programação). A multidisciplinaridade envolvida no processo de avaliação, também
exige do avaliador uma gama de conhecimentos particulares – deixando explícita, mais
uma vez, a necessidade de expertise e know-how – impactando na curva de aprendizado
178
para realização das avaliações. Além disso, as abordagens para avaliação de SE não
contemplam, sozinhas, os três pilares que consolidam a qualidade de um software
educativo. Sendo assim, é importante considerar a adoção combinada de mais de uma
técnica para avaliação de SE.
A fim de tornar a avaliação de SE mais abrangente, uma abordagem combinada de
vários métodos, técnicas e metodologias foi elaborada por [Oliveira and Aguiar 2014]. Para
análise da viabilidade de avaliar um SE a partir desta proposição, realizou-se, neste trabalho, a
sua aplicação para o software para aprendizado de idiomas Duolingo, amplamente utilizado
pelo mundo. Os resultados detalhados foram apresentados na seção anterior, mas, de forma
geral, foi possível identificar as seguintes fragilidades da proposta: (i) Embora se constate
uma maior abrangência dos critérios em relação à tríade, quando comparada com as
abordagens individuais, ainda é possível perceber uma predominânica para os critérios de
qualidade de uso (usabilidade). Além disso, os critérios relativos à qualidade interna do
software dependem do acesso ao código-fonte do SE, informação que nem sempre está
disponível. Ainda que esteja disponível, a avaliação dos critérios não é trivial, exigindo do
avaliador conhecimento detalhado sobre programação e engenharia de software; (ii)
Considerando a equivalência entre os critérios adotados na abordagem mista (uso do OR), é
importante destacar que os resultados obtidos por abordagens diferentes para os mesmos
critérios não foram compatíveis (Figura 1 e Figura 2). Este fato pode levar a uma reflexão
sobre o uso alternado desses critérios, ou ainda, levantar um questionamento sobre o nível de
abstração necessário para a avaliação destes critérios – o que poderia ter levado os avaliadores
a resultados opostos; (iii) O esforço cognitivo para sua aplicação é demasiado, uma vez que os
avaliadores se deparam com um conjunto relativamente grande de critérios a serem avaliados,
e eles são mensurados a partir de estratégias diferentes (escalas e valores). A alternância
constante entre as abordagens leva ao cansaço mental dos avaliadores. Além disso, a ausência
de uma ferramenta que auxilie no processo de avaliação torna esta tarefa mais demorada,
exigindo um alto grau de concentração por parte de quem a aplica; e, por fim, (iv) a qualidade
dos resultados alcançados se restringe ao mapeamento dos critérios associados aos valores
obtidos na avaliação (Figuras 1, 2, 3 e 4). A análise deste conjunto de informação não
favorece a percepção dos avaliadores sobre quais são suas principais deficiências, não
auxiliando a tomada de decisão sobre a adoção ou não do SE.
Tendo compreensão da validade da proposta de abordagens combinadas para
avaliação de SE, e conhecendo suas atuais limitações, acredita-se que o ponto de partida para
auxiliar os avaliadores de SE, em sua maioria docentes, que atuam nas mais diversas áreas de
conhecimento, consiste na padronização dos critérios em termos de instrumentos de
mensuração. Em seguida, faz-se necessário tornar a aplicação da abordagem mais exata
(menos dependente do conhecimento do avaliador) e menos custosa (tempo e esforço). Estes
dois objetivos podem ser alcançados tendo como apoio a padronização dos critérios-base para
permitir o desenvolvimento de uma ferramenta que guie o processo de avaliação de SE. Com
o auxílio de uma ferramenta computacional, seria possível, a partir da caracterização do SE
(mobile, web, desktop), dos seus propósitos pedagógicos (EaD, simulação, resolução de
exercícios, etc), e do seu uso (jogo, uso colaborativo, etc.) sugerir critérios a serem analisados.
Os critérios poderiam ser mensurados de acordo com uma escala comum e os resultados
poderiam ser exibidos para os avaliadores considerando a proporção de critérios satisfeitos, e
alertas sobre aspectos relevantes para o contexto geral de SE que não sejam contemplados
pelo SE em análise.
179
Referências
Andres, D. P. and Cybis, W. A. (2000) “Um Estudo Teórico sobre as Técnicas de
Avaliação de Software Educacional”. In VI Congresso Argentino de Ciências de la
Computación.
Campos, G. H. B. (1989) “Construção e validação de ficha de avaliação de produtos
educacionais para microcomputadores”. Dissertação de Mestrado – Faculdade de
Educação, Universidade Federal do Rio de Janeiro. p.110.
Costa, V. M., Rapkiewicz, C. E., de Queirós Filho, M. G., and Canela, M. C. (2003).
Avaliação de sites educacionais de Química e Física: um estudo comparativo. In
Anais do Workshop de Informática na Escola. Vol. 1, No. 1, p. 545-554.
Frescki, F. B. (2008) “Avaliação da qualidade de softwares educacionais para o ensino
de álgebra”. Centro de Ciências Exatas e Tecnológicas, Universidade Estadual do
Oeste do Paraná, campus Cascavel.
Gamez, L. TICESE. (1998) “Técnica de inspeção de conformidade ergonômica de
software educacional”. Dissertação de Mestrado submetida à Universidade do
Minho. Portugal.
Martins, M. de L. O. (2004) “O papel da usabilidade no ensino a distância mediado por
computador”. Dissertação de Mestrado. Centro Federal de Educação tecnológica de
Minas Gerais. Minas Gerais.
Morais, R. X. T. (2003). Software educacional: a importância de sua avaliação e do seu
uso nas salas de aula. Monografia (Bacharel em ciências da computação) - Faculdade
Lourenço Filho. 51p. Fortaleza.
Nesbit, J.; Belfer, K.; Leacock, T. (2002) “Learning Object Review Instrument
(LORI)”, http://cenlinu1.centennialcollege.ca/aahs/LORI/help.php.
Oliveira B Junior, O. and Aguiar, Y. P. C. (2014). Análise de abordagens objetivas para
avaliação de softwares educativos. In Proceedings of the 13th Brazilian Symposium
on Human Factors in Computing Systems. Sociedade Brasileira de Computação.
Oliveira, C. C. O., Costa, J. W. and Moreira, M. (2001) “Ambientes informatizados de
aprendizagem: produção e avaliação de software educativo”. Papirus.
Preece, J.;Rogers, Y. and Sharp, E. (2013). Design de Interação, além da interação
humano-computador, Editora Bookman, 3ª Edição.
Rocha, A. R. and Campos, G.B. (1992) “Avaliação de Qualidade de Software
Educacional”. São Paulo, Em Aberto, n. 57, v.12.
Sancho, J. (1998). Para uma tecnologia educacional. Porto Alegre: ArtMed.
Silva, C. R. (1998) “Bases Pedagógicas e Ergonômicas para Concepção e Avaliação de
Produtos Educacionais Informatizados”. Dissertação de Mestrado submetida à
Universidade Federal de Santa Catarina. 113p. Florianópolis.
Sommerville, Ian. (2007) Engenharia de Software. Ed Person Education. 8ª Edição.
180