Um Experimento com a Ontologia IMS LD na Construc¸ a˜o de Modelos Conceituais para E-learning

Abstract

Difficulties in the early stages of software development can negatively affect conceptual modeling. Errors at this stage (modeling) give rise to conceptual models that do not correctly represent the interests of users. In turn, domain ontologies can be used to minimize such errors. The purpose of this study is to show that the use of the IMS LD ontology can help in the construction of a more correct conceptual model for e-learning. For this, an experimental study was carried out in which the traditional approach of constructing the conceptual model was confronted with the approach that uses this ontology. The results were evaluated through statistical analysis. The main result of this study demonstrates, with statistical significance, that the use of the IMS LD ontology helps in the conceptual modeling. Resumo. Dificuldades nas fases iniciais de desenvolvimento de software podem afetar de forma negativa a modelagem conceitual. Erros nesta fase (modelagem) da˜o origem a modelos conceituais que na˜o representam corretamente os interesses dos usua´rios. Por sua vez, ontologias de dom´ınio podem ser usadas para minimizar esses erros. O objetivo deste estudo e´ mostrar que o uso da ontologia IMS LD pode ajudar na construc¸ a˜o de modelo conceitual mais correto para e-learning. Para tal, foi realizado um estudo experimental em que a abordagem tradicional de construc¸a˜o do modelo conceitual foi confrontada com a abordagem que usa essa ontologia. Os resultados foram avaliados atrave´s de ana´lises estat´ısticas. O principal resultado deste estudo demonstra, com significaˆncia estat´ıstica, que o uso da ontologia IMS LD ajuda na modelagem conceitual.

1. Introduc¸a˜ o

Modelos de desenvolvimento de software sa˜o compostos de va´rias e diferentes etapas. Elas podem compreender desde a ana´lise de requisitos ate´ a manutenc¸ a˜o do software. Como exemplos de modelos de desenvolvimento de software temos: Modelo Cascata [ Royce et al. 1970 ], Modelo Espiral [Boehm 1988], entre outros. Independente do modelo de desenvolvimento adotado, a partir da elicitac¸a˜o de requisitos, o modelo conceitual do sistema de informac¸a˜o podera´ ser constru´ıdo.

A modelagem conceitual de um software e´ uma atividade na˜o trivial, que se relaciona com va´rios desafios, como: dificuldades na elicitac¸a˜o de requisitos; problemas de comunicac¸ a˜o entre o analista e o usua´rio; uso de documentos de requisitos que nem sempre expressam claramente as funcionalidades do sistema. Esses desafios se agravam quando o trabalho esta´ relacionado com dom´ınios mais complexos como bioinforma´tica onde o acesso ao especialista pode ser mais complicado e o vocabula´rio usado pode ter pouco ou nenhum uso por parte do analista. Na a´rea de educac¸a˜o essa questa˜o tambe´m se verifica, atrave´s de projetos de software que devem atender padro˜es para ambientes de aprendizagem como o IMS Learning Design ( IMS LD) [IMS 2003 ] e o Sharable Content Object Reference Model (SCORM) [ Wisher et al. 2004 ] – especificac¸o˜es para a disponibilizac¸a˜o de conteu´dos e servic¸os de e-learning. Para minimizar esse problema, ontologias podem ser utilizadas por ajudar na compreensa˜o do dom´ınio. Uma ontologia e´ uma especificac¸a˜o expl´ıcita e formal de uma conceitualizac¸a˜o compartilhada [ Studer et al. 1998 ]. Segundo [ Pinto et al. 2011 ], as ontologias esta˜o assumindo um papel importante como elemento de origem na criac¸a˜o de modelos de dom´ınio de software. De acordo com [ Vasilecas et al. 2015 ], o uso de ontologia pode reduzir a complexidade da modelagem conceitual de sistemas de informac¸a˜o. Ale´m disso, [ Hesse 2005 ] afirma que Ontology-based Software Engineering (OBSE) pode reduzir custos na a´rea de desenvolvimento de software. Observamos assim, por todas essas evideˆncias teo´ricas, que o uso de ontologia pode ajudar na modelagem conceitual de sistema de informac¸a˜o.

Neste estudo, estamos considerando apenas os sistemas de e-learning. Atualmente a Internet tem desempenhado um papel significativo relacionado ao uso de tais sistemas na disseminac¸ a˜o de conhecimento. Portanto, torna-se relevante apoiar seu desenvolvimento de forma consistente. Sendo assim, o objetivo deste estudo e´ mostrar dados experimentais sobre o uso da ontologia de dom´ınio IMS LD como ferramenta de apoio na construc¸a˜o de diagrama de classe (perspectiva conceitual) na a´rea de e-learning. Neste trabalho, sa˜o apresentados os resultados de um experimento com a ontologia IMS LD e sua replicac¸a˜o, com ana´lise e comparac¸a˜o dos dados. Uma das motivac¸o˜es para realizac¸ a˜o da replicac¸a˜o do experimento foi a diferenc¸a entre as me´dias de corretude do primeiro experimento entre os grupos de controle (GC) e experimental (GE). No primeiro experimento [ Oliveira et al. 2014 ], mesmo apesar de uma diferenc¸a de 44,1% a favor do GE, na˜o houve significaˆncia estat´ıstica. Alguns pontos que prejudicaram o primeiro experimento foram detectados e as devidas correc¸o˜es foram feitas na replicac¸a˜o, a saber: i) a taxonomia da ontologia foi traduzida; ii) a realizac¸a˜o das tarefas foi separada, com tempo de in´ıcio e fim para cada uma delas; iii) os grupos foram separados durante a realizac¸ a˜o do experimento; iv) ao te´rmino de cada uma das tarefas era reforc¸ado, resumidamente, a forma de uso da ontologia. Nesta replicac¸a˜o, os resultados mostraram nova vantagem para o GE, pore´m com significaˆncia estat´ıstica.

O artigo esta´ organizado da seguinte forma: a Sec¸a˜o 2 apresenta fundamentac¸ a˜o teo´rica, breve discussa˜o sobre ontologias e modelos conceituais, os dados dos experimentos realizados e sua ana´lise. A Sec¸a˜o 3 apresenta os trabalhos correlatos. A Sec¸ a˜o 4 conclui o artigo apresentando limitac¸o˜es e trabalhos futuros.

2. Ontologia de Dom´ınio e Modelo Conceitual

Neste trabalho, modelo conceitual e´ utilizado como descrito em [ Guizzardi 2005 ] que o define como uma abstrac¸ a˜o da realidade de acordo com uma determinada conceitualizac¸a˜o. Conceitualizac¸ a˜o, por sua vez, e´ definida como o conjunto de conceitos utilizados para articular abstrac¸o˜es do estado de coisas em um determinado dom´ınio. Ontologias de dom´ınio e modelos conceituais (diagrama de classe de ana´lise UML) sa˜o formalismos que apresentam pontos em comum. Atrave´s do exame desses pontos sera˜o apresentados e analisados dados acerca do uso da ontologia de dom´ınio como ferramenta de apoio a` modelagem conceitual de sistemas de informac¸a˜o de e-learning.

2.1. Fundamentac¸a˜o Teo´rica

Podemos chamar a descric¸a˜o de um modelo conceitual de esquema conceitual que basicamente descreve o conhecimento geral apresentado em um modelo conceitual. Para tentar capturar todos os requisitos de um software, de acordo com a necessidade do usua´rio, e´ essencial a criac¸ a˜o de um modelo conceitual. A importaˆncia do esquema conceitual e´ mostrada em [ Olive´ 2007 ] onde, segundo o autor, a identificac¸a˜o do conhecimento requerido por um sistema de informac¸a˜o e´ uma atividade necessa´ria. Ale´m disso, os sistemas de informac¸a˜o na˜o podem ser concebidos ou programados sem a obtenc¸a˜o pre´via do conhecimento que precisa ser modelado. Assim, e´ necessa´rio definir seu esquema conceitual. Em [ Conesa and Olive´ 2004 ] e´ mostrada a relac¸a˜o pro´xima entre ontologia e modelo conceitual quando a pro´pria ontologia e´ usada como schema conceitual. E´ poss´ıvel que um dos artefatos mais importantes na construc¸a˜o de software seja o modelo conceitual. Nos softwares desenvolvidos para ambientes de aprendizagem isso na˜o e´ diferente, fato mostrado por [ Franciosi et al. 2002 ]. Dada sua importaˆncia, e´ compreens´ıvel a busca por ferramentas para ajudar na modelagem. A ontologia de dom´ınio e´ uma candidata a assumir esse papel. Neste estudo, sera´ utilizada a ontologia IMS LD criada em OWL [ W3C 2004 ] para o dom´ınio de e-learning como ferramenta de apoio a` modelagem.

De acordo com [ Guizzardi et al. 2008 ], ha´ uma aceitac¸a˜o de uso de ontologias na modelagem conceitual, engenharia de software, inteligeˆncia artificial e web semaˆntica observando as peculiaridades de uso. A abordagem declarativa baseada na lo´gica, usada pela ontologia, permite a descric¸ a˜o de um dom´ınio de conhecimento, sem fazer uma conexa˜o com a implementac¸a˜o de um sistema. Assim, o conhecimento modelado e´ independente da plataforma de software e hardware. O uso de ontologias na modelagem conceitual e´ promissora, uma vez que ontologias buscam fornecer uma conceituac¸a˜o expl´ıcita sobre seus elementos, ajudando as pessoas a compreenderem melhor a a´rea de conhecimento [ Gava and de Menezes 2003 ]. Ontologias de dom´ınio escritas em OWL e modelos de software (diagrama de classes), especificados em UML [ OMG 2011 ], possuem caracter´ısticas semelhantes. O padra˜o ODM (Ontology Definition Metamodel) [ OMG 2009 ],faz uma correlac¸a˜o entre esses dois universos.

2.2. Ontologia IMS LD

Uma ontologia representa um dom´ınio por meio de seus conceitos (classes), propriedades, axiomas, hierarquia de conceitos (taxonomia de conceitos) e hierarquia de relac¸o˜es (taxonomia de relac¸ o˜es). A ontologia IMS LD e´ baseada na especificac¸a˜o IMS Learning Design [IMS 2003 ] e apresenta um formalismo orientado a classes e relac¸ o˜es. A especificac¸a˜o IMS Learning Design utiliza-se da descric¸a˜o do processo educacional em unidades de aprendizagem com a ideia de um fluxo de aprendizagem que se desenvolve a partir da realizac¸a˜o de atividades. Essas atividades sa˜o apoiadas pelo uso de materiais digitais e ferramentas de interac¸ a˜o, definidas a partir de objetivos de aprendizagem em um determinado planejamento dida´tico. A IMS LD demonstra sua importaˆncia ao descrever um ambiente de aprendizagem tratando o contexto pedago´ gico ao modelar o processo de ensino aprendizagem em e-learning. Nesse contexto, a ontologia IMS LD foi desenvolvida com o prop o´sito de obter uma descric¸a˜o formal do padra˜o IMS-LD a fim de facilitar o desenvolvimento de aplicac¸ o˜es que implementem a especificac¸ a˜o associada, ale´m de compartilhar este conhecimento consensual usando uma linguagem formal.

2.3. Processo de Modelagem Conceitual com Ontologia de Dom´ınio

Nossa proposta mostra uma alternativa para ajudar na atividade de modelagem conceitual, assumindo-se que haja uma ontologia de dom´ınio para a a´rea (dom´ınio) do sistema a ser desenvolvido. N o´s propomos basicamente duas etapas de trabalho: (i) o analista obte´m os requisitos do software de modo tradicional (sem ontologia) com entrevista, ana´lise de documentos e com o aux´ılio de outros aplicativos tendo como resultado dessa etapa a produc¸ a˜o do documento de requisitos; (ii) o analista aplica o processo de modelagem proposto a seguir com o documento de requisitos e a ontologia de dom´ınio para a construc¸ a˜o do modelo conceitual (diagrama de classe). Estas duas etapas sa˜o ilustradas na Figura 1. Neste estudo, na˜o foi levado em considerac¸a˜o nenhum modelo de desenvolvimento de

Figura 1. Modelagem conceitual com ontologia software em particular. O foco foi na atividade (etapa) de modelagem conceitual. Nessa etapa, os analistas fazem um estudo detalhado dos dados levantados e constroem modelos a fim de representar o software a ser desenvolvido. A nossa proposta e´ utilizar a ontologia de dom´ınio e o documento de requisitos para ajudar a construir o diagrama. Passos: a) definic¸ a˜o das classes: (i) seleciona-se os conceitos (classes) do mundo real que sa˜o relevantes para o software no documento de requisitos; (ii) verifica-se a existeˆncia da classe selecionada na ontologia. E´ necessa´rio que a ontologia esteja atualizada, caso na˜o exista a classe na ontologia ela sera´ descartada; (iii) ap o´s selecionar as classes, cria-se um diagrama de classe preliminar apenas com classes;

b) definic¸ a˜o das relac¸ o˜es de heranc¸a: (i) de posse das classes, verifica-se a relac¸ a˜o de subclasse existente entre elas na ontologia (taxonomia); (ii) caso exista, marca-se essa relac¸ a˜o com heranc¸a; (iii) ap o´s analisar todas as classes, atualiza-se o diagrama de classe (classe e heranc¸a);

c) selec¸a˜o das propriedades : verifica-se na Manchester1 OWL quais propriedades 1De forma geral, va´rios axiomas de dom´ınio/escopo devem ser interpretados como a intersec¸a˜o das classes identificadas na sequeˆncia. Em OWL uma sequeˆncia de elementos sem operador expl´ıcito representa uma conjunc¸a˜o/intersec¸a˜o. Por outro lado, mu´ltiplas classes no dom´ınio/escopo podem ser especificadas pela a unia˜o de classes atrave´s do construtor owl:unionOf [ Horridge and Patel-Schneider 2008 ]. de objeto possuem apenas uma classe no dom´ınio (domain) e apenas uma no escopo (range);

d) definic¸a˜o das relac¸o˜es de composic¸a˜o : (i) para cada propriedade encontrada verifica-se no documento de requisitos se existe uma relac¸a˜o de composic¸a˜o; (ii) caso exista, marca-se essa relac¸ a˜o com composic¸a˜o; (iii) apo´s analisar todas as propriedades (passo 2.3), atualiza-se o diagrama de classe (classe, heranc¸a e composic¸a˜o); e) definic¸a˜o das relac¸o˜es de agregac¸a˜o : (i) para as propriedades restantes do item anterior verifica-se no documento de requisitos se existe uma relac¸a˜o de agregac¸a˜o; (ii) caso exista, marca-se esta relac¸a˜o com agregac¸a˜o; (iii) apo´s analisar todas as propriedades (passo 2.3), atualiza-se o diagrama de classe (classe, heranc¸a, composic¸a˜o e agregac¸a˜o); f) definic¸a˜o das relac¸o˜es de associac¸ a˜o: (i) para as propriedades restantes, marcase a relac¸a˜o como associac¸a˜o; (ii) atualiza-se o diagrama de classe com classe, heranc¸a, composic¸a˜o, agregac¸a˜o e associac¸a˜o;

g) finalizac¸a˜o da ana´lise e da construc¸a˜o: (i) e´ feita uma u´ltima ana´lise utilizando o documento de requisitos para finalizar a construc¸a˜o do diagrama de classe; (ii) finaliza-se a construc¸a˜o do diagrama com a identificac¸a˜o das classes e das relac¸o˜es entre elas.

2.4. Experimentos

Para demonstrar o uso de ontologia de dom´ınio como ferramenta de apoio a` modelagem conceitual de e-learning foi planejado e executado a replicac¸a˜o de um experimento controlado mostrado em [ Oliveira et al. 2014 ]. A replicac¸a˜o utilizou o template Goal Question Metric GQM [ Caldiera and Rombach 1994 ], conforme Tabela 1. E´ importante salientar que o GQM na˜o foi utilizado como proposto (objetivo, questo˜es e me´tricas), mas apenas para definic¸a˜o do Goal. Antes da realizac¸a˜o do experimento foi estruturado e realizado um estudo piloto. Esse estudo foi aplicado a 20 estudantes de n´ıvel te´cnico (10 no GE e 10 no grupo de controle (GC)) e assim foi testado o “design” do experimento.

2.4.1. Resumo do Primeiro Experimento

No primeiro experimento, o n´ıvel de confideˆncia foi de 95% (alpha=0,05). Os resultados mostraram que a abordagem com ontologia teve uma me´dia de acertos maior, para a corretude, que a abordagem sem ontologia culminando em uma vantagem de 44,1%. Entretanto, o t-test apresentou resultado p-value igual a 0,229 que e´ maior que 0,05.Isso indica que na˜o houve significaˆncia estat´ıstica. Por outro lado, a diferenc¸a entre as me´dias de acerto mostrou que o uso da ontologia de dom´ınio ajudou na construc¸a˜o de diagrama de classe mais correto. O tempo, que tambe´m era uma varia´vel a ser medida, na˜o apresentou vantagem em termos de eficieˆncia a favor do GE. Os tempos gastos pelo GE e GC foram, respectivamente, 50,92 e 48,33 minutos. Este fato tambe´m nos motivou a fazer a replicac¸a˜o deste experimento.

2.4.2. Replicac¸a˜o do Primeiro Experimento

A identificac¸a˜o dos objetivos deste estudo foi feita segundo o template Goal Question Metric (GQM): o objetivo do estudo foi avaliar o uso da ontologia IMS LD na modela

Tabela 1. Caracter´ıstica do estudo Objeto de estudo artefato:ontologia IMS LD Propo´sito Caracterizar o impacto da adoc¸ a˜o de ontologias na modelagem conceitual Foco de quali- Corretude da modelagem e tempo de desenvolvimento do diadade grama de classe Ponto de vista Desenvolvedor, Analista de sistema Contexto Ana´lise de desenvolvimento de software e de alunos de graduac¸a˜o e po´s-graduac¸a˜o ale´m de profissionais gem de sistemas, com o propo´sito de caracterizar o impacto da adoc¸a˜o de ontologias na modelagem conceitual, tendo como foco de qualidade a corretude da modelagem e tempo de desenvolvimento do diagrama de classe, do ponto de vista dos pesquisadores deste estudo, no contexto da ana´lise de desenvolvimento de software por alunos e profissionais da a´rea de computac¸a˜o.

Considerando a abordagem baseada em ontologias para construc¸ a˜o de sistemas de informac¸a˜o, planeja-se caracterizar sua diferenc¸a com relac¸a˜o a abordagem na˜o baseada em ontologia, com respeito a: corretude e eficieˆncia. Para a corretude, foram avaliadas e contadas classes, associac¸o˜es, agregac¸o˜es, heranc¸as e composic¸ o˜es pertencentes ao diagrama de classe do modelo de refereˆncia (ora´culo) descrito na especificac¸ a˜o do dom´ınio IMS Learning Design Information Model [ IMS 2003 ]. As duas abordagens tiveram seus tempos contados, dessa forma, a eficieˆncia poˆde ser medida. O tempo total foi calculado, em minutos, considerando tempo de in´ıcio e de fim de cada tarefa. O modelo criado pelos participantes foi confrontado com o modelo de refereˆncia para determinar sua corretude. A replicac¸ a˜o do experimento foi conduzida em ambiente acadeˆmico. Os indiv´ıduos, 12 estudantes, foram selecionados entre alunos do curso de Sistema de Informac¸a˜o da Faculdade de Tecnologia e Cieˆncias (FTC) e Sistema de Informac¸ a˜o do Instituto Federal de Educac¸a˜o, Cieˆncia e Tecnologia da Bahia (IFBA) ale´m de 1 te´cnico em informa´tica (profissional). A alocac¸ a˜o dos indiv´ıduos ao GE e ao GC foi de acordo com sua experieˆncia. Para participantes com a mesma experieˆncia, a alocac¸a˜o foi feita aleatoriamente aos grupos atrave´s de sorteio. Apenas 1 dos participantes tinha experieˆncia de 6 meses com UML e na˜o conhecia ontologia, o restante na˜o tinha experieˆncia nem com desenvolvimento UML e nem com ontologia. Na˜o houve nenhuma recompensa para participac¸a˜o no experimento, sendo que a motivac¸ a˜o foi, basicamente, pelo aprendizado adquirido. Todos participantes foram convidados e, os que aceitaram, assinaram um termo de consentimento com cla´usula expl´ıcita sobre a confidencialidade dos dados. Todos receberam um nu´mero de acordo com a assinatura na lista de presenc¸a e desse modo a confidencialidade foi assegurada. Os dois grupos receberam materiais diferentes. O GC recebeu apenas um texto (documento de requisitos) em portugueˆs onde estava descrito todos os conceitos (classes) e relac¸o˜es (associac¸a˜o, heranc¸a, agregac¸a˜o e composic¸a˜o) pertinentes a parte do dom´ınio do problema. Enquanto GE recebeu, ale´m do texto, a ontologia IMS LD (taxonomia), onde constavam as classes do dom´ınio. Ale´m disso, esse u´ltimo grupo recebeu tambe´m uma tabela na codificac¸ a˜o Manchester de OWL com a descric¸a˜o das propriedades (objectProperty) da ontologia. Os participantes desse grupo seguiram o processo descrito na subsec¸a˜o 2.3.

Classes presentes na ontologia: act, academic, activity, structured-activity, environment, evaluation, learn-activity, object-activity, objective-learning, learner, method, play, prerequisite, professional, role, role-part, service, staff e support-activity. Entre as classes existiam as seguintes relac¸o˜es: 6 associac¸o˜es, 6 heranc¸as, 8 agregac¸ o˜es, 3 composic¸o˜es. O experimento continha 5 tarefas, a saber: T1 - encontrar as classes corretamente como descritas no ora´culo; T2 - encontrar todas as relac¸o˜es de heranc¸a corretamente como descritas no ora´culo; T3 - encontrar todas as relac¸ o˜es de associac¸a˜o corretamente como descritas no ora´culo; T4 - encontrar todas as relac¸ o˜es de composic¸ a˜o corretamente como descritas no ora´culo e T5 - encontrar todas as relac¸o˜es de agregac¸ a˜o corretamente como descritas no ora´culo.

Para a replicac¸a˜o do experimento duas hipo´teses foram levantadas: H1) a abordagem baseada em ontologia produz artefato mais correto que a abordagem sem ontologia; H2) a abordagem baseada em ontologia diminui o tempo gasto na construc¸a˜o do modelo conceitual. Desejava-se medir o quanto o diagrama de classe obtido a partir do texto ou do texto e ontologia estava correto. As hipo´teses nulas foram as negac¸o˜es de cada uma delas. As varia´veis independentes foram: texto em linguagem natural e ontologia. As varia´veis dependentes foram: corretude (nu´mero de classes e relac¸o˜es identificadas corretamente) e eficieˆncia (medida atrave´s do tempo). Para determinar a corretude foi feito o seguinte: (i) contagem do nu´mero de elementos encontrados corretamente (EC) para cada tarefa; (ii) contagem do nu´mero de elementos encontrados incorretamente (EI) para cada tarefa; (iii) e, por fim, subtrac¸a˜o do EC por EI. O nu´mero encontrado indicava o grau de corretude alcanc¸ado pelo participante em uma tarefa. A corretude do diagrama foi dada pela soma das corretudes das tarefas. Essa me´trica foi definida de acordo com [ Novais et al. 2012 ]. O tempo (minuto) foi contado levando-se em considerac¸a˜o cada uma das tarefas. Cada participante teve uma hora de in´ıcio (HI) e fim (HF) e assim o tempo foi calculado subtraindo-se HF da HI. Portanto, o tempo total gasto pelo participante foi calculado somando-se o tempo de cada tarefa. Para fins de treinamento, uma aula de 50 minutos foi ministrada no hora´rio reservado a uma disciplina na instituic¸ a˜o onde o experimento foi executado, cobrindo fundamentos de UML e de ontologia. Ale´m de mostrar o uso da ontologia como ferramenta de apoio a` modelagem.

Foi iniciada a replicac¸a˜o do experimento que tinha durac¸a˜o ma´xima prevista para 100 minutos. Procedimentos: os participantes assinaram a lista de presenc¸a; ii) foram distribu´ıdos os artefatos aos participantes de acordo com o grupo, ale´m da folha de resposta e do Termo de Consentimento; iii) o termo de consentimento foi lido, assinado e recolhido; iv) foi feita uma leitura dos artefatos; v) foi proposto como objetivo: obtenc¸a˜o do diagrama de classe que representava o modelo conceitual do Learning Design com classes e relac¸ o˜es; vi) cada participante executou as tarefas T1, T2, T3, T4 e T5 com o tempo sendo cronometrado e ao final da T5 o diagrama de classe ficou esboc¸ado na folha de resposta, onde constava o identificador do participante; vii) apo´s a entrega da folha de resposta o participante preencheu o questiona´rio de feedback.

2.5. Resultados e Ana´lise

O planejamento da replicac¸a˜o foi alterado por pequenas mudanc¸as: i) a taxonomia da ontologia foi traduzida; ii) as tarefas foram separada com tempo de in´ıcio e fim para cada uma delas; iii) os grupos foram separados durante a realizac¸a˜o do experimento; iv) ao te´rmino de cada tarefa era reforc¸ado, resumidamente, a forma de uso da ontologia.

Figura 2. Resultado da replica c¸a˜ o para vari a´vel corretude

Figura 3. Resultado da replica c¸a˜ o para varia´ vel tempo

Os alunos da FTC e do IFBA realizaram o experimento no laborat o´rio de informa´tica da FTC e o te´cnico utilizou o laborat o´rio de informa´tica do Instituto Federal de Educac¸a˜o, Cieˆncia e Tecnologia Baiano. Utilizando a te´cnica de interquartil, na˜o foram detectados outliers em nenhuma das amostras. As amostras de corretude para os grupos se evidenciaram, respectivamente, normais e com variaˆncia igual, como demonstram os testes de Shapiro-Wilk para o GE (0,68), GC (0,0867) e Levene (0,690), mostrados na Figura 2. Em correspondeˆncia com os dados foi aplicado o t-test para a hip o´tese H1 sendo o p-value(0,003) menor alpha(0,05) o que indica a na˜o rejeic¸a˜o da hip o´tese H1. Assim, podemos afirmar com 95% de confianc¸a que a ontologia ajuda na criac¸a˜o de diagrama de classe mais correto. A melhora do resultado pode ser explicada por basicamente dois fatores: (i) garantia de uso da ontologia pelo GE em cada uma das tarefas, atrave´s da divisa˜o e acompanhamento das tarefas; (ii) o documento de requisitos pode ter se mostrado simples para os participantes do primeiro experimento e assim ter preterido o uso da ontologia. Enquanto pode ter se mostrado complexo para os do segundo e, por conseguinte, incentivado o uso da ontologia. Em ambos os casos o n´ıvel de experieˆncia pode ter influenciado. A hip o´tese H2 na˜o se confirmou, pois a me´dia de tempo gasto pelo GE foi maior que o GC como mostra a Figura 3 e por esse motivo a estat´ıstica na˜o foi calculada. Observa-se nos resultados do primeiro experimento e da replicac¸ a˜o, que os resultados sa˜o convergentes com relac¸a˜o a` corretude. A Sec¸a˜o 2.4.1 mostra que o primeiro experimento na˜o obteve relevaˆncia estat´ıstica, porque o p-value (t test) foi maior que 0,05, mas apresentou me´dia de acertos maior para o GE. A subsec¸a˜o 2.4.2 confirma o resultado da subsec¸a˜o 2.4.1 e, ale´m disso, mostra estatisticamente a significaˆncia (p-value menor que 0,05) do resultado do experimento replicado. O resultado da me´dia de tempo tambe´m converge em ambos experimentos mostrando que o GE gastou mais tempo.

O experimento realizado tem como objetivo final verificar se a ontologia de dom´ınio ajuda a modelagem conceitual atrave´s da produc¸a˜o de diagrama de classe mais correto. Pode haver o argumento de que o uso da ontologia ja´ indicaria uma melhora nos resultados, uma vez que o GE tem mais recursos. Entretanto, isso precisa ser mostrado experimentalmente, justificando assim o desenvolvimento deste trabalho. Os dados do experimento sa˜o especialmente importantes por mostrar a influeˆncia do uso da ontologia sobre a modelagem de sistemas de informac¸ a˜o de e-learning. A Figura 4 apresenta a me´dia da corretude da replicac¸ a˜o do experimento por grupo. Essa me´dia e´ a soma das corretudes de cada tarefa realizada por cada participante, dividida pelo n u´mero de participantes. Dessa forma, conseguimos mostrar quantos elementos (classe, associac¸a˜o, heranc¸a, agregac¸a˜o ou composic¸a˜o) foram identificados corretamente pelo grupo. Como exemplo podemos citar o elemento classe da tarefa T1, onde o GE obteve em me´dia 14 elementos identificados corretamente enquanto o GC obteve 7,4. Os dados mostram que

Figura 4. Me´ dia das tarefas por grupo a me´dia da corretude para as tarefas T1, T2, T3 e T4 sa˜o maiores para o GE. Evidenciado um maior n u´mero de elementos UML (classe e relac¸o˜ es) identificados corretamente. Podemos observar que as tarefas T3, T4 apresentaram resultados negativos e mesmo assim o GE obteve vantagem por errar menos. Apenas a tarefa T5 apresenta me´dia maior para o GC. Sendo assim, este estudo comprova que a ontologia IMS LD ajuda na modelagem conceitual de projetos educacionais mais corretos relacionados aos padr o˜es de e-learning. Ale´m disso, para analista com pouco ou nenhum conhecimento do dom´ınio, a ontologia ajuda na compreensa˜o desse dom´ınio. Esses dois fatores talvez possam contribuir para construc¸a˜o de modelos conceituais de e-learning.

2.5.1. Validade

Os poss´ııveis riscos a` validade deste experimento foram analisados e tratados de forma a serem minimizados.Validade interna: a experieˆncia dos participantes foi levada em considerac¸a˜o, pois poderia influenciar a corretude no desenvolvimento do diagrama de classe. Esse problema foi minimizado colocando os participantes nos grupos de acordo com sua experieˆncia que foi previamente obtida atrave´s de formula´rio. Participantes com a mesma experieˆncia foram alocados a grupos diferentes. Validade externa: os participantes foram selecionados a partir de alunos de graduac¸a˜o de uma Universidade e um Instituto. Ale´m de um profissional te´cnico em programac¸a˜o. Essa amostra pode na˜o ser representativa.

3. Trabalhos Relacionados

Modelos baseados em UML e ontologias OWL se constituem em abordagens com diferentes pontos fortes e fracos. Isso os tornam adequados para a especificac¸a˜o de aspectos diferentes de software. Dessa forma, o autor propo˜ e uma utilizac¸a˜o integrada de ambas as abordagens (UML e OWL) de modelagem. Nesse estudo, o autor apresenta um framework com uma abordagem que permite a modelagem UML com expressividade semaˆntica da OWL DL [ Parreiras and Staab 2010 ].

Segundo [ Tavares et al. 2009 ], e´ poss´ıvel melhorar um diagrama de classe existente atrave´s de um procedimento, o PrOntoCon, que visa realizar ana´lise ontolo´ gica do diagrama de classe. Dessa forma, ajuda o analista nos esta´gios iniciais de desenvolvimento de software. O PrOntoCon traz a vantagem do analista na˜o precisar estar familiarizado com conceitos filoso´ficos sofisticados que fundamentam o procedimento. Em [ Pinto et al. 2011 ] e´ discutido o uso de ontologia como ferramenta de apoio a` modelagem. Eles apresentam a ferramenta MDAOnto. Esta ferramenta recebe como entrada uma ontologia. O usua´rio pode interagir para remover conceitos sem relevaˆncia para o sistema a ser desenvolvido. Em seguida essa ontologia passa por uma transformac¸a˜o OWL2UML obtendo-se um diagrama de classe. Em [ El-Ghalayini et al. 2006 ] os autores mostram a transformac¸ a˜o de uma ontologia de dom´ınio OWL em um diagrama de classe UML atrave´s do algoritmo Transformation-Engine (TE). Na pra´tica o algoritmo TE e´ aplicado a` ontologia e dessa forma os conceitos e regras relevantes dessa ontologia sa˜o selecionados gerando um modelo conceitual. O artigo analisa o modelo gerado de duas perspectivas quantitativa e qualitativa analisando a qualidade atrave´s da precisa˜o do modelo.

Pode ser visto que existem estudos relacionando UML e ontologias no sentido de otimizar, melhorar a criac¸ a˜o de modelos conceituais nas fases iniciais de desenvolvimento de software. Basicamente o que propomos e´ utilizar uma ontologia de dom´ınio como ferramenta de apoio a` modelagem conceitual. Todos os estudos citados usam ontologia para melhorar o desenvolvimento de software, entretanto, nenhum deles discute a relac¸a˜o entre ontologia e desenvolvimento (modelo conceitual). Este estudo se diferencia dos demais por apresentar, discutir e analisar dados experimentais sobre a corretude de um diagrama de classe quando se usa ontologia de dom´ınio como apoio.

4. Conclus o˜es

Com o aumento da complexidade dos softwares educacionais, da diversidade de tecnologias adotadas e do grande nu´mero de pessoas envolvidas, tornou-se inadequado projetar um programa educacional sem utilizar-se de um processo bem definido para orientar o seu desenvolvimento [ Marczak et al. 2003 ]. Nesta linha, o presente estudo mostra o uso da ontologia IMS-LD como apoio no processo de desenvolvimento de software para a a´rea educacional. Este trabalho faz uma ana´lise e discute a viabilidade da ontologia de dom´ınio para a modelagem de sistemas de informac¸a˜o, tendo em vista que o modelo conceitual e´ um dos artefatos mais importantes para efetiva implementac¸a˜o de software.

Com base nos estudos experimentais apresentados, podemos afirmar que o uso de ontologias de dom´ınio podem ajudar na modelagem conceitual de sistemas de informac¸ a˜o, mais especificamente sistemas para e-learning, pois: (i) a identificac¸ a˜o de classe de interesse do sistema pode ficar mais clara; (ii) as relac¸ o˜es de heranc¸a esta˜o descritas de forma expl´ıcitas na taxonomia da ontologia facilitando sua identificac¸a˜o; (iii) as relac¸ o˜es de associac¸a˜o, agregac¸ a˜o e composic¸a˜o podem ser mapeadas atrave´s da propriedade de objeto da ontologia. As duas u´ltimas – agregac¸a˜o e composic¸ a˜o - podem apresentar maior dificuldade de serem identificadas, pois na˜o esta˜o explicitamente descritas em OWL, mas observou-se que o uso combinado da ontologia com o documento de requisitos tornou mais fa´cil para o analista verificar qual e´ o relacionamento (associac¸a˜o, agregac¸a˜o ou composic¸ a˜o) em questa˜o. O experimento avaliado em [ Oliveira et al. 2014 ] mostrou ind´ıcios de que o uso de ontologia pode ajudar na criac¸a˜o de diagramas de classe (modelo conceitual). O presente trabalho, mostrou que os resultados do primeiro experimento e da sua replicac¸a˜o sa˜o convergentes e, adicionalmente, demonstrou que a replicac¸a˜o apresentou relevaˆncia estat´ıstica atrave´s de teste de hipo´tese. Este trabalho tambe´m contribui na busca por uma abordagem experimental na a´rea de Ontology-based Software Engineering, pois: (i) proveˆ dados experimentais que podem indicar o uso da ontologia como uma maneira interessante de construir ambientes virtuais de aprendizagem; (ii) mostra que a ontologia IMS-LD constitui-se em uma ferramenta auxiliar na engenharia de software educacional; (iii) indica tambe´m que a mesma ontologia pode ser um artefato de aprendizado do dom´ınio para analistas com pouca experieˆncia na a´rea de e-learning.

Como fatores limitantes, podemos citar: i) a auseˆncia de outros elementos que compo˜em um diagrama UML, por exemplo, a relac¸a˜o de dependeˆncia; ii) o uso de apenas uma ontologia: a IMS LD; iii) somente a avaliac¸a˜o do diagrama de classe de ana´lise UML como modelo conceitual; iv) na˜o tratamento de outros elementos da ontologia como os axiomas. Como trabalhos futuros, pretende-se realizar experimentos para sistemas de informac¸a˜o de outra natureza como os sistemas de informac¸a˜o gerencial (sig), e assim elucidar algumas questo˜es de pesquisa relacionadas a`s limitac¸o˜es deste trabalho.

Refereˆncias

Boehm, B. W. (1988). A spiral model of software development and enhancement. Computer, 21(5):61–72.

References

Caldiera , V. R. B.-G. and Rombach , H. D. ( 1994 ). Goal question metric paradigm . Encyclopedia of Software Engineering , 1 : 528 - 532 .

Conesa , J. and Olive´, A. ( 2004 ). Pruning ontologies in the development of conceptual schemas of information systems . In International Conference on Conceptual Modeling , pages 122 - 135 . Springer.

El-Ghalayini , H. , Odeh , M. , McClatchey , R. , and Arnold , D. ( 2006 ). Deriving conceptual data models from domain ontologies for bioinformatics . In Information and Communication Technologies , 2006 . ICTTA' 06 . 2nd, volume 2 , pages 3562 - 3567 . IEEE.

Franciosi , B. R. , de Medeiros, M. F. , Vargas , R. F. , Pernigotti , J. M. , Marques , J. C. , and Colla , A. L. ( 2002 ). Experieˆncia de modelagem de ambientes de aprendizagem da pucrs virtual. In Brazilian Symposium on Computers in Education (Simpo´sio Brasileiro de Informa´tica na Educac¸a˜o-SBIE) , volume 1 , pages 178 - 183 .

Gava , T. B. S. and de Menezes , C. S. ( 2003 ). Uma ontologia de dom´ınio para a aprendizagem cooperativa. In Brazilian Symposium on Computers in Education (Simpo´sio Brasileiro de Informa´tica na Educac¸a˜o-SBIE) , volume 1 , pages 336 - 345 .

Guizzardi , G. ( 2005 ). Ontological foundations for structural conceptual models . PhD thesis , University of Twente.

Guizzardi , G. , Falbo , R. , and Guizzardi , R. S. S. ( 2008 ). A importaˆncia de ontologias de fundamentac¸ a˜o para a engenharia de ontologias de dom´ınio: o caso do dom ´ınio de processos de software. Revista IEEE Ame´rica Latina , 6 ( 3 ): 244 - 251 .

Hesse , W. ( 2005 ). Ontologies in the software engineering process . In EAI , pages 3 - 16 .

Horridge , M. and Patel-Schneider , P. F. ( 2008 ). Manchester syntax for owl 1.1 . OWL: Experiences and Directions, Washington, DC.

IMS ( 2003 ). Ims learning design information model - version 1.0 final specification . https://www.imsglobal.org/learningdesign/ldv1p0/ imsld_infov1p0.html.

Marczak , S. , Giraffa , L. , Almeida , G. , and Blois , M. ( 2003 ). Modelando um ambiente de aprendizagem na web: a importaˆncia de formalizac¸a˜o do processo de desenvolvimento. In Brazilian Symposium on Computers in Education (Simpo´sio Brasileiro de Informa´tica na Educac¸a˜o-SBIE) , volume 1 , pages 535 - 544 .

Novais , R. , Nunes , C. , Lima , C. , Cirilo , E. , Dantas , F. , Garcia , A. , and Mendonc¸a, M. ( 2012 ). On the proactive and interactive visualization for feature evolution comprehension: An industrial investigation . In Proceedings of the 34th International Conference on Software Engineering , pages 1044 - 1053 . IEEE Press.

Oliveira , F. H. , do Nascimento Salvador, L. , and Novais , R. ( 2014 ). Uma ana´lise do uso da ontologia ims ld na construc¸a˜o de modelos conceituais para e-learning. In Brazilian Symposium on Computers in Education (Simpo´sio Brasileiro de Informa´tica na Educac¸ a˜o-SBIE) , volume 25 , page 1213.

Olive´ , A. ( 2007 ). Conceptual Modeling of Information Systems. Springer Verlag NY, 15th edition edition.

OMG ( 2009 ). Ontology defition metamodel - version 1 .0. http://www.omg.org/ spec/ODM/1.0.

OMG ( 2011 ). Omg unified modeling language (omg uml),infrastructure . http://www. omg.org/spec/UML/2.4.1/Infrastructure/.

Parreiras , F. S. and Staab , S. ( 2010 ). Using ontologies with uml class-based modeling: The twouse approach . Data & Knowledge Engineering , 69 ( 11 ): 1194 - 1207 .

Pinto , G. P. , Salvador , L. N. , and Amorim , R. J. R. ( 2011 ). A model driven solution based on ontology in the implementation of units of learning authoring tools . IEEE Technology and Engineering Education (ITEE) , 6 ( 3 ): 31 - 49 .

Royce , W. W. et al. ( 1970 ). Managing the development of large software systems . In proceedings of IEEE WESCON , volume 26 , pages 1 - 9 . Los Angeles.

Studer , R. , Benjamins , V. R. , and Fensel , D. ( 1998 ). Knowledge engineering: principles and methods . Data & knowledge engineering , 25 ( 1-2 ): 161 - 197 .

Tavares , D. B., de Paiva Oliveira , A. , Braga , J. L. , and Lisboa Filho , J. ( 2009 ). Analysis procedure for validation of domain class diagrams based on ontological analysis . In International Conference on Conceptual Modeling , pages 159 - 168 . Springer.

Vasilecas , O. , Kalibatiene , D. , and Guizzardi , G. ( 2015 ). Towards a formal method for the transformation of ontology axioms to application domain rules . Information Technology and Control , 38 ( 4 ).

W3C ( 2004 ). Web ontology language reference . https://www.w3.org/TR/2004/ REC-owl-ref- 20040210 /.

Wisher , R. A. , Fletcher , J. D. , Barrett , J. W. , Danylova , O. , Garza , P. , Mihalka , B. , Synytsya , K. , Voychenko , O. , Ivashchenko , A. , Christman , W. , et al. ( 2004 ). Advanced distributed learning . Information & Security , 14 .