Un metodo practico para la evaluacion de ontolog asYoan Antonio Lopez Rodr guez0Yusniel Hidalgo-Delgado0Nemury Silega Mart neznsilegag@uci.cu0Universidad de las Ciencias Informaticas
,
La Habana
,
Cuba7685
Ontologies are increasingly used in several areas of Arti cial Intelligence. There are di erent methodologies and tools to build ontologies, nevertheless, the result has to be consistent with the requirements that propitiated it. Therefore, since the rst ontologies were created and almost naturally, their evaluation arose as a need. In science there are a lot of published methods and approaches for the ontologies evaluation, however, several authors refer lack of integrity and the end users interaction in them. In this paper we propose a method which takes up best practices from other existent methods and considers both aspect internal and related to user feedback. This method proposes to use reasoners to validate the logical-formal properties, test cases to validate the competition questions and also a checklist with common detected errors in the construction of ontologies to validate the taxonomy. The method was applied on two application ontologies and the main results are shown in this work. Palabras claves: Casos de Prueba, Evaluacion de Ontolog as, Listas de Chequeo, Razonadores
Resumen. Las ontolog as son cada vez mas utilizadas en diversas areas
de la Inteligencia Arti cial. Existen diferentes metodolog as y
herramientas para su construccion, no obstante, el resultado nal debe ser
consecuente a los requisitos que lo propiciaron. Por ello, desde que surgieron las
ontolog as y casi de forma natural, surgio la necesidad de su evaluacion.
En la literatura son diversos los metodos y enfoques publicados para la
evaluacion de ontolog as, sin embargo, varios autores re eren carencia de
integridad y necesidad de interaccion del usuario nal en esos metodos.
En este art culo se presenta un metodo que retoma buenas practicas
de otros metodos existentes y considera aspectos tanto internos de las
ontolog as como relacionados con la retroalimentacion del usuario. En
el metodo se propone utilizar razonadores para validar las propiedades
logico-formales, casos de prueba para validar las preguntas de
competencia y una lista de chequeo con los errores mas comunes detectados en
la construccion de ontolog as para validar la taxonom a. El metodo fue
aplicado en la evaluacion de dos ontolog as de aplicacion, cuyos
resultados son expuestos en el trabajo.
Introduccion
Las ontolog as se han convertido en un area de interes comun para
diversas areas de investigacion de Inteligencia Arti cial tales como: Ingenier a del
Conocimiento, Procesamiento del Lenguaje Natural y Representacion del Conocimiento.
Recientemente se han aplicado en la Integracion Inteligente de Informacion desde
Or genes Heterogeneos y en la Recuperacion de Informacion, incluso han llegado
a abarcar el campo de los Servicios Web [
15
]. Una de las de niciones mas
difundidas plantea que una ontolog a es una especi cacion formal y expl cita de
una conceptualizacion compartida [
21
] y su mayor auge lo han tenido a partir
de que Tim Berners-Lee diera a conocer la vision naciente de la Web Semantica
como una red altamente interconectada de datos entendible por cualquier
computadora [
1
].
La construccion de las ontolog as puede realizarse de diversas maneras: desde
cero, con herramientas para la obtencion automatica, o semi-automatica desde
informacion textual, a partir de diferentes modelos (ej: entidad/relacion), entre
otras. Existen diversas metodolog as publicadas en la literatura para guiar el
proceso de elaboracion de una ontolog a [
2
] [
13
] [
3
]. Sin embargo, a pesar de
que no existe un unico camino para la construccion de ontolog as, el resultado
nal debe ser consecuente a los principios que lo propiciaron, por ello, desde
que surgieron las ontolog as y casi de forma natural, surgio la necesidad de su
evaluacion [
19
].
Sobre la evaluacion de ontolog as aun no existe consenso en la comunidad
cient ca. Segun Degbelo persiste la necesidad de discutir y re exionar acerca de
que aspectos se deben evaluar de las ontolog as (criterios de evaluacion) y como
llevar a cabo la evaluacion (estrategias de evaluacion y buenas practicas)[
4
].
Ferrario por otro lado, sostiene que la falta de consenso que existe se debe a la
naturaleza interdisciplinaria de las investigaciones que aplican las ontolog as, ya
que cada area de investigacion aporta criterios propios para la evaluacion de las
ontolog as [
6
]. Otros autores se re eren a las carencias de los metodos existentes,
tal es el caso de Senso, que plantea la necesidad de que los mecanismos de
evaluacion que se creen vayan en busca de analisis integrales de los sistemas
ontologicos con una marcada interaccion de los usuarios nales [
19
].
En este art culo se revisan las tendencias en la evaluacion de las ontolog as
y se propone un nuevo metodo a partir de la seleccion de buenas practicas de
metodos existentes y de la experiencia personal de los autores. En el metodo se
consideran aspectos tanto internos de las ontolog as como relacionados con la
retroalimentacion del usuario.
El resto del trabajo se organiza segun se describe a continuacion. En la
Seccion 2 se describen y analizan trabajos relacionados con el metodo
propuesto. En la Seccion 3 se describen las actividades del metodo con sus entradas
y salidas. En la Seccion 4 se presentan y analizan los resultados de su aplicacion.
Las conclusiones se exponen en la Seccion 5.
Trabajos Relacionados
En la actualidad existen diversos mecanismos o metodos que permiten
evaluar las ontolog as. Los trabajos de Gomez-Perez [
9
] apuntan hacia la existencia
de varias formas de evaluacion de recursos ontologicos desde el punto de vista
industrial, cognitivo y con el empleo de tecnicas matematicas generalmente
conocidas como metricas. Otros mecanismos se han encaminado a la evaluacion de
ontolog as mediante el empleo de tecnicas y presupuestos teoricos que apuntan
a evaluar esencialmente la expresion, la precision, los problemas de disen~o y las
inconsistencias semanticas [
22
]. Gangemi por otro lado, propone evaluar las
ontolog as en tres dimensiones: estructural, funcional y relativa a la usabilidad. La
dimension estructural se enfoca en la sintaxis, ya que las ontolog as presentan
su estructura en forma de grafos, propone realizar la medicion de la topolog a y
las propiedades logicas mediante metricas. Por otro lado, la dimension funcional
tiene que ver con los objetivos de construccion de la ontolog a y por tanto su
evaluacion consiste en analizar la correspondencia entre la conceptualizacion
realizada en la ontolog a con el dominio real. Para la evaluacion de la dimension
funcional, Gangemi propuso 5 enfoques, en algunos interviene el usuario y en
otros se utiliza un conjunto de datos [
7
]:
- Aceptacion de la conceptualizacion, intervienen los usuarios.
- Satisfaccion de los usuarios, intervienen los usuarios.
- Evaluacion de tareas que deben ser apoyadas por la ontolog a, se utiliza un
conjunto de datos.
- Evaluacion por contenido, responde a cuales son los l mites del contenido
que debe abordar la ontolog a?, se utiliza un conjunto de datos.
- Evaluacion modular, responde a cuales son los componentes basicos para el
disen~o de la ontolog a?, se utiliza un conjunto de datos.
La dimension usabilidad segun Gangemi tiene que ver con el nivel de
anotaciones de la ontolog a, responde a cuestiones tales como: >cuan facil resulta
para los usuarios reconocer las propiedades de la ontolog a? y >cuan facil
resulta para los usuarios seleccionar la ontolog a adecuada para una tarea
determinada? Guerrero propuso realizar la evaluacion de las ontolog as basada en
casos de prueba para validar las preguntas de competencias y razonadores para
validar las propiedades logico-formales [
10
]. Es conocido que un razonador es un
componente clave para trabajar con ontolog as ya que toda consulta a una
ontologa OWL debe ser realizada utilizando un razonador que in era conocimiento
impl cito. Un razonador tambien es conocido como clasi cador por la tarea de
computar una jerarqu a de clases inferidas [
23
]. Segun Guerrero [
10
] el proceso
de validacion de las ontolog as no es un hecho puntual para un momento
determinado. Tiene lugar durante todo el ciclo de vida realizandose comprobaciones
de las propiedades logico-formales por medio de razonadores que garantizan
aislar los errores en contextos mas reducidos. La mayor a de las metodolog as para
la construccion de ontolog as tambien incluyen un apartado dedicado a la
evaluacion del resultado, tal es el caso de la metodolog a de Ruben Dar o Alvarado [
3
]
que establece la evaluacion de la ontolog a como el quinto paso dentro del proceso
de construccion. Esta metodolog a utiliza metricas de cohesion para evaluar la
estructura y la funcionalidad de la ontolog a, as como razonadores para chequear
la consistencia, obtener automaticamente la clasi cacion taxonomica y computar
los tipos inferidos. Senso y otros autores decidieron agrupar los metodos
esenciales de evaluacion de ontolog as en cuatro grupos de acuerdo a la losof a de
la evaluacion [
19
]:
- Recuperacion de informacion.
- Costo que supone su implementacion.
- Uso de metricas matematicas.
- Analisis de la taxonom a.
En los metodos que recuperan informacion una de sus variantes utiliza dos
metricas estandar de la recuperacion de informacion para valorar la ontolog a:
la precision (proporcion de material relevante recuperado del total de objetos
recuperados) y exhaustividad (capacidad de la ontolog a para recuperar objetos
relevantes del total de objetos relevantes almacenados en la ontolog a). En los
metodos basados en el costo, tal como el propio nombre lo indica, evaluan las
ontolog as a partir del costo de su construccion, mantenimiento y reutilizacion.
Los metodos basados en metricas utilizan diferentes calculos, generalmente con
base matematica, para valorar diferentes aspectos de las ontolog as y los metodos
basados en el analisis de la taxonom a dirigen la revision hacia la estructura
conceptual de la ontolog a.
Diferentes autores han puesto a disposicion de la comunidad cient ca un
conjunto de errores comunmente detectados en la evaluacion de ontolog as y que
son listados a continuacion:
- Errores de ubicacion: Se producen cuando no se tienen en cuenta la
disposicion correcta de las clases y se solapan estas, principalmente por la
existencia de cruces entre nodos y estructuras conceptuales [
16
].
- Errores de distribucion. Suelen aparecer cuando, a la hora de estructurar
el conocimiento, los procesos creados se realizan desde una base netamente
clasi catoria. Es en ese momento cuando se puede producir una excesiva
dependencia (generico/espec co o tipo de y subtipo de) entre las clases y
las subclases [
16
]. Como resultado de este error aparecen clases que estan
mutuamente atadas a subclases disjuntas [
18
]. Otra inconsistencia de este
problema esta en la fragmentacion de una clase en muchas subclases, sin
tener en cuenta que las instancias de las subclases no necesariamente tienen
que pertenecer a las subclases que se han declarado.
- Errores de inconsistencia semantica. Se produce al desarrollar una jerarqu a
de nodos para un concepto erroneo. Se presenta cuando en la jerarqu a
aparecen conceptos que no pertenecen a la clase principal. La razon principal de
este error es el poco conocimiento semantico y terminologico del area del
conocimiento con la que se esta trabajando [
19
].
- Clases y clasi caciones incompletas. En ocasiones se presta muy poca atencion
a elementos muy importantes en la descripcion, en la anotacion y en la
conceptualizacion de la ontolog a, cuestion que favorece la ambiguedad y
entorpece la construccion de herramientas de razonamiento. Esto repercute en
clases o clasi caciones poco documentadas [
19
].
- Omision de conocimiento disjunto. Errores que ocurren cuando existe un
gran numero de clases y subclases y en su creacion se obvia la inclusion
de axiomas, que tienen determinado grado de disyuncion. Segun Qadir [
18
]
estos errores aparecen en la fase de disen~o debido a la falta de conexion
entre el desarrollador y los usuarios, lo que hace que se obtengan resultados
catastro cos.
- Omision de conocimiento por falta de exhaustividad. Se produce cuando los
constructores de la ontolog a no crean restricciones de integridad, declarando
de forma arbitraria particiones y subclases de un mismo concepto. Con esto
se deja en el aire la capacidad de exhaustividad del sistema, conduciendo a
la redundancia [
19
].
- Errores de redundancia. La repeticion de conceptos, lo que evidencia la falta
de un plan en la confeccion de las taxonom as de base, como apunta Fahad
[
5
].
- Errores en la poca especi cacion o delimitacion de las propiedades de los
componentes del sistema. Esto produce que el razonamiento se vea poco
desarrollado, ya que se da una misma de nicion a todo, desde el punto de
vista formal y conceptual [
19
].
- Errores por falta de exhaustividad en la declaracion de etiquetas. Este error
esta muy asociado a la construccion de inferencias en las ontolog as que
generan su estructura usando OWL. Las etiquetas que deben ser desarrolladas
o declaradas tienen que tener su cientes elementos y atributos para
detallar correctamente un dominio y contribuir a que los conceptos puedan estar
asociados a determinadas propiedades [
19
].
- Errores por no describir correctamente el conocimiento. Lo que acarrea que
no se reconozca exactamente que elemento se esta declarando en cada
concepto, ya que no hay de niciones exactas para subclases y sus relaciones
con los conceptos [
14
]. Esto obliga a una necesaria descripcion de reglas que
proporcionen criterios esenciales para la interaccion con nuevos conceptos
[
11
] que se creen en las subclases y sus relaciones, es decir, obliga a generar
modelos de axiomas, complementaciones y restricciones para el trabajo con
la ontolog a.
- Errores de redundancia en las extensiones. Aparece cuando se describe un
concepto como disjunto con otro concepto de la misma jerarqu a [
11
], [
14
].
Poveda resumio un conjunto de malas practicas en el disen~o de ontolog as,
dentro de ellas se encuentran: la no de nicion de una relacion inversa cuando
realmente lo es y viceversa, la asignacion de la misma URI a dos elementos
distintos en la ontolog a [
17
]. A esas malas practicas se suman otras tales como:
la carencia de internacionalizacion, la no utilizacion de estandares en la
nomenclatura de los conceptos y las propiedades, as como el insu ciente empleo de las
anotaciones que di cultan la reutilizacion y publicacion de las ontolog as.
Teniendo en cuenta los defectos y las malas practicas comunmente evidenciados en
la construccion de ontolog as, as como los mecanismos y metodos existentes para
su evaluacion, se ha elaborado un nuevo metodo que se presenta a continuacion.
Metodo de evaluacion triangular
En el Metodo de evaluacion triangular se consideran tanto aspectos internos
como aspectos relacionados con la retroalimentacion del usuario. En el mismo
se integran buenas practicas de otros metodos existentes y de la Ingenier a de
Software. Constituye una ampliacion a la actividad de validacion del Metodo
para la integracion de ontolog as en un sistema para la evaluacion de creditos
[
12
]. En el metodo se propone utilizar casos de prueba, razonadores y una lista
de chequeo con los errores mas comunes detectados en el disen~o de las ontolog as,
por ello se le ha denominado Metodo de evaluacion triangular. La veri cacion
de los casos de prueba permite evaluar el cumplimiento de los requerimientos
de las ontolog as expresados en las preguntas de competencia. Los razonadores
permiten evaluar las propiedades logico-formales de las ontolog as durante todo
el ciclo de vida. Por su parte, la lista de chequeo permite evaluar el disen~o de la
ontolog a desde etapas tempranas de su elaboracion y puede ser actualizada con
nuevos errores que sean detectados, permitiendo as su evolucion. Las entradas
del metodo son: el modelo ontologico (las ontolog as), la lista de chequeo con
los errores mas comunes y los documentos de casos de prueba disen~ados a partir
de las preguntas de competencia. La salida del metodo es el resumen de la
evaluacion, ver Fig. 1.
El metodo expuesto ha sido utilizado en diversos proyectos de investigacion.
A continuacion se muestra su aplicacion en la evaluacion de dos ontolog as
OntoCredit y OntoIndic. Ontolog as, en las cuales fue representado el conocimiento
relacionado con las solicitudes de credito y los indicadores nancieros en el Banco
Nacional de Cuba (BNC) respectivamente. Para comprobar las propiedades de
las ontolog as fueron seleccionados los razonadores Hermit [
8
] y Pellets [
20
]
integrados en la herramienta utilizada para la edicion y el mantenimiento de las
ontolog as, Protege en su version 5.1.
4.1.
Veri cacion del disen~o a partir de una lista de chequeo
La lista de chequeo fue elaborada a partir de los errores mas comunes
detectados en la evaluacion de ontolog as, ver Tabla 1.
II
III
IV
V
VI
VII
VIII
IX
X
XI
XII
Tipo de er- Elemento a veri car
ror
I
Una misma clase es de nida como subclase y superclase al mismo
tiempo en diferentes niveles de la taxonom a.
Uso excesivo de la relacion es-un.
Existencia de mas de un concepto principal.
Existencia de clases incompletas que provocan ambiguedad por no estar
correctamente documentadas.
Falta de conocimiento disjunto. No se declara la disyuncion entre
conceptos provocando una incorrecta formalizacion del conocimiento.
Falta de exhaustividad. Se declaran subclases sin tener en cuenta la
division completa de los conceptos en partes.
Existencia de terminos repetidos.
Poca especi cacion o delimitacion de las propiedades que provoca un
pobre razonamiento.
No se corresponden los elementos del dominio con los conceptos
declarados o no se corresponde el conocimiento del dominio con los conceptos,
relaciones y axiomas declarados.
Existencia de redundancia entre las extensiones disjuntas de un
concepto.
No se tiene en cuenta la traduccion de los conceptos de la taxonom a a
otros idiomas.
Falta de estandarizacion. Los nombres de los terminos no siguen un
estandar.
El disen~o de las ontolog as fue revisado de forma iterativa a partir de la lista
de chequeo elaborada. En una primera iteracion se detectaron errores de tipo
I, III, VI y VIII. En una segunda iteracion se detectaron errores de tipo IV y
V. Finalmente, aunque las ontolog as carecen de internacionalizacion (error de
tipo XI) porque no se considero necesario, se evaluo como correcto el disen~o de
ambas ontolog as.
4.2.
Veri cacion de los requisitos de las ontolog as
Para demostrar que las ontolog as pueden ser utilizadas segun lo previsto se
veri caron las preguntas de competencia. Para ello se aplicaron casos de prueba
con la siguiente estructura: pregunta de competencia, escenario de prueba,
resultado esperado y resultado obtenido. En todos los casos de prueba se alcanzaron
resultados satisfactorios, lo que demuestra que las ontolog as satisfacen los
requisitos para los cuales fueron creadas. A continuacion se muestra el caso de prueba
1 correspondiente a la ontolog a de las solicitudes de creditos. Pregunta de
competencia: Como se clasi ca el riesgo de una solicitud de credito de un cliente de
acuerdo al porciento de indicadores favorables y los pagos atrasados? Escenario:
En la herramienta Protege se crearon las instancias de la ontolog a, ver Tabla 2.
Resultado esperado: Al aplicar un razonador la solicitud de credito SOC1
debe clasi carse de riesgo medio. Resultado obtenido: Satisfactorio. La Fig. 2
muestra el resultado obtenido.
La evaluacion de las ontolog as mediante el Metodo de evaluacion triangular
permitio realizar el proceso de forma iterativo. Con el uso de los razonadores se
chequearon las propiedades logico-formales de manera practica y sencilla como
un proceso transparente para el usuario, ya que los razonadores se encuentran
integrados en la herramienta de edicion. La comprobacion de la lista de chequeo
se realizo en tres ocasiones. Por otra parte, fueron realizados 6 casos de pruebas
para comprobar la ontolog a de las solicitudes de creditos y 2 para la ontolog a
de los indicadores nancieros. La ejecucion de los casos de prueba evidencio el
cumplimiento de los objetivos iniciales de las ontolog as tal como ocurre con las
pruebas funcionales de los sistemas informaticos. La ejecucion de los casos de
pruebas fue veri cada por los usuarios del BNC.
5.
Conclusiones
Sobre la evaluacion de las ontolog as aun no existe consenso en la comunidad
cient ca. Si bien es cierto que existen diversos metodos para ello, se plantea que
carecen de integridad. El metodo presentado en este trabajo combina buenas
practicas de otros existentes y de la propia experiencia de los autores, a la vez
que considera no solo los aspectos internos de las ontolog as sino tambien los
relacionados con la retroalimentacion de los usuarios. En el Metodo de evaluacion
triangular se enfatiza en el uso de razonadores para veri car las propiedades
logico-formales de las ontolog as desde el comienzo de su creacion. Se establece
la revision de la taxonom a mediante una lista de chequeo y se comprueban los
requisitos de la ontolog a mediante la ejecucion de casos de prueba. El metodo ha
sido aplicado en la evaluacion de varias ontolog as con resultados satisfactorios.
Como trabajo futuro se plantea mejorar el metodo dirigido a dos cuestiones
fundamentales: el estudio de metricas relacionadas con la dimension estructural
de las ontolog as, tal como plantea Gangemi y el perfeccionamiento de la lista
de chequeo.
1.
AgarwalP. R.
:
Semantic Web in comparison to Web 2.0
.
In: Intelligent Systems, Modelling and Simulation (ISMS)
,
2012 Third International Conference
. pp.
558
{
563
.
IEEE
(
2012
)
2.
Corcho
,
O.
,
Fernandez-Lopez
,
M.
,
Gomez-Perez
,
A.
:
Methodologies, tools and languages for building ontologies. Where is their meeting point? Data & knowledge engineering 46(1
),
41
{
64
(
2003
)
3.
Dar
o-Alvarado,
R.
:
Metodolog a para el desarrollo de ontolog as (2010
), http: //es.slideshare.net/Iceman1976/metodologia-para-ontologias
4.
Degbelo
,
A.
:
A Snapshot of Ontology Evaluation Criteria and Strategies
.
In: Proceedings of the 13th International Conference on Semantic Systems
. pp.
1
{
8
.
ACM
(
2017
)
5.
Fahad
,
M.
,
Qadir
,
M. A.
:
A Framework for Ontology Evaluation
.
In: ICCS Supplement
. pp.
149
{
158
.
CEUR
(
2008
)
6.
Ferrario
,
R.
, Gruninger, M.:
Applied ontology: A foreword by the new editors-inChief
.
Applied Ontology12
(
1
), 1{
4
(
2017
)
7.
Gangemi
,
A.
,
Catenacci
,
C.
,
Ciaramita
,
M.
,
Lehmann
, J.:
Ontology evaluation and validation: an integrated formal model for the quality diagnostic task (2005
), http://www.loa-cnr.it/Files/OntoEval4OntoDev_Final.pdf
8.
Glimm
,
B.
,
Horrocks
,
I.
,
Motik
,
B.
,
Shearer
,
R.
,
Stoilos
, G.:
A novel approach to ontology classi cation
.
Web Semantics: Science, Services and Agents on the World Wide Web14
,
84
{
101
(
2012
)
9.
Gomez-Perez
,
A.
:
Some ideas and examples to evaluate ontologies
.
In: Arti cial Intelligence for Applications
,
1995
. Proceedings., 11th Conference. pp.
299
{
305
.
IEEE
(
1995
)
10.
Guerrero-Proenza
,
R. S.
,
Garc
a-Mart
nez
, A.:
Ontolog a para la representacion de las preferencias del estudiante en la actividad de aprendizaje en entornos virtuales
.
Revista Cubana de Educacion Superior1
,
20
{
37
(
2013
)
11.
Kuhn
,
T. S.:The structure of scienti c revolutions
. University of Chicago press, 2da edicin edn. (
2012
)
12.
Lopez-Rodr guez
,
Y. A.
,
Hidalgo-Delgado
,
Y.
,
Silega-Mart nez
, N.:
Metodo para la integracion de ontolog as en un sistema para la evaluacion de creditos
.
Revista Cubana de Ciencias Informaticas10
(
4
),
97
{
111
(
2016
)
13.
Luna
,
J. A.
,
Bonilla
,
M.
:
Metodolog as y metodos para la construccion de ontolog as
.
Scientia et technica17
(
50
) (
2012
)
14.
Maedche
,
A.
,
Staab
,
S.
:
Measuring similarity between ontologies
.
In: International Conference on Knowledge Engineering and Knowledge Management
. pp.
251
{
263
. Springer (
2002
)
15.
Mohamad
,
R.
,
Mohd-Hamka
,
N.
:
Similarity algorithm for evaluating the coverage of domain ontology for semantic Web services
.
In: Software Engineering Conference (MySEC)
,
2014
8th Malaysian. pp.
189
{
194
.
IEEE
(
2014
)
16.
Ning
, Huang, Shihan, Diao:
Structure-based ontology evaluation
. In: e-Business
Engineering
,
2006
. ICEBE'06. IEEE International Conference. pp.
132
{
137
.
IEEE
(
2006
)
17.
Poveda-Villalon
,
M.
,
Suarez-Figueroa
,
M. C.
,
Gomez-Perez
,
A.
:
Malas practicas en ontolog as (2009
), https://www.researchgate.net/profile/Maria_ Villalon/publication/49911331_Malas_practicas_en_ontologias/links/ 0fcfd50ca368b05f72000000.pdf
18.
Qadir
,
M. A.
,
Noshairwan
,
W.
:
Warnings for Disjoint Knowledge Omission in Ontologies
. In: ICIW'
07
. Second International Conference. pp.
45
{
45
.
IEEE
(
2007
)
19.
Senso
,
J. A.
,
Leiva-Mederos
,
A. A.
,
Dom
nguez-Velasco,
S. E.
:
Modelo para la evaluacion de ontolog as. Aplicacion en Onto-Satcol
. Revista espan~ola de documentacion cient ca
34
(
3
),
334
{
356
(
2011
)
20.
Sirin
,
E.
,
Parsia
,
B.
,
Grau
,
B. C.
,
Kalyanpur
,
A.
,
Katz
,
Y.
:
Pellet: A practical owl-dl reasoner
.
Web Semantics: science, services and agents on the World Wide Web5
(
2
),
51
{
53
(
2007
)
21.
Studer
,
R.
,
Benjamins
,
V. R.
,
Fensel
,
D.
:
Knowledge engineering: principles and methods
.
Data & knowledge engineering 25
(
1
,2),
161
{
197
(
1998
)
22.
Yu
,
J.
,
Thom
,
J. A.
,
Tam
,
A.
:
Requirements-oriented methodology for evaluating ontologies
.
Information Systems34
(
8
),
766
{
791
(
2009
)
23.
Zhao
,
H.
, Zhang,
S.
,
Zhao
,
J.:Research of using protege to build ontology
.
In: Computer and Information Science (ICIS)
,
2012 IEEE/ACIS 11th International Conference
. pp.
697
{
700
.
IEEE
(
2012
)