Un método práctico para la evaluación de ontologı́as Yoan Antonio López Rodrı́guez1 , Yusniel Hidalgo-Delgado1 , Nemury Silega Martı́nez1 Universidad de las Ciencias Informáticas, La Habana, Cuba {yalopez, yhdelgado, nsilega}@uci.cu Abstract. Ontologies are increasingly used in several areas of Artificial Intelligence. There are different methodologies and tools to build ontolo- gies, nevertheless, the result has to be consistent with the requirements that propitiated it. Therefore, since the first ontologies were created and almost naturally, their evaluation arose as a need. In science there are a lot of published methods and approaches for the ontologies evaluation, however, several authors refer lack of integrity and the end users inter- action in them. In this paper we propose a method which takes up best practices from other existent methods and considers both aspect internal and related to user feedback. This method proposes to use reasoners to validate the logical-formal properties, test cases to validate the compe- tition questions and also a checklist with common detected errors in the construction of ontologies to validate the taxonomy. The method was applied on two application ontologies and the main results are shown in this work. Keywords: Checklists, Ontologies evaluation, Reasoners, Test Cases Resumen. Las ontologı́as son cada vez más utilizadas en diversas áreas de la Inteligencia Artificial. Existen diferentes metodologı́as y herramien- tas para su construcción, no obstante, el resultado final debe ser conse- cuente a los requisitos que lo propiciaron. Por ello, desde que surgieron las ontologı́as y casi de forma natural, surgió la necesidad de su evaluación. En la literatura son diversos los métodos y enfoques publicados para la evaluación de ontologı́as, sin embargo, varios autores refieren carencia de integridad y necesidad de interacción del usuario final en esos métodos. En este artı́culo se presenta un método que retoma buenas prácticas de otros métodos existentes y considera aspectos tanto internos de las ontologı́as como relacionados con la retroalimentación del usuario. En el método se propone utilizar razonadores para validar las propiedades lógico-formales, casos de prueba para validar las preguntas de competen- cia y una lista de chequeo con los errores más comunes detectados en la construcción de ontologı́as para validar la taxonomı́a. El método fue aplicado en la evaluación de dos ontologı́as de aplicación, cuyos resulta- dos son expuestos en el trabajo. Palabras claves: Casos de Prueba, Evaluación de Ontologı́as, Listas de Chequeo, Razonadores 77 1. Introducción Las ontologı́as se han convertido en un área de interés común para diver- sas áreas de investigación de Inteligencia Artificial tales como: Ingenierı́a del Conocimiento, Procesamiento del Lenguaje Natural y Representación del Conocimiento. Recientemente se han aplicado en la Integración Inteligente de Información desde Orı́genes Heterogéneos y en la Recuperación de Información, incluso han llegado a abarcar el campo de los Servicios Web [15]. Una de las definiciones más di- fundidas plantea que una ontologı́a es una especificación formal y explı́cita de una conceptualización compartida [21] y su mayor auge lo han tenido a partir de que Tim Berners-Lee diera a conocer la visión naciente de la Web Semántica como una red altamente interconectada de datos entendible por cualquier com- putadora [1]. La construcción de las ontologı́as puede realizarse de diversas maneras: desde cero, con herramientas para la obtención automática, o semi-automática desde información textual, a partir de diferentes modelos (ej: entidad/relación), entre otras. Existen diversas metodologı́as publicadas en la literatura para guiar el proceso de elaboración de una ontologı́a [2] [13] [3]. Sin embargo, a pesar de que no existe un único camino para la construcción de ontologı́as, el resultado final debe ser consecuente a los principios que lo propiciaron, por ello, desde que surgieron las ontologı́as y casi de forma natural, surgió la necesidad de su evaluación [19]. Sobre la evaluación de ontologı́as aún no existe consenso en la comunidad cientı́fica. Según Degbelo persiste la necesidad de discutir y reflexionar acerca de qué aspectos se deben evaluar de las ontologı́as (criterios de evaluación) y cómo llevar a cabo la evaluación (estrategias de evaluación y buenas prácticas)[4]. Ferrario por otro lado, sostiene que la falta de consenso que existe se debe a la naturaleza interdisciplinaria de las investigaciones que aplican las ontologı́as, ya que cada área de investigación aporta criterios propios para la evaluación de las ontologı́as [6]. Otros autores se refieren a las carencias de los métodos existentes, tal es el caso de Senso, que plantea la necesidad de que los mecanismos de evaluación que se creen vayan en busca de análisis integrales de los sistemas ontológicos con una marcada interacción de los usuarios finales [19]. En este artı́culo se revisan las tendencias en la evaluación de las ontologı́as y se propone un nuevo método a partir de la selección de buenas prácticas de métodos existentes y de la experiencia personal de los autores. En el método se consideran aspectos tanto internos de las ontologı́as como relacionados con la retroalimentación del usuario. El resto del trabajo se organiza según se describe a continuación. En la Sección 2 se describen y analizan trabajos relacionados con el método prop- uesto. En la Sección 3 se describen las actividades del método con sus entradas y salidas. En la Sección 4 se presentan y analizan los resultados de su aplicación. Las conclusiones se exponen en la Sección 5. 78 2. Trabajos Relacionados En la actualidad existen diversos mecanismos o métodos que permiten eval- uar las ontologı́as. Los trabajos de Gómez-Pérez [9] apuntan hacia la existencia de varias formas de evaluación de recursos ontológicos desde el punto de vista industrial, cognitivo y con el empleo de técnicas matemáticas generalmente cono- cidas como métricas. Otros mecanismos se han encaminado a la evaluación de ontologı́as mediante el empleo de técnicas y presupuestos teóricos que apuntan a evaluar esencialmente la expresión, la precisión, los problemas de diseño y las inconsistencias semánticas [22]. Gangemi por otro lado, propone evaluar las on- tologı́as en tres dimensiones: estructural, funcional y relativa a la usabilidad. La dimensión estructural se enfoca en la sintaxis, ya que las ontologı́as presentan su estructura en forma de grafos, propone realizar la medición de la topologı́a y las propiedades lógicas mediante métricas. Por otro lado, la dimensión funcional tiene que ver con los objetivos de construcción de la ontologı́a y por tanto su evaluación consiste en analizar la correspondencia entre la conceptualización re- alizada en la ontologı́a con el dominio real. Para la evaluación de la dimensión funcional, Gangemi propuso 5 enfoques, en algunos interviene el usuario y en otros se utiliza un conjunto de datos [7]: - Aceptación de la conceptualización, intervienen los usuarios. - Satisfacción de los usuarios, intervienen los usuarios. - Evaluación de tareas que deben ser apoyadas por la ontologı́a, se utiliza un conjunto de datos. - Evaluación por contenido, responde a cuáles son los lı́mites del contenido que debe abordar la ontologı́a?, se utiliza un conjunto de datos. - Evaluación modular, responde a cuáles son los componentes básicos para el diseño de la ontologı́a?, se utiliza un conjunto de datos. La dimensión usabilidad según Gangemi tiene que ver con el nivel de ano- taciones de la ontologı́a, responde a cuestiones tales como: ¿cuán fácil resulta para los usuarios reconocer las propiedades de la ontologı́a? y ¿cuán fácil re- sulta para los usuarios seleccionar la ontologı́a adecuada para una tarea deter- minada? Guerrero propuso realizar la evaluación de las ontologı́as basada en casos de prueba para validar las preguntas de competencias y razonadores para validar las propiedades lógico-formales [10]. Es conocido que un razonador es un componente clave para trabajar con ontologı́as ya que toda consulta a una on- tologa OWL debe ser realizada utilizando un razonador que infiera conocimiento implı́cito. Un razonador también es conocido como clasificador por la tarea de computar una jerarquı́a de clases inferidas [23]. Según Guerrero [10] el proceso de validación de las ontologı́as no es un hecho puntual para un momento deter- minado. Tiene lugar durante todo el ciclo de vida realizándose comprobaciones de las propiedades lógico-formales por medio de razonadores que garantizan ais- lar los errores en contextos más reducidos. La mayorı́a de las metodologı́as para la construcción de ontologı́as también incluyen un apartado dedicado a la evalu- ación del resultado, tal es el caso de la metodologı́a de Rubén Darı́o Alvarado [3] que establece la evaluación de la ontologı́a como el quinto paso dentro del proceso 79 de construcción. Esta metodologı́a utiliza métricas de cohesión para evaluar la estructura y la funcionalidad de la ontologı́a, ası́ como razonadores para chequear la consistencia, obtener automáticamente la clasificación taxonómica y computar los tipos inferidos. Senso y otros autores decidieron agrupar los métodos esen- ciales de evaluación de ontologı́as en cuatro grupos de acuerdo a la filosofı́a de la evaluación [19]: - Recuperación de información. - Costo que supone su implementación. - Uso de métricas matemáticas. - Análisis de la taxonomı́a. En los métodos que recuperan información una de sus variantes utiliza dos métricas estándar de la recuperación de información para valorar la ontologı́a: la precisión (proporción de material relevante recuperado del total de objetos recuperados) y exhaustividad (capacidad de la ontologı́a para recuperar objetos relevantes del total de objetos relevantes almacenados en la ontologı́a). En los métodos basados en el costo, tal como el propio nombre lo indica, evalúan las ontologı́as a partir del costo de su construcción, mantenimiento y reutilización. Los métodos basados en métricas utilizan diferentes cálculos, generalmente con base matemática, para valorar diferentes aspectos de las ontologı́as y los métodos basados en el análisis de la taxonomı́a dirigen la revisión hacia la estructura conceptual de la ontologı́a. Diferentes autores han puesto a disposición de la comunidad cientı́fica un conjunto de errores comúnmente detectados en la evaluación de ontologı́as y que son listados a continuación: - Errores de ubicación: Se producen cuando no se tienen en cuenta la dis- posición correcta de las clases y se solapan estas, principalmente por la ex- istencia de cruces entre nodos y estructuras conceptuales [16]. - Errores de distribución. Suelen aparecer cuando, a la hora de estructurar el conocimiento, los procesos creados se realizan desde una base netamente clasificatoria. Es en ese momento cuando se puede producir una excesiva dependencia (genérico/especı́fico o tipo de y subtipo de) entre las clases y las subclases [16]. Como resultado de este error aparecen clases que están mutuamente atadas a subclases disjuntas [18]. Otra inconsistencia de este problema está en la fragmentación de una clase en muchas subclases, sin tener en cuenta que las instancias de las subclases no necesariamente tienen que pertenecer a las subclases que se han declarado. - Errores de inconsistencia semántica. Se produce al desarrollar una jerarquı́a de nodos para un concepto erróneo. Se presenta cuando en la jerarquı́a apare- cen conceptos que no pertenecen a la clase principal. La razón principal de este error es el poco conocimiento semántico y terminológico del área del conocimiento con la que se está trabajando [19]. - Clases y clasificaciones incompletas. En ocasiones se presta muy poca atención a elementos muy importantes en la descripción, en la anotación y en la con- ceptualización de la ontologı́a, cuestión que favorece la ambigüedad y en- 80 torpece la construcción de herramientas de razonamiento. Esto repercute en clases o clasificaciones poco documentadas [19]. - Omisión de conocimiento disjunto. Errores que ocurren cuando existe un gran número de clases y subclases y en su creación se obvia la inclusión de axiomas, que tienen determinado grado de disyunción. Según Qadir [18] estos errores aparecen en la fase de diseño debido a la falta de conexión entre el desarrollador y los usuarios, lo que hace que se obtengan resultados catastróficos. - Omisión de conocimiento por falta de exhaustividad. Se produce cuando los constructores de la ontologı́a no crean restricciones de integridad, declarando de forma arbitraria particiones y subclases de un mismo concepto. Con esto se deja en el aire la capacidad de exhaustividad del sistema, conduciendo a la redundancia [19]. - Errores de redundancia. La repetición de conceptos, lo que evidencia la falta de un plan en la confección de las taxonomı́as de base, como apunta Fahad [5]. - Errores en la poca especificación o delimitación de las propiedades de los componentes del sistema. Esto produce que el razonamiento se vea poco desarrollado, ya que se da una misma definición a todo, desde el punto de vista formal y conceptual [19]. - Errores por falta de exhaustividad en la declaración de etiquetas. Este error está muy asociado a la construcción de inferencias en las ontologı́as que gen- eran su estructura usando OWL. Las etiquetas que deben ser desarrolladas o declaradas tienen que tener suficientes elementos y atributos para detal- lar correctamente un dominio y contribuir a que los conceptos puedan estar asociados a determinadas propiedades [19]. - Errores por no describir correctamente el conocimiento. Lo que acarrea que no se reconozca exactamente qué elemento se está declarando en cada con- cepto, ya que no hay definiciones exactas para subclases y sus relaciones con los conceptos [14]. Esto obliga a una necesaria descripción de reglas que proporcionen criterios esenciales para la interacción con nuevos conceptos [11] que se creen en las subclases y sus relaciones, es decir, obliga a generar modelos de axiomas, complementaciones y restricciones para el trabajo con la ontologı́a. - Errores de redundancia en las extensiones. Aparece cuando se describe un concepto como disjunto con otro concepto de la misma jerarquı́a [11], [14]. Poveda resumió un conjunto de malas prácticas en el diseño de ontologı́as, dentro de ellas se encuentran: la no definición de una relación inversa cuando realmente lo es y viceversa, la asignación de la misma URI a dos elementos dis- tintos en la ontologı́a [17]. A esas malas prácticas se suman otras tales como: la carencia de internacionalización, la no utilización de estándares en la nomen- clatura de los conceptos y las propiedades, ası́ como el insuficiente empleo de las anotaciones que dificultan la reutilización y publicación de las ontologı́as. Te- niendo en cuenta los defectos y las malas prácticas comúnmente evidenciados en la construcción de ontologı́as, ası́ como los mecanismos y métodos existentes para su evaluación, se ha elaborado un nuevo método que se presenta a continuación. 81 3. Método de evaluación triangular En el Método de evaluación triangular se consideran tanto aspectos internos como aspectos relacionados con la retroalimentación del usuario. En el mismo se integran buenas prácticas de otros métodos existentes y de la Ingenierı́a de Software. Constituye una ampliación a la actividad de validación del Método para la integración de ontologı́as en un sistema para la evaluación de créditos [12]. En el método se propone utilizar casos de prueba, razonadores y una lista de chequeo con los errores más comunes detectados en el diseño de las ontologı́as, por ello se le ha denominado Método de evaluación triangular. La verificación de los casos de prueba permite evaluar el cumplimiento de los requerimientos de las ontologı́as expresados en las preguntas de competencia. Los razonadores permiten evaluar las propiedades lógico-formales de las ontologı́as durante todo el ciclo de vida. Por su parte, la lista de chequeo permite evaluar el diseño de la ontologı́a desde etapas tempranas de su elaboración y puede ser actualizada con nuevos errores que sean detectados, permitiendo ası́ su evolución. Las entradas del método son: el modelo ontológico (las ontologı́as), la lista de chequeo con los errores más comunes y los documentos de casos de prueba diseñados a partir de las preguntas de competencia. La salida del método es el resumen de la evaluación, ver Fig. 1. Fig. 1. Método propuesto para evaluar las ontologı́as. 4. Resultados y Discusión El método expuesto ha sido utilizado en diversos proyectos de investigación. A continuación se muestra su aplicación en la evaluación de dos ontologı́as On- toCredit y OntoIndic. Ontologı́as, en las cuales fue representado el conocimiento relacionado con las solicitudes de crédito y los indicadores financieros en el Banco Nacional de Cuba (BNC) respectivamente. Para comprobar las propiedades de 82 las ontologı́as fueron seleccionados los razonadores Hermit [8] y Pellets [20] in- tegrados en la herramienta utilizada para la edición y el mantenimiento de las ontologı́as, Protégé en su versión 5.1. 4.1. Verificación del diseño a partir de una lista de chequeo La lista de chequeo fue elaborada a partir de los errores más comunes detec- tados en la evaluación de ontologı́as, ver Tabla 1. Table 1. Lista de chequeo de errores comunes en el diseño de ontologı́as. Tipo de er- Elemento a verificar ror I Una misma clase es definida como subclase y superclase al mismo tiempo en diferentes niveles de la taxonomı́a. II Uso excesivo de la relación es-un. III Existencia de más de un concepto principal. IV Existencia de clases incompletas que provocan ambigüedad por no estar correctamente documentadas. V Falta de conocimiento disjunto. No se declara la disyunción entre con- ceptos provocando una incorrecta formalización del conocimiento. VI Falta de exhaustividad. Se declaran subclases sin tener en cuenta la división completa de los conceptos en partes. VII Existencia de términos repetidos. VIII Poca especificación o delimitación de las propiedades que provoca un pobre razonamiento. IX No se corresponden los elementos del dominio con los conceptos declara- dos o no se corresponde el conocimiento del dominio con los conceptos, relaciones y axiomas declarados. X Existencia de redundancia entre las extensiones disjuntas de un con- cepto. XI No se tiene en cuenta la traducción de los conceptos de la taxonomı́a a otros idiomas. XII Falta de estandarización. Los nombres de los términos no siguen un estándar. El diseño de las ontologı́as fue revisado de forma iterativa a partir de la lista de chequeo elaborada. En una primera iteración se detectaron errores de tipo I, III, VI y VIII. En una segunda iteración se detectaron errores de tipo IV y V. Finalmente, aunque las ontologı́as carecen de internacionalización (error de tipo XI) porque no se consideró necesario, se evaluó como correcto el diseño de ambas ontologı́as. 4.2. Verificación de los requisitos de las ontologı́as Para demostrar que las ontologı́as pueden ser utilizadas según lo previsto se verificaron las preguntas de competencia. Para ello se aplicaron casos de prueba 83 con la siguiente estructura: pregunta de competencia, escenario de prueba, resul- tado esperado y resultado obtenido. En todos los casos de prueba se alcanzaron resultados satisfactorios, lo que demuestra que las ontologı́as satisfacen los requi- sitos para los cuales fueron creadas. A continuación se muestra el caso de prueba 1 correspondiente a la ontologı́a de las solicitudes de créditos. Pregunta de com- petencia: Cómo se clasifica el riesgo de una solicitud de crédito de un cliente de acuerdo al porciento de indicadores favorables y los pagos atrasados? Escenario: En la herramienta Protégé se crearon las instancias de la ontologı́a, ver Tabla 2. Table 2. Creación de instancias del caso de prueba. Clases Instancias Propiedades Valor de las propiedades Indicadores Resumidos IR1 Porciento de Indicadores Fa- 80 vorables Pago Atrasado Principal PA1 Cantidad de Dı́as de Atraso 20 Pago Atrasado Intereses PA2 Cantidad de Dı́as de Atraso 5 Situacin Contable SC1 tieneIndicadoresResumidos IR1 Situacin Financiera SF1 tieneSituacionContable SC1 Comportamiento Pago CP1 tienePagoAtrasado PA1 tienePagoAtrasado PA2 Cliente Financiero CF1 tieneSituacionFinanciera SF1 tieneComportamientoPago CP1 SolicitudCredito SOC1 tieneClienteFinanciero CF1 Comportamiento Pago CP1 Porciento de Indicadores Fa- 80 vorables Indicadores Resumidos IR1 Porciento de Indicadores Fa- 80 vorables Indicadores Resumidos IR1 Porciento de Indicadores Fa- 80 vorables Resultado esperado: Al aplicar un razonador la solicitud de crédito SOC1 debe clasificarse de riesgo medio. Resultado obtenido: Satisfactorio. La Fig. 2 muestra el resultado obtenido. La evaluación de las ontologı́as mediante el Método de evaluación triangular permitió realizar el proceso de forma iterativo. Con el uso de los razonadores se chequearon las propiedades lógico-formales de manera práctica y sencilla como un proceso transparente para el usuario, ya que los razonadores se encuentran integrados en la herramienta de edición. La comprobación de la lista de chequeo se realizó en tres ocasiones. Por otra parte, fueron realizados 6 casos de pruebas para comprobar la ontologı́a de las solicitudes de créditos y 2 para la ontologı́a de los indicadores financieros. La ejecución de los casos de prueba evidenció el cumplimiento de los objetivos iniciales de las ontologı́as tal como ocurre con las pruebas funcionales de los sistemas informáticos. La ejecución de los casos de pruebas fue verificada por los usuarios del BNC. 84 Fig. 2. Clasificación de la solicitud de crédito SOC1. 5. Conclusiones Sobre la evaluación de las ontologı́as aún no existe consenso en la comunidad cientı́fica. Si bien es cierto que existen diversos métodos para ello, se plantea que carecen de integridad. El método presentado en este trabajo combina buenas prácticas de otros existentes y de la propia experiencia de los autores, a la vez que considera no solo los aspectos internos de las ontologı́as sino también los relacionados con la retroalimentación de los usuarios. En el Método de evaluación triangular se enfatiza en el uso de razonadores para verificar las propiedades lógico-formales de las ontologı́as desde el comienzo de su creación. Se establece la revisión de la taxonomı́a mediante una lista de chequeo y se comprueban los requisitos de la ontologı́a mediante la ejecución de casos de prueba. El método ha sido aplicado en la evaluación de varias ontologı́as con resultados satisfactorios. Como trabajo futuro se plantea mejorar el método dirigido a dos cuestiones fundamentales: el estudio de métricas relacionadas con la dimensión estructural de las ontologı́as, tal como plantea Gangemi y el perfeccionamiento de la lista de chequeo. References 1. Agarwal P. R.: Semantic Web in comparison to Web 2.0. In: Intelligent Systems, Modelling and Simulation (ISMS), 2012 Third International Conference. pp. 558– 563. IEEE (2012) 2. Corcho, O., Fernández-López, M., Gómez-Pérez, A.: Methodologies, tools and lan- guages for building ontologies. Where is their meeting point? Data & knowledge engineering 46(1), 41–64 (2003) 3. Darı́o-Alvarado, R.: Metodologı́a para el desarrollo de ontologı́as (2010), http: //es.slideshare.net/Iceman1976/metodologia-para-ontologias 4. Degbelo, A.: A Snapshot of Ontology Evaluation Criteria and Strategies. In: Pro- ceedings of the 13th International Conference on Semantic Systems. pp. 1–8. ACM (2017) 85 5. Fahad, M., Qadir, M. A.: A Framework for Ontology Evaluation. In: ICCS Sup- plement. pp. 149–158. CEUR (2008) 6. Ferrario, R., Grüninger, M.: Applied ontology: A foreword by the new editors-in- Chief. Applied Ontology 12(1), 1–4 (2017) 7. Gangemi, A., Catenacci, C., Ciaramita, M., Lehmann, J.: Ontology evaluation and validation: an integrated formal model for the quality diagnostic task (2005), http://www.loa-cnr.it/Files/OntoEval4OntoDev_Final.pdf 8. Glimm, B., Horrocks, I., Motik, B., Shearer, R., Stoilos, G.: A novel approach to ontology classification. Web Semantics: Science, Services and Agents on the World Wide Web 14, 84–101 (2012) 9. Gómez-Pérez, A.: Some ideas and examples to evaluate ontologies. In: Artificial Intelligence for Applications, 1995. Proceedings., 11th Conference. pp. 299–305. IEEE (1995) 10. Guerrero-Proenza, R. S., Garcı́a-Martı́nez, A.: Ontologı́a para la representación de las preferencias del estudiante en la actividad de aprendizaje en entornos virtuales. Revista Cubana de Educación Superior 1, 20–37 (2013) 11. Kuhn, T. S.: The structure of scientific revolutions. University of Chicago press, 2da edicin edn. (2012) 12. López-Rodrı́guez, Y. A., Hidalgo-Delgado, Y., Silega-Martı́nez, N.: Método para la integración de ontologı́as en un sistema para la evaluación de créditos. Revista Cubana de Ciencias Informáticas 10(4), 97–111 (2016) 13. Luna, J. A., Bonilla, M.: Metodologı́as y métodos para la construcción de on- tologı́as. Scientia et technica 17(50) (2012) 14. Maedche, A., Staab, S.: Measuring similarity between ontologies. In: International Conference on Knowledge Engineering and Knowledge Management. pp. 251–263. Springer (2002) 15. Mohamad, R., Mohd-Hamka, N.: Similarity algorithm for evaluating the coverage of domain ontology for semantic Web services. In: Software Engineering Conference (MySEC), 2014 8th Malaysian. pp. 189–194. IEEE (2014) 16. Ning, Huang, Shihan, Diao: Structure-based ontology evaluation. In: e-Business Engineering, 2006. ICEBE’06. IEEE International Conference. pp. 132–137. IEEE (2006) 17. Poveda-Villalon, M., Suárez-Figueroa, M. C., Gómez-Pérez, A.: Malas prácticas en ontologı́as (2009), https://www.researchgate.net/profile/Maria_ Villalon/publication/49911331_Malas_practicas_en_ontologias/links/ 0fcfd50ca368b05f72000000.pdf 18. Qadir, M. A., Noshairwan, W.: Warnings for Disjoint Knowledge Omission in On- tologies. In: ICIW’07. Second International Conference. pp. 45–45. IEEE (2007) 19. Senso, J. A., Leiva-Mederos, A. A., Domı́nguez-Velasco, S. E.: Modelo para la evaluación de ontologı́as. Aplicación en Onto-Satcol. Revista española de docu- mentación cientı́fica 34(3), 334–356 (2011) 20. Sirin, E., Parsia, B., Grau, B. C., Kalyanpur, A., Katz, Y.: Pellet: A practical owl-dl reasoner. Web Semantics: science, services and agents on the World Wide Web 5(2), 51–53 (2007) 21. Studer, R., Benjamins, V. R., Fensel, D.: Knowledge engineering: principles and methods. Data & knowledge engineering 25(1,2), 161–197 (1998) 22. Yu, J., Thom, J. A., Tam, A.: Requirements-oriented methodology for evaluating ontologies. Information Systems 34(8), 766–791 (2009) 23. Zhao, H., Zhang, S., Zhao, J.: Research of using protege to build ontology. In: Computer and Information Science (ICIS), 2012 IEEE/ACIS 11th International Conference. pp. 697–700. IEEE (2012)