de la Inteligencia Artificial. Existen diferentes metodologías y herramientas para su construcción, no obstante, el resultado final debe ser consecuente a los requisitos que lo propiciaron. Por ello, desde que surgieron las ontologías y casi de forma natural, surgió la necesidad de su evaluación. En la literatura son diversos los métodos y enfoques publicados para la evaluación de ontologías, sin embargo, varios autores refieren carencia de integridad y necesidad de interacción del usuario final en esos métodos. En este artículo se presenta un método que retoma buenas prácticas de otros métodos existentes y considera aspectos tanto internos de las ontologías como relacionados con la retroalimentación del usuario. En el método se propone utilizar razonadores para validar las propiedades lógico-formales, casos de prueba para validar las preguntas de competencia y una lista de chequeo con los errores más comunes detectados en la construcción de ontologías para validar la taxonomía. El método fue aplicado en la evaluación de dos ontologías de aplicación, cuyos resultados son expuestos en el trabajo.

Palabras claves: Casos de Prueba, Evaluación de Ontologías, Listas de Chequeo, Razonadores

Las ontologías se han convertido en un área de interés común para diversas áreas de investigación de Inteligencia Artificial tales como: Ingeniería del Conocimiento, Procesamiento del Lenguaje Natural y Representación del Conocimiento. Recientemente se han aplicado en la Integración Inteligente de Información desde Orígenes Heterogéneos y en la Recuperación de Información, incluso han llegado a abarcar el campo de los Servicios Web [15]. Una de las definiciones más difundidas plantea que una ontología es una especificación formal y explícita de una conceptualización compartida [21] y su mayor auge lo han tenido a partir de que Tim Berners-Lee diera a conocer la visión naciente de la Web Semántica como una red altamente interconectada de datos entendible por cualquier computadora [1].

La construcción de las ontologías puede realizarse de diversas maneras: desde cero, con herramientas para la obtención automática, o semi-automática desde información textual, a partir de diferentes modelos (ej: entidad/relación), entre otras. Existen diversas metodologías publicadas en la literatura para guiar el proceso de elaboración de una ontología [2] [13] [3]. Sin embargo, a pesar de que no existe un único camino para la construcción de ontologías, el resultado final debe ser consecuente a los principios que lo propiciaron, por ello, desde que surgieron las ontologías y casi de forma natural, surgió la necesidad de su evaluación [19].

Sobre la evaluación de ontologías aún no existe consenso en la comunidad científica. Según Degbelo persiste la necesidad de discutir y reflexionar acerca de qué aspectos se deben evaluar de las ontologías (criterios de evaluación) y cómo llevar a cabo la evaluación (estrategias de evaluación y buenas prácticas) [4]. Ferrario por otro lado, sostiene que la falta de consenso que existe se debe a la naturaleza interdisciplinaria de las investigaciones que aplican las ontologías, ya que cada área de investigación aporta criterios propios para la evaluación de las ontologías [6]. Otros autores se refieren a las carencias de los métodos existentes, tal es el caso de Senso, que plantea la necesidad de que los mecanismos de evaluación que se creen vayan en busca de análisis integrales de los sistemas ontológicos con una marcada interacción de los usuarios finales [19].

En este artículo se revisan las tendencias en la evaluación de las ontologías y se propone un nuevo método a partir de la selección de buenas prácticas de métodos existentes y de la experiencia personal de los autores. En el método se consideran aspectos tanto internos de las ontologías como relacionados con la retroalimentación del usuario.

El resto del trabajo se organiza según se describe a continuación. En la Sección 2 se describen y analizan trabajos relacionados con el método propuesto. En la Sección 3 se describen las actividades del método con sus entradas y salidas. En la Sección 4 se presentan y analizan los resultados de su aplicación. Las conclusiones se exponen en la Sección 5.

En la actualidad existen diversos mecanismos o métodos que permiten evaluar las ontologías. Los trabajos de Gómez-Pérez [9] apuntan hacia la existencia de varias formas de evaluación de recursos ontológicos desde el punto de vista industrial, cognitivo y con el empleo de técnicas matemáticas generalmente conocidas como métricas. Otros mecanismos se han encaminado a la evaluación de ontologías mediante el empleo de técnicas y presupuestos teóricos que apuntan a evaluar esencialmente la expresión, la precisión, los problemas de diseño y las inconsistencias semánticas [22]. Gangemi por otro lado, propone evaluar las ontologías en tres dimensiones: estructural, funcional y relativa a la usabilidad. La dimensión estructural se enfoca en la sintaxis, ya que las ontologías presentan su estructura en forma de grafos, propone realizar la medición de la topología y las propiedades lógicas mediante métricas. Por otro lado, la dimensión funcional tiene que ver con los objetivos de construcción de la ontología y por tanto su evaluación consiste en analizar la correspondencia entre la conceptualización realizada en la ontología con el dominio real. Para la evaluación de la dimensión funcional, Gangemi propuso 5 enfoques, en algunos interviene el usuario y en otros se utiliza un conjunto de datos [7]:

-Aceptación de la conceptualización, intervienen los usuarios.

-Satisfacción de los usuarios, intervienen los usuarios.

-Evaluación de tareas que deben ser apoyadas por la ontología, se utiliza un conjunto de datos. -Evaluación por contenido, responde a cuáles son los límites del contenido que debe abordar la ontología?, se utiliza un conjunto de datos. -Evaluación modular, responde a cuáles son los componentes básicos para el diseño de la ontología?, se utiliza un conjunto de datos.

La dimensión usabilidad según Gangemi tiene que ver con el nivel de anotaciones de la ontología, responde a cuestiones tales como: ¿cuán fácil resulta para los usuarios reconocer las propiedades de la ontología? y ¿cuán fácil resulta para los usuarios seleccionar la ontología adecuada para una tarea determinada? Guerrero propuso realizar la evaluación de las ontologías basada en casos de prueba para validar las preguntas de competencias y razonadores para validar las propiedades lógico-formales [10]. Es conocido que un razonador es un componente clave para trabajar con ontologías ya que toda consulta a una ontologa OWL debe ser realizada utilizando un razonador que infiera conocimiento implícito. Un razonador también es conocido como clasificador por la tarea de computar una jerarquía de clases inferidas [23]. Según Guerrero [10] el proceso de validación de las ontologías no es un hecho puntual para un momento determinado. Tiene lugar durante todo el ciclo de vida realizándose comprobaciones de las propiedades lógico-formales por medio de razonadores que garantizan aislar los errores en contextos más reducidos. La mayoría de las metodologías para la construcción de ontologías también incluyen un apartado dedicado a la evaluación del resultado, tal es el caso de la metodología de Rubén Darío Alvarado [3] que establece la evaluación de la ontología como el quinto paso dentro del proceso de construcción. Esta metodología utiliza métricas de cohesión para evaluar la estructura y la funcionalidad de la ontología, así como razonadores para chequear la consistencia, obtener automáticamente la clasificación taxonómica y computar los tipos inferidos. Senso y otros autores decidieron agrupar los métodos esenciales de evaluación de ontologías en cuatro grupos de acuerdo a la filosofía de la evaluación [19]:

-Recuperación de información.

-Costo que supone su implementación.

-Uso de métricas matemáticas.

-Análisis de la taxonomía.

En los métodos que recuperan información una de sus variantes utiliza dos métricas estándar de la recuperación de información para valorar la ontología: la precisión (proporción de material relevante recuperado del total de objetos recuperados) y exhaustividad (capacidad de la ontología para recuperar objetos relevantes del total de objetos relevantes almacenados en la ontología). En los métodos basados en el costo, tal como el propio nombre lo indica, evalúan las ontologías a partir del costo de su construcción, mantenimiento y reutilización. Los métodos basados en métricas utilizan diferentes cálculos, generalmente con base matemática, para valorar diferentes aspectos de las ontologías y los métodos basados en el análisis de la taxonomía dirigen la revisión hacia la estructura conceptual de la ontología.

Diferentes autores han puesto a disposición de la comunidad científica un conjunto de errores comúnmente detectados en la evaluación de ontologías y que son listados a continuación:

-Errores de ubicación: Se producen cuando no se tienen en cuenta la disposición correcta de las clases y se solapan estas, principalmente por la existencia de cruces entre nodos y estructuras conceptuales [16]. -Errores de distribución. Suelen aparecer cuando, a la hora de estructurar el conocimiento, los procesos creados se realizan desde una base netamente clasificatoria. Es en ese momento cuando se puede producir una excesiva dependencia (genérico/específico o tipo de y subtipo de) entre las clases y las subclases [16]. Como resultado de este error aparecen clases que están mutuamente atadas a subclases disjuntas [18]. Otra inconsistencia de este problema está en la fragmentación de una clase en muchas subclases, sin tener en cuenta que las instancias de las subclases no necesariamente tienen que pertenecer a las subclases que se han declarado. -Errores de inconsistencia semántica. Se produce al desarrollar una jerarquía de nodos para un concepto erróneo. Se presenta cuando en la jerarquía aparecen conceptos que no pertenecen a la clase principal. La razón principal de este error es el poco conocimiento semántico y terminológico del área del conocimiento con la que se está trabajando [19]. -Clases y clasificaciones incompletas. En ocasiones se presta muy poca atención a elementos muy importantes en la descripción, en la anotación y en la conceptualización de la ontología, cuestión que favorece la ambigüedad y en-torpece la construcción de herramientas de razonamiento. Esto repercute en clases o clasificaciones poco documentadas [19]. -Omisión de conocimiento disjunto. Errores que ocurren cuando existe un gran número de clases y subclases y en su creación se obvia la inclusión de axiomas, que tienen determinado grado de disyunción. Según Qadir [18] estos errores aparecen en la fase de diseño debido a la falta de conexión entre el desarrollador y los usuarios, lo que hace que se obtengan resultados catastróficos. -Omisión de conocimiento por falta de exhaustividad. Se produce cuando los constructores de la ontología no crean restricciones de integridad, declarando de forma arbitraria particiones y subclases de un mismo concepto. Con esto se deja en el aire la capacidad de exhaustividad del sistema, conduciendo a la redundancia [19]. -Errores de redundancia. La repetición de conceptos, lo que evidencia la falta de un plan en la confección de las taxonomías de base, como apunta Fahad [5]. -Errores en la poca especificación o delimitación de las propiedades de los componentes del sistema. Esto produce que el razonamiento se vea poco desarrollado, ya que se da una misma definición a todo, desde el punto de vista formal y conceptual [19]. -Errores por falta de exhaustividad en la declaración de etiquetas. Este error está muy asociado a la construcción de inferencias en las ontologías que generan su estructura usando OWL. Las etiquetas que deben ser desarrolladas o declaradas tienen que tener suficientes elementos y atributos para detallar correctamente un dominio y contribuir a que los conceptos puedan estar asociados a determinadas propiedades [19]. -Errores por no describir correctamente el conocimiento. Lo que acarrea que no se reconozca exactamente qué elemento se está declarando en cada concepto, ya que no hay definiciones exactas para subclases y sus relaciones con los conceptos [14]. Esto obliga a una necesaria descripción de reglas que proporcionen criterios esenciales para la interacción con nuevos conceptos [11] que se creen en las subclases y sus relaciones, es decir, obliga a generar modelos de axiomas, complementaciones y restricciones para el trabajo con la ontología. -Errores de redundancia en las extensiones. Aparece cuando se describe un concepto como disjunto con otro concepto de la misma jerarquía [11], [14].

Poveda resumió un conjunto de malas prácticas en el diseño de ontologías, dentro de ellas se encuentran: la no definición de una relación inversa cuando realmente lo es y viceversa, la asignación de la misma URI a dos elementos distintos en la ontología [17]. A esas malas prácticas se suman otras tales como: la carencia de internacionalización, la no utilización de estándares en la nomenclatura de los conceptos y las propiedades, así como el insuficiente empleo de las anotaciones que dificultan la reutilización y publicación de las ontologías. Teniendo en cuenta los defectos y las malas prácticas comúnmente evidenciados en la construcción de ontologías, así como los mecanismos y métodos existentes para su evaluación, se ha elaborado un nuevo método que se presenta a continuación.

En el Método de evaluación triangular se consideran tanto aspectos internos como aspectos relacionados con la retroalimentación del usuario. En el mismo se integran buenas prácticas de otros métodos existentes y de la Ingeniería de Software. Constituye una ampliación a la actividad de validación del Método para la integración de ontologías en un sistema para la evaluación de créditos [12]. En el método se propone utilizar casos de prueba, razonadores y una lista de chequeo con los errores más comunes detectados en el diseño de las ontologías, por ello se le ha denominado Método de evaluación triangular. La verificación de los casos de prueba permite evaluar el cumplimiento de los requerimientos de las ontologías expresados en las preguntas de competencia. Los razonadores permiten evaluar las propiedades lógico-formales de las ontologías durante todo el ciclo de vida. Por su parte, la lista de chequeo permite evaluar el diseño de la ontología desde etapas tempranas de su elaboración y puede ser actualizada con nuevos errores que sean detectados, permitiendo así su evolución. Las entradas del método son: el modelo ontológico (las ontologías), la lista de chequeo con los errores más comunes y los documentos de casos de prueba diseñados a partir de las preguntas de competencia. La salida del método es el resumen de la evaluación, ver Fig. 1.

El método expuesto ha sido utilizado en diversos proyectos de investigación. A continuación se muestra su aplicación en la evaluación de dos ontologías On-toCredit y OntoIndic. Ontologías, en las cuales fue representado el conocimiento relacionado con las solicitudes de crédito y los indicadores financieros en el Banco Nacional de Cuba (BNC) respectivamente. Para comprobar las propiedades de las ontologías fueron seleccionados los razonadores Hermit [8] y Pellets [20] integrados en la herramienta utilizada para la edición y el mantenimiento de las ontologías, Protégé en su versión 5.1.

La lista de chequeo fue elaborada a partir de los errores más comunes detectados en la evaluación de ontologías, ver Tabla 1. El diseño de las ontologías fue revisado de forma iterativa a partir de la lista de chequeo elaborada. En una primera iteración se detectaron errores de tipo I, III, VI y VIII. En una segunda iteración se detectaron errores de tipo IV y V. Finalmente, aunque las ontologías carecen de internacionalización (error de tipo XI) porque no se consideró necesario, se evaluó como correcto el diseño de ambas ontologías.

Para demostrar que las ontologías pueden ser utilizadas según lo previsto se verificaron las preguntas de competencia. Para ello se aplicaron casos de prueba con la siguiente estructura: pregunta de competencia, escenario de prueba, resultado esperado y resultado obtenido. En todos los casos de prueba se alcanzaron resultados satisfactorios, lo que demuestra que las ontologías satisfacen los requisitos para los cuales fueron creadas. A continuación se muestra el caso de prueba 1 correspondiente a la ontología de las solicitudes de créditos. Pregunta de competencia: Cómo se clasifica el riesgo de una solicitud de crédito de un cliente de acuerdo al porciento de indicadores favorables y los pagos atrasados? Escenario: En la herramienta Protégé se crearon las instancias de la ontología, ver Tabla 2. Resultado esperado: Al aplicar un razonador la solicitud de crédito SOC1 debe clasificarse de riesgo medio. Resultado obtenido: Satisfactorio. La Fig. 2 muestra el resultado obtenido.

La evaluación de las ontologías mediante el Método de evaluación triangular permitió realizar el proceso de forma iterativo. Con el uso de los razonadores se chequearon las propiedades lógico-formales de manera práctica y sencilla como un proceso transparente para el usuario, ya que los razonadores se encuentran integrados en la herramienta de edición. La comprobación de la lista de chequeo se realizó en tres ocasiones. Por otra parte, fueron realizados 6 casos de pruebas para comprobar la ontología de las solicitudes de créditos y 2 para la ontología de los indicadores financieros. La ejecución de los casos de prueba evidenció el cumplimiento de los objetivos iniciales de las ontologías tal como ocurre con las pruebas funcionales de los sistemas informáticos. La ejecución de los casos de pruebas fue verificada por los usuarios del BNC.

Sobre la evaluación de las ontologías aún no existe consenso en la comunidad científica. Si bien es cierto que existen diversos métodos para ello, se plantea que carecen de integridad. El método presentado en este trabajo combina buenas prácticas de otros existentes y de la propia experiencia de los autores, a la vez que considera no solo los aspectos internos de las ontologías sino también los relacionados con la retroalimentación de los usuarios. En el Método de evaluación triangular se enfatiza en el uso de razonadores para verificar las propiedades lógico-formales de las ontologías desde el comienzo de su creación. Se establece la revisión de la taxonomía mediante una lista de chequeo y se comprueban los requisitos de la ontología mediante la ejecución de casos de prueba. El método ha sido aplicado en la evaluación de varias ontologías con resultados satisfactorios. Como trabajo futuro se plantea mejorar el método dirigido a dos cuestiones fundamentales: el estudio de métricas relacionadas con la dimensión estructural de las ontologías, tal como plantea Gangemi y el perfeccionamiento de la lista de chequeo.