This paper presents the validation process of a new terminology database to be made available to the public by the end of 2024. The terminology database is the main result of the project "Platform for the identification of alterations to Chilean heritage properties" (ID22I10052) granted in September 2022. This is an initiative funded by the National Agency for Research and Development of Chile (ANID) within the category Fondef IDeA I&D 2022, whose objective is to support the co-financing of applied I&D projects that have a strong scientific component for the development of technologies that can lead to new products, processes or services with the potential to have a positive economic and social impact. Therefore, the process of validation of the database prototype by a group of potential users is a key aspect of this applied result before it is put into service. This paper presents the stages of validation of the terminology database and the criteria related to the evaluation of the design and usability aspects as well as the content of the product.
En esta ponencia hablamos de validación de recursos terminológicos, término utilizado en la metodología del proyecto aprobado, para referirnos a la última etapa del proyecto que consiste en dos partes: a) la evaluación de la base de datos terminológicos en cuanto a su diseño, accesibilidad e interacción con los usuarios (user experience). b) la evaluación de su contenido, es decir, de los términos contenidos en la base de datos.
Para ello, se dio acceso a un grupo de profesionales representativos de los usuarios de la base de datos terminológicos (conservadores y restauradores del Centro Nacional de Conservación y Restauración [CNCR], miembros del Comité Nacional de Conservación Textil [CNCT], y una selección de profesionales y académicos vinculados con la materia) con objeto de recoger su retroalimentación, y ajustar posteriormente cualquier aspecto relevante mencionado por ese grupo de usuarios.
Finalmente, se creará un protocolo de cierre del proyecto que prevea la sustentabilidad de la base de datos: el mantenimiento y actualización de los datos de la BDT, y el mantenimiento del servidor que l acogerá.
La selección de los participantes en el proceso de validación se hizo a partir de la lista de participantes (ponentes y asistentes) a la I Jornada Internacional Conservaterm sobre terminología del ámbito de la conservación-restauración de los bienes patrimoniales, que reunió a unas 120 personas en junio de 2023, en la Pontificia Universidad Católica de Chile. El objeto de esa jornada académica, realizada en el marco del proyecto Fondef, era generar una instancia de diálogo y problematización en torno a la terminología del ámbito, y contó con una amplia participación tanto nacional como internacional.
A partir de la lista de participantes, se identificaron cinco grupos de usuarios con perfiles diferenciados según tres variables: formación de base, nivel de conocimientos y rol como productores/receptores de conocimiento. Esos grupos son: a) conservadores-restauradores, miembros de las entidades asociadas al proyecto (CNCR y
CNCT): usuarios especialistas, expertos en el ámbito, productores de conocimiento b) directores y gestores de museos y centros patrimoniales, curadores de colecciones patrimoniales, personal técnico que trabaja en el ámbito a lo largo del país: usuarios especialistas, conocedores del ámbito, receptores de conocimiento c) académicos que trabajan en el ámbito del patrimonio (Facultades de Arquitectura, Arte y Estética): usuarios especialistas de perfil variado, conocedores de su ámbito específico, productores de conocimiento desde la academia d) terminólogos y lingüistas de distintas universidades, y lingüistas pertenecientes a la Academia Chilena de la Lengua: usuarios no especialistas, receptores de conocimiento, pero con conocimiento teórico, metodológico y aplicado sobre terminología y lexicografía, y usuarios habituales de distintas bases de datos terminológicas e) estudiantes en carreras universitarias de patrimonio y estudiantes de Magíster en Traducción: usuarios no especialistas, receptores de conocimiento, y usuarios ocasionales de distintas bases de datos terminológicas.
Para las sesiones de validación, se preparó una sesión explicativa inicial con una duración aproximada de 1:30 horas, que estuvo acompañada de material explicativo. Posteriormente, los usuarios tuvieron acceso libre a la plataforma durante un período de 30 días, para evaluar tanto la usabilidad de la base de datos como de la terminología. Finalmente, tras su evaluación, los usuarios completarán un formulario con sus opiniones y valoraciones. Para cerrar esta etapa de validación, los investigadores responsables del proyecto tendremos una sesión de cierre de una duración aproximada de 1:30 horas, para conocer aspectos de su evaluación que no hayan podido recogerse en el formulario. El diseño de este proceso de validación contó con la aprobación previa del Comité de Ética de Ciencias Sociales y Humanidades de la Universidad Católica, que veló tanto por el rigor del diseño como por que respetaran principios básicos asociados al consentimiento informado y al anonimato de los participantes.
A partir de una revisión de la bibliografía sobre la materia, los investigadores del proyecto establecieron los 10 criterios siguientes para la primera etapa de validación de la base de datos terminológicos (diseño, accesibilidad e interacción con los usuarios): 1. Navegación. La sobrecarga informativa en la memoria del usuario a la hora de consultar la base de datos debe minimizarse. Siempre es mucho mejor reconocer que recordar. Un sistema de navegación bien diseñado facilita la recuperación de información en estas bases de datos. 2. Funcionalidad. Las funciones de uso deben recogerse de manera explícita en un apartado de descripción de la base de datos: lenguas con las que trabaja, perfiles de usuario a los que se dirige, ámbitos temáticos que abarca, etc. 3. Control del usuario. El usuario debe sentir que controla la herramienta y que tiene libertad para moverse por ella. Resulta muy importante flexibilizar el uso de la interfaz y el modo de recuperar la información según el usuario esté más o menos familiarizado con la base de datos que consulta. 4. Lenguaje y contenido. La información vehiculada en forma de texto debe resultar comprensible a los usuarios a los que se dirigen estas aplicaciones, que serán prototípicamente lingüistas en sentido amplio (traductores, revisores, redactores técnicos, etc.) o especialistas de un determinado ámbito temático. 5. Ayuda en línea. El sistema debe incorporar mecanismos para reconocer, diagnosticar y solucionar errores. 6. Información del sistema. El usuario debe tener presente en todo momento si la interfaz permite realizar una consulta o si se trata de una interfaz de resultados, así como las posibilidades que tiene en cada momento para ejecutar acciones. 7. Accesibilidad. La base de datos debe contemplar las pautas de la accesibilidad, tanto en lo que se refiere a usuarios con discapacidades físico-sensoriales como a aquellos con limitaciones tecnológicas. 8. Coherencia. Las páginas de un mismo sitio web deben responder a los mismos criterios en cuanto a diseño gráfico (uso del color, fuentes tipográficas, etc.), disposición de los elementos en las páginas, forma de funcionamiento, etc. 9. Prevención errores. El sistema debe estar preparado para evitar que los usuarios cometan errores y debe poner los medios necesarios para que no caigan en ellos. 10. Claridad arquitectónica. La interfaz de usuario debe seguir principios minimalistas y de claridad que faciliten la localización rápida de la información.
Esos criterios se evaluaron mediante un formulario que debían responder los evaluadores, formulado en un lenguaje claro, no técnico.
Para la segunda etapa de validación de los contenidos terminológicos de la base de datos, se utilizaron los 7 criterios siguientes: 1. Identificar el término preferente en un registro de la base de datos. 2. Reconocer las variantes terminológicas aceptadas para un término preferente. 3. Reconocer las variantes no recomendadas o rechazadas para un término preferente. 4. Distinguir entre un contexto explicativo o definitorio y una definición formal. 5. Identificar las fuentes asociadas a cada información terminológica. 6. Recorrer la base de datos a partir de la información hipertextual contenida en la base. 7. Enviar consultas y sugerencias sobre la base de datos a sus mantenedores.
Esos criterios se evaluaron mediante un formulario al que debían responder los evaluadores, formulado mediante preguntas con ejemplos concretos extraídos de la base.
En el momento de enviar esta propuesta, los evaluadores están en su período de 30 días asignado para concretar su evaluación.
Tras la recepción de sus respuestas, y la sesión de cierre, los resultados esperados son: a) Una retroalimentación de los criterios mencionados sobre diseño, accesibilidad e interacción con los usuarios de la BDT que permita a los investigadores llevar a cabo los ajustes comunes necesarios dirigidos a la usabilidad de la plataforma. b) Una retroalimentación de los criterios mencionados sobre los contenidos de la BDT que permita a los investigadores corregir errores y presentar mejor la información terminológica de la BDT. c) Una estratificación de las respuestas según los 5 perfiles de usuarios, que permita a los investigadores crear materiales de presentación específicos, adecuados a cada grupo de usuarios. d) Una propuesta de actualización de los criterios de evaluación de bases de datos terminológicos, que será objeto de publicación. [8] ISO 26162-3:2023: Management of terminology resources. Terminology databases. Part 3:
Content. Geneva: International Organisation for Standardisation. [9] ICOM-CC, Terminology to characterize the conservation of tangible cultural heritage.
Resolution adopted by the ICOM-CC membership at the 15th Triennial Conference, New Delhi, 2008. [10] V. Brezina, Statistics in Corpus Linguistics: A Practical Guide, University Press, Cambridge, 2018.