The increasing volume of multimedia content is pushing the media to seek for e ective solutions for the automatic generation of metadata to facilitate the tagging, indexing and retrieval of contents. In this context, GAMES is presented as a platform focused to metadata and content generation in Basque. In addition to the main architecture, the technological modules and their evaluation are presented.
El crecimiento imparable de contenido
multimedia junto con los reciente avances en
tecnolog as IA estan impulsando a los archivos
y medios de comunicacion a la incorporacion
de soluciones que permitan una identi cacion
y descripcion e cientes de sus contenidos a
traves de metadatos. Sin embargo, el
euskera no esta habitualmente soportado en estas
soluciones y, de estar incluido, no alcanza la
calidad esperada sobre contenidos media.
Como solucion mas cercana cabe destacar
GEPSA
Copyright © 2021 for this paper by its authors. Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0). una plataforma de seguimiento de medios escritos en euskera y castellano que incorpora tecnolog a IA de deteccion y clasi cacion de entidades nombradas (NERC), extraccion de palabras clave, clasi cacion de tematica y retos de la sociedad.
Con el animo de cubrir este hueco en el mercado, nacio el proyecto GAMES, una solucion para la generacion automatica de metadatos sobre contenidos multimedia (video, audio y texto) en euskera compuesta por 6 modulos tecnologicos IA. 3
La plataforma GAMES se ha disen~ado y desarrollado para ser un servicio back-end facilmente integrable en cualquier solucion de terceros, permitiendo ofrecer un servicio de metadatado en euskera no intrusivo en estas soluciones. Esta fundamentada en arquitectura REST7 y esta compuesta por una capa de servicio basada en la solucion Trae k8, que ofrece un proxy inverso y balanceador de peticiones. Este componente se comunica con las APIs de cada modulo tecnologico mediante servicios web basados en protocolo HTTP. Estos servicios permiten recuperar el estado de cada proceso, obtener un resultado o lanzar a procesar una tarea en cualquier modulo IA. Los resultados son devueltos en objetos JSON (JavaScript Object Notation), disponiendo cada modulo tecnologico de su formato espec co de resultado. Estos modulos IA son facilmente combinables para la generacion de pipelines tecnologicos y esta orquestacion se realiza desde el cliente. En la Figura 1 se muestra la arquitectura de la solucion. 4
Todos los modulos integrados en GAMES estan basados en tecnicas de Deep Learning y estan entrenados para procesar contenidos multimedia (video, audio y texto) en euskera, una lengua aglutinante con unas propiedades lingu sticas singulares, una rica morfolog a y un orden de palabras relativamente libre. 4.1
Este modulo permite convertir a texto los contenidos de video y audio en euskera a traves de tecnolog a neuronal de transcripcion del habla. El motor de reconocimiento de
Figura 1: Arquitectura de GAMES.
habla, construido sobre la herramienta
Kaldi
La salida cruda del reconocedor es
enriquecida con capitalizacion y signos de
puntuacion con un modelo Transformer
entrenado a partir del modelo BERTeus
Este modulo convierte en habla cualquier
texto de entrada en euskera. En GAMES se
entreno un modelo de s ntesis neuronal
basado en la arquitectura Tacotron-2
Este modulo realiza la deteccion y clasi
cacion de entidades nombradas sobre un texto
de entrada en euskera. Para ello se entreno
un modelo de etiquetado secuencial basado
en BERTeus
Categ. Train Test miP miR miF1 LOC 1968 440 0.887 0.844 0.865 ORG 1937 394 0.816 0.816 0.816 PER 1497 382 0.903 0.949 0.925 OTH 294 53 0.367 0.367 0.367
Como puede observarse en la Tabla 1, los mejores resultados alcanzan un micro-F1 de 0.925 para la categor a PER, mientras que la categor a OTH obtiene una mayor confusion, probablemente, por su baja representacion en las particiones y por ser una categor a anotada con menor precision. 4.4
Este componente permite clasi car en
categor as del ambito period stico las noticias en
euskara. El modulo IA esta igualmente
basado en un modelo Transformer, usando
BERTeus
El entrenamiento y evaluacion del sistema se realizo sobre un corpus compilado en el dominio de las noticias provistas por los
Tabla 2: Instancias anotadas de train y test, y resultados por categor a.
Categor a Train Test miP miR miF1 Sociedad 2694 630 0.776 0.805 0.790 Deportes 1604 412 0.956 0.959 0.957 Cultura 1134 262 0.770 0.793 0.781 Pol tica 514 134 0.843 0.767 0.803 Opinion 456 124 0.868 0.918 0.892 Euskara 274 64 0.729 0.797 0.761 Econom a 203 48 0.706 0.393 0.505 Educacion 202 15 0.706 0.500 0.585 Entorno 107 15 0.429 0.400 0.414 medios del consorcio con la distribucion presentada en la Tabla 2, en la que ademas se muestran los resultados de micro-Precision, Recall y F1-score por categor a. Destaca la categor a de deportes, mientras se observa mayor confusion entre categor as semanticamente proximas (e.g. sociedad y cultura). Las puntuaciones mas bajas las reciben las categor as menos representadas en los datos de entrenamiento. 4.5
Este modulo permite sintetizar de manera
abreviada un texto de entrada; una l nea
tecnologica incipiente y que para el euskera
supone un reto mayor por la falta de datos
de entrenamiento o de recursos lingu sticos
espec cos. En GAMES se ha experimentado
con un modelo Encoder-Decoder
inicializado con tres modelos pre-entrenados:
IXAmBERT
Los modelos han sido evaluados con la metrica ROUGE, donde ROUGE-N mide la superposicion de n-gramas entre la referencia y la hipotesis, y ROUGE-L evalua las subsecuencias comunes mas largas. Como se observa en la Tabla 3 el modelo basado en IXAmBERT muestra el mejor resultado, probablemente por una representacion mas amplia del euskera en el modelo preentrenado. 4.6
Este componente es un ejemplo de pipeline tecnologico en el que se integran diferentes modulos de la solucion, y su funcion es la generacion automatica de video-noticias partiendo del t tulo, noticia y una foto relacionada. La voz es generada con la s ntesis de habla, la noticia puede ser sumarizada para generacion de videos cortos y, ademas, se incluyen subt tulos sincronizados con el audio para sumar accesibilidad. 5
En este trabajo se ha presentado el proyecto GAMES, una plataforma back-end para la generacion automatica de metadatos y contenido audiovisual en euskara. Esta solucion esta integrada en los ujos de trabajo de las empresas del consorcio y tendra continuidad en un nuevo proyecto en el que se incorporaran nuevos modulos tecnologicos como la traduccion automatica basada en el activo Itzuli10, biometr a vocal y analisis de imagen.
Este trabajo conto con el apoyo del Departamento de Desarrollo Economico, Sostenibilidad y Medio Ambiente del Gobierno Vasco en el marco del proyecto GAMES (ZL2020/00074).
albayz n-rtve 2020 speech to text transcription challenge. En Proceedings of IberSPEECH2020.