This work aims for extracting multilingual vocabulary from software documentation in order to create resources for improving machine translation assisted comunication in the context of software requirement meetings involving multilingual teams. The objective of this paper is to present the initial results obtained related to the research data (corpus) construction. Resumo. Este trabalho tem por objetivo a extrac¸a˜o de vocabula´rio multil´ıngue a partir de documentac¸a˜o de software, visando construir recursos para o melhoramento da comunicac¸a˜o assistida por tecnologias de traduc¸a˜o de ma´quina no contexto de reunio˜es de requisitos de software envolvendo times multil´ıngues. Este artigo tem por objetivo apresentar os resultados iniciais obtidos durante a construc¸a˜o do material de pesquisa (corpus).
Dos trabalhos referenciados, destaca-se o experimento conduzido por
Neste experimento, equipes multil´ıngues (formadas por 2 participantes brasileiros e 2 italianos) executaram, colaborativamente, tarefas relacionadas a` engenharia de requisitos, utilizando, de forma alternada, o ingleˆs como idioma comum, e seus idiomas nativos em conjunto com servic¸os de traduc¸ a˜o de ma´quina.
A partir da ana´lise dos registros do experimento, diferentes tipos de problemas foram encontrados sendo que, neste trabalho, optou-se por priorizar aqueles relacionados ao vocabula´rio, destacando-se: (1) traduc¸ o˜es inconsistentes, (2) abreviac¸ o˜es de termos, (3) erros de digitac¸a˜o.
Como exemplo de traduc¸a˜o inconsistente, pode-se mencionar o termo “release” ,
traduzido de diferentes formas (“entrega” e “lanc¸amento” , por exemplo) para os mesmos
contextos (motivo da inconsisteˆncia), ou mesmo mantido como “release” . Este tipo de
inconsisteˆncia, pode induzir a problemas de compreensa˜o entre os participantes da reunia˜o
[
A abreviac¸a˜o de termos se demonstrou um problema, principalmente quando aplicada a` termos cujas abreviac¸ o˜es possuem significado pro´prio. Como exemplos deste tipo de problemas, pode-se mencionar “bluetooth” , simplificado como “blue” gerando a traduc¸a˜o (inadequada ao contexto) “azul“ , e “ring tone” , abreviado como “ring” e traduzido como “anel” .
Uma das poss´ıveis soluc¸ o˜es encontradas e´ a utilizac¸a˜o de funcionalidades de autocomplementac¸a˜o para auxiliar os participantes durante a escrita. Estas funcionalidades podem ser alimentadas com um vocabula´rio inicial, a ser ampliado no decorrer da comunicac¸a˜o.
Em relac¸a˜o aos erros ortogra´ficos, pode-se mencionar o termo“bluetooth” para o qual foram encontradas 5 diferentes grafias sendo 4 destas incorretas (“blutooth” , “bluetoth” , “bluetooh” e “blutoofh” ).
Este tipo de erro e´ frequentemente tratado atrave´s de funcionalidades de correc¸a˜o ortogra´fica (spellchecking) sendo que essas dependem da existeˆncia de um vocabula´rio para a identificac¸a˜o das formas corretas das palavras.
Por fim, durante o levantamento dos recursos utilizados como base para a construc¸a˜o de um vocabula´rio multil´ıngue, identificou-se a necessidade desse tipo de recurso na construc¸a˜o automa´tica de corpus, tarefa esta que pode ser empregada para ampliac¸a˜o do corpus existente.
O processo de extrac¸a˜o de vocabula´rio multil´ıngue, utilizado neste trabalho, encontrase demonstrado, de forma simplificada, na Figura 1. Esse consiste em, dado um corpus multil´ıngue, realizar a extrac¸ a˜o do vocabula´rio equivalente aos idiomas envolvidos e, posteriormente, avalia´-lo [Ha et al. 2008] [Daille and Morin 2005]. Uma descric¸a˜o mais detalhada dessas etapas sera´ apresentada a seguir.
Figura 1. Processo gen e´rico de extra c¸ a˜o
Para a construc¸a˜o do corpus multil´ıngue foram considerados: a) textos paralelos
Como fonte principal de material, optou-se pela utilizac¸a˜o da documentac¸a˜o de softwares open source (c o´digo aberto), devido a sua disponibilidade para diferentes idiomas e ao tipo de licenciamento utilizado por esses. Posteriormente, foram inclu´ıdos a` lista livros da Engenharia de Software.
Os materiais anteriormente mencionados foram coletados a partir das pa´ginas oficiais dos projetos. Verso˜es multil´ıngues do manual de usu a´rio da ferramenta de versionamento TurtoiseSVN, por exemplo, foram extra´ıdos a partir do s ´ıtio “http://tortoisesvn.net/support.html” . Como uma das colaborac¸ o˜es deste trabalho, o corpus constru´ıdo, relacionado a projetos open source, sera´ futuramente disponibilizado em um reposit o´rio.
Conhecidas as fontes, a coleta dos documentos foi conduzida de forma manual. Abordagens automa´ticas para a construc¸a˜o do corpus foram cogitadas, no entanto, devido a` falta de termos iniciais (seeds) e a complexidade associada a avaliac¸a˜o dos textos coletados por essas, optou-se por na˜o utiliza´-las (pelo menos inicialmente).
O processo de extrac¸a˜o de vocabula´rio multil´ıngue consiste na obtenc¸ a˜o de equivaleˆncias entre palavras de diferentes idiomas. A execuc¸a˜o desse varia de acordo com o tipo de corpus empregado (paralelo ou compara´vel).
Dado o trecho de sentenc¸a “...ser a´ a nova versa˜o do software...”, por exemplo, e seu trecho equivalente nos documentos em ingleˆs “ ...will be the new release of the software”, o me´todo de extrac¸a˜o deve estabelecer a relac¸a˜o entre as palavras “release” e “vers a˜o” .
Em relac¸a˜o a corpus paralelo, um dos procedimentos mais utilizados e´ o alinhamento textual, sentencial e/ou lexical, sendo que esse consiste na identificac¸a˜o de trechos correspondentes entre textos considerados como paralelos (texto e sua respectiva traduc¸a˜o)[Ha et al. 2008].
Quanto a corpus compara´vel, o estabelecimento de equivaleˆncias costuma ser realizado mediante a utilizac¸a˜o de vetores de contexto (que levam em considerac¸a˜o as palavras pr o´ximas ao termo a ser traduzido) em conjunto com diciona´rios multil´ıngues de dom´ınio geral [Daille and Morin 2005].
O processo de extrac¸a˜o de vocabula´rio empregado ate´ momento, baseia-se na
extrac¸a˜o de ngramas, e e´ realizado de acordo com os seguintes passos:
1. Os documentos extra´ıdos s a˜o normalizados quanto a seu formato, sendo
convertidos para documentos de texto sem formatac¸a˜o (plain text);
2. Os textos sa˜o separados em sentenc¸as ( Sentence detection) que, por sua vez, sa˜o
separadas em seus s´ımbolos formadores (palavras, sinais de pontuac¸ a˜o, etc.);
3. Numerais, sinais de pontuac¸a˜o, s´ımbolos especiais (marcadores, por exemplo) e
palavras muito comuns do idioma (stopwords) sa˜o removidos;
4. As palavras restantes sa˜o submetidas a um processo de lematizac¸a˜o para a
obtenc¸a˜o de suas respectivas formas can oˆnicas;
5. Listas de ngramas (sequeˆncias n palavras) sa˜o constru´ıdas e posteriormente
contabilizadas. Neste trabalho foram considerados unigramas, bigramas e trigramas;
Com a excec¸a˜o da lematizac¸a˜o dos textos em portugueˆs
A avaliac¸a˜o do vocabula´rio constru´ıdo pode ser realizada tanto de forma manual quanto automa´tica. A validac¸a˜o manual consiste na revisa˜o do vocabula´rio por um tradutor profissional ou por um especialista da a´rea, enquanto na validac¸a˜o automa´tica o vocabula´rio constru´ıdo e´ comparado com um padra˜o de refereˆncia (golden standard) previamente criado [Daille and Morin 2005] [Ha et al. 2008].
Ate´ o momento, como recurso selecionado para pesquisa, tem-se um corpus multil´ıngue composto por 567.458 palavras (unigramas) em ingleˆs e 331.626 palavras em portugueˆs.
Exemplos de palavras (unigramas) extra´ıdas a partir dos textos em portugu eˆs do corpus, mediante o processo apresentado na sec¸a˜o 3.2, sa˜o: “Tela”, “Contato”, “lista”, “agenda”, “wi-fi” , “bluetooth” , “calculadora” e “sms” .
Nesses, sa˜o encontrados tanto termos de dom´ınio como “Contato” (dispositivos m o´veis), quanto termos que designam tecnologias como “bluetooth” , por exemplo. A lista de palavras (assim como a de bigramas e trigramas) sera´ melhor investigada em busca de palavras e termos comuns a diferentes dom´ınios, com enfoque principal na terminologia de Engenharia de Software.
Quanto aos materiais auxiliares, buscou-se por vocabula´rios ja´ compilados, relevantes ao dom´ınio. A Tabela 1 demonstra os principais vocabul a´rios encontrados juntamente com a quantidade de termos contidos em cada um desses. Vale ressaltar que apesar desses serem monol´ıngues (ingl eˆs), sa˜o compostos por termos diretamente relacionados ao dom´ınio, sendo que traduc¸ o˜es para os mesmos sera˜o buscadas.
System and Software Engineering–Vocabulary[ISO/IEC/IEEE 2010]
Standard Glossay of Software Engineering Terminology [
3.349 1.300 167 1.600
Tabela 1. Vocabul a´rios obtidos
Por fim, foram obtidos registros (logs) de comunicac¸a˜o entre equipes de
desenvolvedores. A partir dos registros do experimento de
Uma ana´lise inicial dos recursos levantados demonstrou a aplicabilidade desses na soluc¸a˜o de problemas identificados durante a ana´lise dos registros (sec¸a˜o 2).
Em relac¸a˜o aos problemas de traduc¸a˜o inconsistente, partindo do termo “release” , previamente apresentado, buscou-se nos textos em ingleˆs do corpus por ocorreˆncias desse. Dentre os contextos nos quais o termo foi encontrado, 6 foram selecionados, sendo que seus trechos equivalentes foram buscados nos textos em portugueˆs. Para os 6 contextos avaliados o termo foi coerentemente traduzido como “vers a˜o” , indicando uma tendeˆncia na utilizac¸a˜o desta traduc¸a˜o no dom´ınio em quest a˜o.
Referente aos problemas de abreviac¸a˜o e erros ortogra´ficos, para ambos os exemplos apresentados (“bluetooth” e “ring tone” ), os termos foram encontrados no material compilado, indicando que estes poderiam ser utilizados em func¸o˜es de correc¸a˜o ortogra´fica (erros ortogra´ficos) e auto-complementac¸a˜o (abreviac¸a˜o), ambos recursos de aux´ılio a escrita.
Mais exemplos de aplicabilidade do material compilado na soluc¸a˜o dos problemas mencionados sera˜o obtidos durante a execuc¸a˜o das pro´ximas etapas do processo de extrac¸a˜o.
O vocabula´rio bil´ıngue extra ´ıdo pode vir a ser empregado, ainda, na traduc¸ a˜o de ontologias existentes na a´rea de Engenharia de Software. Conhecida a natureza multil´ıngue do desenvolvimento global de software, torna-se importante que estas ontologias encontrem-se dispon´ıveis em mais de um idioma.
A utilizac¸a˜o de servic¸os de traduc¸ a˜o simultaˆnea de ma´quina, considerada como uma soluc¸a˜o alternativa ao ingleˆs durante reunio˜es de equipes distribu´ıdas, tem seu desempenho comprometido devido a` problemas de traduc¸a˜o de ma´quina, dentre os quais destacamse os apresentados na sec¸a˜o 2.
Entre os diferentes tipos de problemas observados, optou-se por priorizar aqueles relacionados ao vocabula´rio, para os quais a soluc¸a˜o proposta consiste na construc¸a˜o de um vocabula´rio multil´ıngue das pr a´ticas usuais do processo de desenvolvimento de software.
No entanto, como apresentado na sec¸a˜o 3.2, a construc¸a˜o de um vocabula´rio multil´ıngue depende da exist eˆncia de um corpus multil´ıngue previamente compilado. Neste trabalho, identificamos os recursos dispon´ıveis para a construc¸ a˜o deste vocabula´rio.
Em relac¸a˜o a` primeira etapa deste trabalho, o principal resultado obtido foi um conjunto de materiais formado por um corpus multil´ıngue, composto por manuais de software, conjuntos de vocabula´rios referentes ao dom´ınio, e registros ( logs) de comunicac¸a˜o entre desenvolvedores.
Uma vez o corpus compilado, as pro´ximas etapas consistem na aplicac¸a˜o de me´todos de extrac¸a˜o de vocabula´rio multil´ıngue (baseados em corpus paralelo), sobre o corpus constru´ıdo, seguida da avaliac¸ a˜o manual do vocabula´rio extra´ıdo.
ISO/IEC/IEEE (2010). Systems and software engineering – vocabulary.