Pedro Rez's dos Santos GustavoRui Instituto Superior Tcnico Crespo Instituto Superior Tcnico Pedro Rez's dos Santos 473098AD266640FF17E82631842EE0AA GROBID - A machine learning software for extracting information from scholarly documents

0 desenvolvimento de software ainda uma tarefa exigente para os engenheiros de software apesar das ferramentas e ambientes de desenvolvimento existentes. A escolha de componentes para reutilizao, quando existem solu6es alternativas, frequentemente intuitiva com base em critrios subjectivos com origem na experincia anterior. Este trabalho prop5e a utilizo de identificadores, obtidos nos diversos assifica4!;;:go e Selao de Componentes m Projectos de gofrware llntmdul!;;:do A reutilizao de software 6 quase to antiga como o pr6prio software. Os sistemas operativos so um dos primeiros exemplos de reutilizao em larga escala. A reutilizao de software pode aumentar significativamente a qualidade e a produtividade \pi \=01

Factores dominantes na reutilizao de software incluem a existncia de componentes de alta qualidade e de confiana, a exist8ncia de um processo de desenvolvimento de software comum e um ensino que promova a reutilizao. O ensino da reutiliza5o pode ser visto como o motor de todo o processo, mas no pode s6 por Si produzir resultados significativos, necessitando de suporte apropriado. Esse suporte deve

componentes candidatos a reutilizao, classificando"os por forma a realizar testes comparativos Que permitam urns escolha mais esclarecida A mesma tcnica utilizada para permitir detectar inconsistncias, entre diversas fases do mesmo processo de desenvolvimento, pol comparaVo dos atributos usados na classificao. ser construido em tomo de um processo de desenvolvimento de software comum por forma a poder guiar um engenheiro de software experiente (treinado). No entanto, a existSncia de componentes de alta qualidade no depende Dem do processo de desenvolvimento de software Dem do engenheiro. Contudo, o processo de desenvolvimento de software deve ajudar o engenheiro na tarefa de identificar Os componentes de alta qualidade. Desta forma, o maior esforo deve ser colocado em ______________________________________________________________________ O objectivo deste trabalho reside em descrever componentes de software por dos restantes casos on era inconclusiva ou indnzia conclns6es menos correctas e precisas. pouca aten5o aos problemas de engenharia de software, nomeadamente aqueles que envolvem a reutilizao.

________________________________________________________________________
Conclus8es

A escolha de uma hierarquia provou ser igualmente acertada pois perrnite de uma forrna simples e intuitiva obter a informaVo da sitnao. A comparaVo dessa informao entre os vios casos permite obter respostas com significado real. Esta soluo iambm especialmente atractiva pois a maioria dos engenheiros de software es familiarizado com grandes estruturas de dados deste tipo como o caso dos sistemas de ficheiros. A existncia de vos niveis de profundidade e o significado fisico do caminho da origem at um deterrninado ficheiro so analogias especimente teis na utilizao do sistema.

Uma representso grca da hierarquia poder contudo, vir a melhorar_____________

1 30Enwntro Nacianal para a Qualidade mas Tecnologias de Informao e ComunicaSes Umiversidade do Minho 46 de Novembro 1998
30Emcontro Nacional para a Qualidade mas Tecnologias de Informal!;do e Comunica9Ses UnJversidade do Minho 46 de Novembro 1998 2 treinado aumentar a reutilizao e a qualidade da mesma atravs da correcta identificao|I A represent&o e especificao de componentes de software reutilizveis exige t6cnicas de classificaVo Que permitam de uma forma automtica ou assistida a seleco dos mesmos. A seleco s6 poder set automatic& se os requisitos corresponderem precisamente s caracteristicas dos componentes. Caso contro, ter-se de encontrar os componentes Que mais se aproximam dos requisitos e alteros subsequentemente. Por vezes as caracteristicas que descrevem os componentes esto incorrectamente Existe pois uma necessidade para um motor de busca que permit& seleccionar um dos sintomas do doente.
significativamente, no futuro, a sensibilidade e poder de assimilao.O sistema proposto permite obter resultados conclusivos de uma forma rdpida, uma vez que o processo de extrao pode ser feito de uma forma automtica e a analise Se limita a um sub-conjunto da informao extlaida. No caso dos projectos serem excessivamente glandes a informao pode ser muito vasta para que uma primeira anise possa ser conclusiva, levando mais tempo a obter respostas I:iteis~ No entanto, nestes casos a anise do c6digo propriamente dito Selia tambm muito mais morosa. Esperamos que a experincia na utilizao do sistema permita identificar um conjunto de opera6es mais complexas, mas que permitam obter resultados mais rapidamente. No entanto, pretende-Se que a anise no Se baseie numa s6 busca mas que o engenheiro de software tenha a oportunidade de obter uma viso geral do componente pol forma a realizar uma escolha mais esclarecida. 30 Encontro Nacional para a Qualidade nas Tecnologias de Informa(!;;6o e ComunicaC6es Universidade do Minho 4-6 de Novembro 1998 ,8
30 Encontro Nacional para a Qualidade nas Tecnologias de Informa5o e ComunicaC6es Universidade do Minho 46 de Novembro 1998 3 ssificaCSa e Seleca de Campanentes Prajectas de Saareorma a perruitir pesquisas automaticas e buscas manuals esclarecidas, a fim de;eleccionar o componente Que melhor se adaptenecessidades. A componentehumana foi especialmente tida em conta uma vez que pessoas ou t6cnicas de trabalhospouco software se pode considerar completamente estavel e no sujeito a alterao,excepto quando j est completamente ultrapassado e consequentemente intil. Emboraexistam tcnicas que permitam manter a documentaosincronizada com o c6digo, estasexigem vastos recursos humanos o Que aumenta o custo e o tempo de desenvolvimentodo produto. For outro lado, a documentag5o 6 dificil de analisar com o auxnio de_____
Os componentes de software podem ser descritos a diversos m veis Que podem ir desde os requisitos ao c6digo propriamente dito. A forma mais simples de descrever um componente 6 textualmente, em portugues ou ingls, normalmente sob a forma de manual. Esta pode ser uma forma aceitvel para componentes de alta qualidade e que exibam uma elevada estabilidade temporal. No entanto, mesmo nestes casos, frequentes erros de interpretao conduzem no s6 a uma selec5o menos boa como a uma utilizao incorrecta [7], Mais frequente contudo, a discrepcia entre a conteddo do manual e o Que o software realmente faz. Este facto 6 especialmente preocupante quando surge em produtos ditos de qualidade. A documentao representa frequentemente aquilo Que Se Pretende Que o produto realize e no aquilo Que ele efectinamente faz. For outro lado,
30 Encantra Nacianal para a Qualidade mas Tecnalogias de Infarmai!;;ga e CamunicaCSes Universidade do Minha 46 de Novembro 1998ferramentas, com o objectivo de identificar certos paretrosChane.Tcnicas de classificaooferecem uma forma simples e titil de catalogarcomponentes de software. Esquemas de classificaosimples recorrem a t6cnicasenumeratinas, tal como o sistema decimal de Dewey, mas so muito vagas para^^Comparaode assinaturas, For outro lado, uma aproximao mais formal,beneficiando do facto de o software, mesmo que possa ser visto como texto, de factobastante estruturado. A ideia baseia"se em descrever os componentes ao nivel dainterface. Quando efectuado de uma form& simplista, a comparaolimita-se acaracten sticas sintacticas do componente. Um pouco semelhana dos mecanismos4
5 3o Encontro Nacional para a Qualidade nas Tecnologias de InformaS5o e ComunicaSes Universidade do Minho 6 de Novembro 1998 assificagSo e Seto de Componerdes n Projedos de Soareusados pelas linguagens para oferecer compilao separada. Solu6es menos restritivastSm sido propostas [25] por forma a eliminar restri6es sintacticas tais como a ordemdos paretros,composi8o de tipos agregados ou subtipifica&o. A comparao de tiposagregados definidos pelo utilizador, hierarquias de tipos, paretros Numa primeira aproximao toma-se necesso determinar qual a informao opcionais ouparetros re}evante e Que deve ser utilizada na descrio gen6ricos toma-se muito complicada sendo diflcil chegar a conclus6es do componente. A informao relevantedeve depois ser representada de uma forma compacta de tal forma que sejatrabalho descrito neste documento pode ser incluido neste grupo.
[ ____________________________________________________________________ 30 Encontro NacionaE para a Qualidade nas Tecnologias de Informai;;go e ComunicaC:Ses Universidade do Minho 46 de Novembro 1998 6 3 Descrig5o de Componentes significativamente mais fcil analisa qua analisar o componente propriamente dito. ^A abstraco uma tcnica fundamental para compreender e resolver problemas suprimem informao Que pode vir a ser importante. Alm disso, o realismo e pormenor A aproximaao descrita no usa, em princfpio, identificadores ou vistas prdefinidos. Na realidade, alguns identificadores, utilizados como pontos de entradas, so necessios. Desta forma os identificadores utilizados, no necessitam ser aqueles Que melhor Se aproximarn de entre Os disponiveis, mas os identificadores efectivarnente utilizados. A ansncia de estereotipos permite maior realismo e expressividade, facilitando a seleco manual mas dificultando a utilizaVo de mtodos automticos ou serni-automticos. Como o processo de classificaVo tern em conta o contexto em Que o__ 7 30 Encontro Nacional para a Qualidade nos Tecnologias de InformsG8o e Comunicaq;;Ses Universidade do Minho 46 de Novembro 1998 assifica4l;;:
8o e Seleco de Componentes n Projectos de Soare____________________ identificadortamb6m ser tratados como identificadores Que caracterizam outros identificadores e cujolDesta forma e possivel obter um modelo Que apresenta grande uniformidade eeconomia de conceitos. A uniformidadedtil poisde mais fcil compreenso eAs hierarquias so estruturas organizadas onde diferentes niveis de abstracoOs identificadores usados na descrio dos objectos so model&dos numaore,retendo uma referncia para a sua posiVo original no objecto. Estes identificadores,No entanto, o identificador pode no ser s6 por si esclarecedor, mesmo que o depois de caracterizados, continuam a exibir as associa6es dos objectos originais [31. AsHorne Que Ihe es associado o seja. De ial forma a informsVo de contexto onde o equivalncias representam, mama segunda fase, essas mesmas associa5es na ore Queidentificador se situ& pode no ser suficientemente esclarecedora. Para tal deve ser Se transform& num grafo [10]. So as equivalncias Que permitem descrever rela6es departilha barn como definir objectos como extens6es de outros [16]. Desta forma,8
6 utilizado, mesmo que Se utilizem terrnos diferentes para descrever o mesmo conceito estes sero armazenados em zonas adjacentes-Este facto facilita a inspeco manual pois existe o conceito de localidade. \ -\c ompo:nente. pOSSj[vel utilizar atributos que permitam esclarecer o comportamento ou a funcionalidade do identificador num dado contexto. Os atributos, apesar da sua funVo particular, podem 36 Encontro Nacional para a Qualidade nas Tecnologias de Informao e Comunica(;;Ses Universidade do Minho 46 de Novembro 1998 enquanto os identificadores designam as entidades originais e os sens valores, as9 30 Encontro Nacional para a Qualidade nas Tecnologias de Informai;:8n e ComunicaC:5es Universidade do Minho 4-6 de Novembro 1998 assificaq!;:a-o
e Seto de Componentes n Projectos de Soare equival8nciaspermitem a um identificador referir outro identificador.Alm dos identificadores e das equival6ncias que trabalham no doII1inio dos Domes existem ainda as referncias e os tipos Que trabalham no dominio doS valores. Uma refer6ncia permite a uma entidade referir outra e por vezes designada porponteiro" O tipo perrllite a uma entidade no dormnio dos vaiores referir um identificador no dornfnio dos Domes. Quer as referncias quer os tipos podem, normaimente, ser inferidos a partir dos dados originals. No entanto, caso estes estejam incompletos ou incorrectosComo o sistemabaseado na repeti80 de um conjunto de esmrsimples,com origem numaore de Domes, as ferramentas so tambm simples e compactas.Embora asores produzidas sejam a partida excessivamente grandes para permitir umaanise manual esclarecida s8o pequenas dadas as velocidades de qualquer modestocomputador pessoal. Para obter sub.-arVores de menores dimens5es que permitamresponder a perguntas especlflcas, so fundamentals trs opera6es base: determinao doPC contexto, qualificao do identiBcador e localizao-Uma quarta operao de busca podeindzOperaBes destinadas a obter o contexto de um identificador devolvem oconjunto de identificadores que constituem o caminho desde a raiz da arvore at6 aoOEidentificador em questo. Estas opera5es permitem construir uma nova vole em Que ode mesmo identificador surge em vOscontextos, para os poder comparar.cc Alternativamente, podem-se seleccionar vos identificadores de uma mesma vista comre o prop6sito de obter urn& representao mais compacta da mesma. Uma operao deVa qualificaode um identificador permite determinar os seus atributos, ou seja, osde identificadores do nine! imedintamente abaixo daquele onde Se situa. Desta forma pode-qt: Se enriquecer alguns identiflcadores com informaV8o adicional em detrimento de outrosmenos importantes para uma dada perspectiva de anise. A operao de localizaVo
___________________________________________________________________3o Encontro Nacional para LO a Qualidade mas Tecnologias de Informa(!;;:go e ComunicaBes Universidade do Mlnho 4-6 de Novembro :L998oferece o conjunto de identiflcador Que existem no mesmo nfvel de um dado ________________________________________________________________________
11 30 Enconbo Nadonal para a Qualidade mas Tecnologias de Informao e Comunica5es Universidade do Minhoassificacao e gelecofffo de ComDonentidentificador, para um determinado contexto. Consegue-se, com esta operao, obteruma viso mais riEorosa dos identificadores com cue este Se relaciona e entre Os auaisexiste, quase certamente, uma forte dependencia.Enquanto alguns modelos optam por oferecer um elevado nl{:imero de constru6ese de operaBes [2], neste trabalho optou'-se por oferecer um conjunto de primitivas Que
4-6 de Novembro 1998 S I Nem toda a informao do documento original convertida na representao de ____________________________________________________________________
3o Encontro Nacional para a Qualidade nas Tecnologias de Informao e ComunicaC:Ses Unfversidade do Minhoidentificadores. Em primeiro Ingar, parte da informao no est directarnente associadalpode no extrair a totalidade da informaVo, quer por limitaV5es do conversor quer porop6es de analise. Assim, podera, por nezes, ser necessorecorrer ao c6digo, masO dorninio dos identificadores nciona como uma sinara complexa docomponente. Alis esta tmicauma extenso a m6todos de assinaturas, que usamtcnicas muito mais simples com base em menos informaVo. Contudo, estas assinaturasUma anSesimples de contexto pode ser efectuada extraindo o conjunto deSe extendeOs o conceito terior a vvist, on conjuntos de contextos umpara cada vista, obteremos um sub -conjunto de contextos para o mesmo identificador.Pode-"se, assim, comparar alteraBes de ambiente de utilizaode um dado identificadornas vassituaBes.Se estas varias vistas representaremvlasfases dodesenvolvimento, estas varia5es podem ser indicativas de um determinado conceito estara ser utihzado com um objectivo numa fase inicial de especificaVo, mas medida Que o12de Novembro 1998
projecto evolui, ele vai sendo utilizado em situaJes diversas.
13 30 Encontro Nacional para a Qualidade Has Tecnotogias de Informao e ComunicacBes Universidade do Minke 46 de Novemblo 1998Quando o ntimero de identificadores que nos conduzem desde a origem do Este sistema nko oferece resultados quantitativos, no 6 baseado em nenhumlsistema at6 um dado identificador, ou seja o caminho at esse identificador 6 bastantegrande, temos uma informo gerada ou no compmento do co dethada sobre o sen contexto de ulizao. de um idenflcador no representFor ouo mtclado, se esse caminho for curto a informso disponibilizada pode ser manifestamente vidas. Estas observaJes podem depender de factores como estilo de programao ou ainsuficiente, Neste ti}timo caso poder ser necessio utilizar opera6es adicion&is para lingnagem utilizada. Esta aproximo baseada numa anise manual sendo precedidadeterminar o contexto de utilizao de um Ceo automatismo pa seleccion a ioao do identificador. Uma operao relevte, evitdo a consulta Que pode serefectuada 6 a operao de qualifico, exaustiva dos documentos. Como qualquer sistema Que seja dependente da experi8ncia Que permite obter um conjunto de atributos paraesse identificador. Pode-se desta forma determinar atravs dos sens componentes qual a humana, o sen sucesso esta directamente ligada com o treino e a capacidade desua utilizao, Uma outra forma de determinar complementarmente a inform&o de interpretao do engenheiro de soare Que o utiliza [14]. Por ontro lade, oferece nmcontexto usa uma operao grande manancial de informaode localizao de uma forma compacta e Que pode ser manipulada de para obter o conjunto de identificadores Queso usados no mesmo contexto. Estes identificadores podem permitir inferir atrav6s doambiente qu&I a utilizaodads ao identificador em questo. Se nenhuma destainform&o for suficiente para determinar a funcionalidade do identificador ento geldAl6m da inform&o de contexto poderemos obter infoaoms complexa,nomeadamente recorrendo a compara6es entre conjuntos de identicadores.Acomparao A mesma especificao foi dada aos vOs grupos, tendo cada grupo entregue uma dos atributos de um `determinado identiflcador em dois contextos, polexemplo duas vistas, podemos determinar Se alguma informsVio est a ser perdida ou especificaVAo em UML [4,51 com uma representao grflea das fases de anise eadicionada. Nesta tiItimo co,necesso verific se o aentodo nmero de abutoscontraria os requisitos ou no. E natural Que com a evoluio do sistema, e a medida Que duas partes. A parte de verificao de consistncia procurou identificar inconsistnciasopV!des vko sendo tomadas, o ndmero de atributos vd reflectindo esse enriquecimento pol com a especificao. A parte de inter-'operabilidade permitiu detectar qnal a facilidade deum aumento significativo do seu ndmero. Note-Se Que o sistema s6 por Si no permite trocar os m6dulos, entre as aproximaBes dispom veis. Da perspectiva dos estudantesestes testes representam uma medida da capacidade de interpretao da especificoe damanual Que perrnitir concluir Se esses atributos podem ser consider&dos correctos. Este modularidade do c6digo produzido. O teste consistiu, numa primeira fase, na extrao dassoluGJes de anise e desenho. Esta extraAo foi efectuada manualmente, embora alinguagem UML tenha sido desenhada para permitir um processamento automatico-Ou__14
tipo de conclusSes 6 extremamente dificil de introduzir em aplicaJes, mesmo recorrendo a mecanismos de intelig8ncia artifical ou program&o gentica. ______________________________________________________________________ 30 Encontro Nacional para a Qualidade has Tecnologias de Informaq;;:5o e ComunicaVSes Universidade do Minho 46 de Novembro 1998
15 30 Encontro Nacional para a Qualidade nas Tecnologias de Inform&o e ComunicaSos Univers5dade do Minholassificaoe Selecode Componentesm Projesde Soareseja pode ser compilada para efeitos de verifica6es de consistncia. No entanto, aindano foi escrito nenhum extractor para tal. A segunda lase da extrao do c6digo, emC++, utilizou um parser simples que extrai apenas algumas caracteristicas da lingua&em.Note-se Que asores obtidas a partir da extra5o do C++ s80 muito maiores Que as Quetm origem em UML, mas a linguagem especialmente complexa e modela uma fasefinal de desenvolvimento.O primeiro resultado foi obtido pela anSe directa daore resultante. Adimenso das arvores, embora no seja a partida uma mtfica valid perruite especularQuantocomplexidade e repetitividade da soluo. Assim,ores anorfflalmenteglandes estavam associadas a c6digo de fraca qualidade enquantoores muitoreduzidas representavam, norrflalmente, o incumprimento total dos requisitos. No entanto,casos houve em Que arvores de pequena dimenso representavam soluBes especialmentetrabalhadas e de boa qualidade.4-6 de Novembro 1998
A localizao de identificadores especfficos foi extremamente importante para ter uma ideia precisa da funcionalidade. No entanto, determinar quais cram os identificadores mais importantes e ficos em informao pode no ser simples, excepto em casos frequentemente estudados. Neste caso, a experincia anterior pefrfutia-nos saber de ante-mo quais seriam os pontos crfticos. A sua anlise foi, de facto, conclusiva para Esta aproximao provou ser especialmente dtil nos casos hem comportados, que representam a maiofia das soluJes apresentadas. No entanto, a perspectiva pouco usual
30 Encontro Nacional para a Qualidade nas Tecnologias de Informao e ComunicaC5es UnJversidade do Minho 46de Novembro 1998 16
Software visualization in the large ThomasBall E Stephen GEick IEEE Computer 29 4 Abril 1996 Software process model evolution in the spade environment SergioCBandinelli AlfonsoFuggetta CarloGhezzi IEEE Transactions on Software Engineering 19 12 Dezembro 1993 Split objects: a disciplined use of delegation within objects DanielBardou ChristopheDeny Object-Oriented Programming Systems and Applications 1996 The Unified Modeling Language for Object-Oriented Development GBooch IJacobson JRumbaugh Unified Modeling Language Semantics. Rational Software Coporation. edio 1 GBooch IJacobson JRumbaugh
Janeiro
 Setembro 1996. 1997 0 A taxonomy of programmers DavidBoundy Documenting frameworks. Em 8th Annual Workshop on Software Reuse GregButler PierreDenomme
MarGo
 Outubro 1991. 1997 16 Enconbo Nacional para 19 a Qualidade nas Tecnologias de Informao e ComunicaBes Universidade do Minho 46 de Novembro 1998 iassifica1i de Companentes n Prajectos de Softwa da e Seleel Identifying and qualifying reusable software components GianluigiCaldiera E Victor RBasin IEEE Computer 24 2 Fevereiro 1991 Identifier based representation and management of software components PedroReis Santos Em Workshop on Modeling Software Processes and Artifacts Junho 1997 Ila ECOOP Link Architecture for a Global Inforrnation Infrastructure R-VanJeffrey Dyke Tese de doutoramento
Jumbo
 1995 Massachutts Institute of Technology Sixteen questions about software reuse BWilliam JFrakes E Christopher Fox Communications of the ACM 38 6 Junho 1995 C++ Primer BStanley Lippman 1991 Addison-Wesley Reading, MA, USA, 2a ediVo The social implications of computarization: Making the SteveMcconnell ;Michael CMcfarland Pietro'Di Reorganizing split objects. Em Object-Oriented Programming Systems and Applications HemAstudillo R Novembro 1996. 1989. Maio 1991. 1996 13 technology more humane. Em 26a ACM/IEEE Design Automation Conference Toward synergistic engineering of 3D Encontro Nacionat para a Qualidade nas Tecnologias de Informao e ComunicaC6es Universidade do Minho 4-6 de Novemblo 1998 20 -distributed applications with separation of concerns JerzyWRozenblit SanjayaKumar Em Asia-Pacific Software Engineering Conference Digital Equipment Corporation 1995 The C++ Programming Language BjarneStroustrup 1991 Addison-Wesley Reading, MA, USA, 2a edio Program comprehension during software maintenance and evolution AnnelieseNon Mayrhauser E AMarieVans IEEE Computer 28 8 Agosto 1995 Toward a discipline of software engineering AnthonyIWasserman IEEE Software 13 11 Novembro 1996 Signature matching: a tool for using software libraries MWein WmCowan E WMGentleman GustavoSantos E Rui ;Crespo MWing Assisted Selection of Components using Classified Identifiers. 7th Conference on Information Processing and Management of Uncertainty in Knowledged-based Systems HPozewauning AMili RMill
Maro
 1992. Julho 1998. Julho 1998 4 Visual support for version management de Hovembro Emcontro Nacional Pam a Qualidade mas Tecnologias de Informao e Comunicec:aes Universidade do Minho 1998 46