Controlo da Evolul!;;:8o de Sistemas Legados|I Miguel Goulão Fernando Brito e Abreu INESC Femdo Bto e Abreu António Silva Monteiro Alberto Bigotte de Almeida DAMAG Resume No aito de u inz"cz.ativa de reorganiza80 do processo de desenvolvzmento de soare na Man`nha Portuguesa, desenvolveu"se um sistema de rastreio de aco-es de enolu5o implementado sobre a intranet da organz.zado, com vista a melhor controlar a evolu.a-o de sistemas Le&ados.A arquz.tectura desse sz`stemae o modo como os dados relatinos a` evoLuBo de um conjunto de sistemas legados sa-o utilzZados para melhor compreender o processo sera-oabordados. Uma analise detalhada sobre a definza-o de um modelo de estimaVa-ode eoro com base na complexidade envolvida na execudo de acVo-esde manutenao serd aqui apresentada. A evolua-o das soluo-es de desenho utz"Iz"zadas hd uma de"cadana organz.zado, face `asadoptadas correntemente serd tambem objecto de eso. Palavras Chane: metricas de soare, rastrez.o de aco-es de evoludo, modeLos de 30 Encontm Nacional Darn 1 a Qualidade Has Tecnologlas de Inform&o e Camunical;;6es Universidade da Minho 6 de Novembro 1998 53 ,~. - ,_ A ,comunidade cientifica reconhece desde h muito a necessidade de aplicar mtodos quantitativos ao controlo da actividade de evoluo de software. So conhecidos OS efeitos nefastos de abordagens baseadas apenas na experi8ncia dos gestores: diflculdades na previso do esforo, custo e prazos adequados para a realizao de deterrninadas acV6es de evolu5o. Consequ8ncias tais como a entrega tardia do software aos utilizadores fmais, degradao da sua qualidade e necessidade de reforVar a equipa de desenvolvimento para controlar desvios face ao previsto inicialmente, so comuns. Todas estas situaBes acarretam prejuizos importantes para as organizaJes, o Que as conduz a motivao de desenvolver mtodos de trabalho Quemimrnizem Estes problemas. Um estudo recente acerca da avahao da qualidade do software na Europa[Punter98], quer ao nfvel do processo de desenvolvimento, quer ao Ilivel do produto em si, revelava Que uma percentagem elevada (superior a 75%) das organizaJes produtoras de software estavam envolvidas em iniciativas de avaliao da qualidade do software e do sen processo de desenvolvimento, procurando encontrar formas de melhorar este l:iItimo. A amostra foi constituida com base em dois inquritos realizados em 1997 aos quais responderam um total de 55 organizaJes, cerca de I/6 das organizJes contactadas. Um dos dados retirados deste estudo era a necessidade Que as organizaJes sentiam em ganhar confianVa no software e sen processo de desenvolvimento. Enquanto consumidoras, para poderem escolher as melhores altemativas entre produtos concorrentes. Enquanto produtoras, para melhor gerirem os riscos inerentes aos projectos e para ganhar aceitao entre potenciais clientes. Ao mvel de organiza6es estatais portuguesas, so poucos os casos conhecidos em QueSe esto a desenvolver projectos de melhoria do processo de software suportados For iniciativas de recolha de dados quantitativos sobre o mesmo. _____________________________________________________________________ 30 Encontro Naclonal para 2 a Qualidade nas Tecnolegias de Informa9go e ComunicaCl6es Universidade do Minho 46 de Novembro 1998 54 processo de software. Este projecto realizado com a colaborao do Grupo de SC)" Nesta fe de esdo e desenvolvimento, for seleccionados 4 sistem de inforrnao de pessoal desenvolvidos internamente pela DAMAG utilizando COBOL e SQL-DS nnm sistema proprienirio, dos quais se apresentam aqui alguns dados, na Tabela Sistema de No de ADO de enada em Fe O O A abordagem a esta evoluo do processo assenta, em primeiro Ingar, na criao de uma cultura diferente na organiza8o. F dado particular relevo a necessidade de registar, de forma fidedigna e suficientemente detalhada as acJes de evoluo dos sistemas e o respectivo esforo envolvido na sua realizao. E neste contexto que surge o Sorack (Soe Deft Repo d System Tracng), um sistema desenvolvido neste projecto a fim de suportar o rastreio de acJes de evolu3o. Um requisito para o SofTrack era a sua disponibilizao atravs da Intranet da Marinha Portnguesa dada a disperso___ 30 Enconbo Nacional para 3 a Qualidade masTecnologias de Informsq;;doe Comunicaes Universidade do Minho 6 de Nonembro 1998 55 0 SofTrack 6 tarnbm usado no acompanhamento da evoluo do software, atrav6s da anse do c6digo foute ao longo de diferentes vers5es. Esta ise inclui a extraco de mtricas de complexidade do software e a produo automatizada de A anSe das m6tricas de complexidade extraidas permite urns comparao entre as prdticas de programso utilizadas em diferentes sistemas, apesar das tecnologias de base serem as mesmas. A combinao entre a variao das mtricas de complexidade e o esforo registado para as ac6es Que as originam 6 a base para a proposta de um modelo Os relat6rios produzidos com base nos dados recolhidos com o SofTrack constituem assim uma fonte de informao valiosa, no planeamento de acBes de evoluo. Fornecem informao quantitativa Que visa reduzir a subjectividade com Que o planeamento seria tradicionalmente efectuado, ajudam a manter o processo controlado e contribuem para a deteco de oportunidades de evoluo no processo de software. Este documento est orgzado do Seinte modo: Na seco 2, ser descrita brevemente a arquitectura do Softrack. A terceira esforo com base na complexidade das ac6es de evoluo. So apresentadas limita6es do modelo, hem como ac6es possiveis para as erradicar. Segue-Se um estudo comparativo dos sistemas analisados, na quarts seco, com base nas m6tricas de complexidade recolhidas, em Que Se identificam mudanas na forma como Os sistemas for desenvolvidos, apes de tecnologias usad serem semetes. Finalmente, apresentam"se algumas conclus6es sobre o trabalho efectuado e perspectiv Se as lias de evoluo do projecto. 30 Encontro Nacionai para 4 a Qualidade nas Tecnologias de /nformago e Comunica96es Unlversidade do Minho 46 de Novembro 1998 56 2. Arquitectura do SofTrack Todo o processo de recolha de dados assenta num sistema de rastreio de acJes de evoluo desenvolvido no bito deste projecto, o SofTrack. Este sistema, descrito em "";, [Monteiro99], pretende dar uma resposta necessidade de implementar um mecanismo de rastreio de acHe de evolu5o num ambiente geograficamente distribuido. O SofTrack est implementado sobre a Intranet da Marimba Portuguesa. Assenta num servidor Web com o sistema operativo Windows NT 4.0 e o Internet Information Server 4.0 (TIS). As potencialidades do HS so extendidas atravs de um componente que perrnite o suporte a serv/etsl em Java (ServeltExec for Windows). L!SCOPE PRODUCT S UC RE REPOS DRY Figura 1 - Arquitectura do SofTrack Os flcheiros de c6digo-route, residentes no SCR (Source Code Repost-to), so submetidos s ferramentas Logiscope [Verilog93l e Samaritan instaladas numa Workstation Unix. I Servlet - Aplicao independence da plataforma, escrita de acordo com a Java Selet I Que petmite extender um Set.vidorH, implementando Set.viOs. , , 3o Encontm Nacional para 5 a Qualidade Has Tecnologias de Informao e ComunicaCSes Universidade do Minho 6 de Novembro 1998 57 componentes (grafos de controlo), hem como a obteno de m6tricas de complexidade do produto, incluindo a complexidade textual [Halstead77] e estrutnral [McCabe76]. 0 Samaritan 6 uma ferromanta qua permite a gerao de documentao acmizada acerca dos sistemas em anise, com base nos ficheiros de c6digo-fonte. A document&o gerada 6 organizada no PSR (Product Structure Repost.to) e apresentada em pginas HTML, Permitindo uma fcil navegao entre alas. A inform&o disponibilisada contempla a estrntura e implement&o do sistema, incluindo informa8o acerca das opera6es de Os dados associados ao processo so recolhidos atrav6s do RAPE (Registo e Anise de Pedidos de Evoluo), o sub-'"sistemaque suporta .o registo dos pedidos de evoluo dos sistemas de informao [Goulo98]. 0 SofTrack permite ao utilizador seleccionar os pedidos, verificar o sen estado de atendimento, e submeter monos pedidos de evoluo- Adicionalmente, para a equip&de manuteno, dado acesso inform&o sociada evoluo e seguimento do pedido, at ao sen enceento. A ferramenta SPSS 6 usada na anise estatistica das mtricas do processo e de produto. disponibilizada inform&o de controlo dos projectos, atrav6s de relat6rios A arquitectura clienteeidor do Somck implementada recoendo a um servlet, responsvel pela gesto da interacVo entre o utilizador e o SofTrack. Este 6 resPonsvel pela implementa5o da politic& de segurana do SofTrack, associando previl6gios de utilizaVo aos grupos de pginas HTML a qua o utilizador dever tar ____________________________________________________________________ 3o Encontro Naa`onal para 6 a Qualidade nos Tecnologias de Informao e Comunicai!;:5es Universidade do Minho 6 de Novembro 1998 58 3. Modelo de estima(!;;dode esforo 3.1..Intmduo Intmtivamente, 6 expectvel Que a complexidade de uma deterrninada aco de evoluV:o se reflicta no esforo necessario para a executar" Nesta seco sera descrita a abordazem metodol6ca se ida no bito deste Proiecto Dara a verificaco desta do Modelo Se a escolha da variavel dependente trivial (afinal, pretende-Se estimar precisamente o esforo), j a seleco de um conjunto de estimadores adequado envolve uma reflexo As mtricas de complexidade recolhidas reflectem diversos aspectos da complexidade do software. No entanto, veriflca-Se que esses aspectos no so completamente independentes entre si, isto 6, algumas das mtricas de complexidade apresentam uma 3o Encontro Nacional para 7 a Qualidade masTecnologias de Informao e ComunicaCSes universidade do Minho 4-6 de Novembro 1998 59 Um Segundo problema no conjunto de m6tricas 6 o do sen elevado numero. Avaliar a complexidade de uma alterao com base em algumas dezenas de indicadores uma tarefa semelbante tomada de decis5es com base em mdltiplos critrios. Tipicamente, de acordo com alguns critrios, um m6dulo A mais complexo do que um m6dulo B, acontecendo precisamente o contro se considerarmos outro grupo de critrios. accesso estabelecer uma forma de pesar Osdiversos crit6rios em jogo. 30 Enconm.oNacional para a Qualidade mas Tecnologias de Informscdo e ComunicocSos Universidade do Minho 4-6 de Novemb 1998 60 Cantrolo da '.., "^. O terceiro problema Que de certo modo deriva do Segundo, o de Que diferentes m6tricas de complexidade utilizam diferentes escalas para Os respectivos valores, o Que . obriga a uma operao de transforma&o dos mesmos, neste caso uma padronizao, de modo a Que todos possam ser utilizados na construo de um 6nico modelo. - A flrn de dar resposta a estas quest5es, decidiu'-se utilizar uma tcnica estatistica denominada Anise Factorial em Componentes Principais sobre os valores padronizados ^ . _______________________________________________________________________ 3o ]EmennboNacianal para 9 a Qualidade nas Tecnalagias de Informao e CamunicaBes Universidade da Minna 4-6 de Novembro 1998 61 mtrica contempla. Tal resulta essencialmente, da elevada correlao entre as mtricas e a dimenso do m6dulo respecno- Postas teores considem5es, pode-se ento apresent o seinte modelo, destes modelos pode ser encontrada em [Arroja39} e [Ban92]) e considerando 41 EsforOi = bo+ bl * Fl i + b2 * F2i + Os coeficientes bj foram estimados pelo mtodo dos mjuimos quadrados Que nos garante estimadores com todas as propriedades desejadas, isto , lineares, centrados, eficientes e consistentes (convergentes), de manor varicia. `borepresenta o valor do esforVoprevisto pelo modelo quando os Factores Fl e F2 s&o nulos (note-se Que estes factores esto padronizados, podendo assim assumir valores positivos e negativos). bl e 82 s&o os coeficientes de estimao para as variveis independentes. E o erro aleat6rio, tarnb6m conbecido como termo estocstico, Que explica o facto de uma determinada proporo da variao na varivel no ser explicada no modelo. A excluso de F3 do modelo resultou do facto de a sua contribuio para a explicao da variao do esforo ser aproximadamente nul isto b3 = 0. Neste caso, o modelo pode ser instanciado com os paretros apresentados na Tabela 3. Coeficient Estimativ Erro Padro Estatistica t Significci e a (5%) a bo 6,682 0.44.221 0.000 bl 3.104 1.060 2.928 0.006 b2 8.522 0.587 14.508 0.000 Tabela 3 - Pmeos do modelo ______________________________________________________________________ 3o Encontro Naciona) para 10 a Qualidade nas Tecnologias de Informa(!;;;doe Comunica9Ses Universidade do Minho 6 de Novembro 1998 62 signiflcativos e posifivos. Isto reflecte Que um aumento de qualquer dos factores de complexidade Se traduz For um aumento no esforo estimado. O erro padrAo(e) permite o estabelecimento de intervalos de confianVa do tipo ]bi - ei; bi + ei[, com um grau de ' certeza de 95%. O teste de significcia estatistica dos valores dos coeficientes de regresso individuais, atrav6s do cculo dos valores da estatfstica t e o teste bicaudal de significcia indicam uma baixa probabilidade de os coeficientes serem igDais a O, na Na Figura 2 o eixo horizontal do grco represent&a complexidade da alter&o e no vertical o respectivo esforo, em homens.bola. As etiquetas junto aos casos contEm o Para saber at6 Que ponto o colectivo das varivets independentes exphcam a varivel" dependente, pode-Se calcular o coeficiente de determinao (R2)"Este modelo apresenta um R2 de cerca de 85.1%, sendo o sen valor ajustado (R2Ajusmdo) de 84.390. 0 valor ajustado d uma ideia m&ispr6xima da variao explicada do esforo, por entrar em , ., ~ cont&com o numero de vanavels mdependentes (o valor de R- tende a ser mflacclonado pelo ntimero de varieis independentes). Tomando o valor ajustado, temos Que apenas 15.7% (100% - 84.3%) da variao do esforo no explicada pelas variveis da equao (Fl e F2). 30 Encontro Nacional Darn 11 a Qualidade nas Tecnologias de Informao e ComunicaBes Universidade do Minho 46 de Novembro 1995 63 Figura 2 - Esforo previsto vs esforo restado F extremamente improvvel Que a correlao mtiltipla (R), ou seja, a correlao entre o esforo e as variveis independentes (Fl e F2) em conjunto seja O, como comprova o teste F. Com um valor de significcia de 0.05, o valor do teste F (108.561) &present&dopelo modelo muito superior ao valor critico de F(2.38) = 3.23 For outras palavras, est assegurada a significcia estatistica da equao como um todo. Para demonstrar a inexist8ncia de autocorrela5o entre Os termos estoBsticos recorreu'-se ao teste de Durbin-Watson. Tomou"se come hip6tese nula a inexistEncia de autocorrelao entre os termos estocticos (Ho: p = 0) e por hip6tese alternativa a existncia de autocorrelao (Hl: p O). Para 41 casos analisados (n) e 2 vanveis independentes (k), define-Se a partir dos valores cnticos (dl - valor cntico inferior; d - valor cntico superior) retirados da tabela 3o Encontro Naa`onaE para 12 a QuaEidade Has TecnoEogiasde Informal;;do e Comunicall;;Ses Universidade do Minho 46 de Novembro 1998 64 da estanstica de Durbin"Watson (5% de significcia; dl = 1.2; du = 1.4) o Sente "p ]du, 4 - du]= ]1.4, 2-6] O valor da estatistica de Durbin-Watson (2.079) enquadra-se no intervalo de valores associados aceitao da hip6tese nula (ver Figura 3). For consequEncla 6 de adnlitir Que a eflciSncia dos estimadores obtidos pelo mtodo dos minimos quadrados, dada a inexist8ncia de autocorrelao entre eles. p>O (*) p=0 (*) p<0 O dl do 2 4-do 4 ^ (*) Teste inconclusivo Figuf a 3 - Tornado de decis5o no teste de Dnrbin-Watson , ________________________________________________________________________ 30 Encontro Nacional para 13 a Qualidade nas Tecnologias de Informa9So e Comunica9Ses Unlversidade do Minho 46 de Novembro 1998 65 Com base no modelo apresentado, interessa agora verificar o grau de conformidade com os valores reais do esforo face previs5es produzidas. A Figura 4 apresenta o esforo efectivo numa determinada acVo de evolu&o, qnando comparado com o respecno esforo eSmado. estimado relativamente grande. Certos factores Que pesam no esforo no so reflectidos pelo modelo apresentado, isto a quantificaVo da complexidade das acJes de evoluVo n5o pode ser considerada completa. Isto porque apenas dispomos de ferramentas para analisar a variao da complexidade do c6digo fonte produzido em COBOL, o Quenos permite analisar apenas parte das alteraJes. Note-Se Queestas podem envolver modifica5es ao mvel dos acessos da base de dados, pol exemplo, atravs do c6digo SQL embutido no COBOL. 'Presentemente, ainda no foi desenvolvida uma forma de quantificar o esforo relacionado com esse aspecto da complexidade da alterao. Um problema semelhante ocorre no que diz respeito a modifica6es nos paineis, que est&o tamb6m codificados noutra linguagem (ISPF), pelo Que essas alterJes tambm no esto a ser considerad no modelo. "No menos problemtica para a definio de um modelo, a efici8ncia das pessoas envolvidas na aco. Ainda Que fosse possfvel uniforruizar factores como a experi8ncia dos programadores, o sen conhecimento dos sistemas Que esto a mantel, a eficcia (qualidade das alteraJes produzidas) e efici8ncia (celeridade com Que as evoluJes so desenvolvidas) dos mesmos varia de pessoa para pessoa. Em [Brooks75] e [Sackrnan68l, so referidas variaJes de uma ordem de grandeza na produtividade de programadores experientes. O crescimento da amostra pela incluso de novas acJes de manutenVo tender a diluir um pouco estas discrepcias, contribuindo assim para a 3o Encontro Nacional para 14 a Qualidade nas Tecnologias de Infomlao e ComunicaC5es universidade do Minho 46 de Novembro 1998 66 Contm,o da 40 Homenls.MOra 30 20 Figura 4 - Diferen entre o esforo efectivo e o esforo estirnado Por estas raz5es, para a construo deste modelo forarn postos de lado alguns casos Que apresentavam valores extremos, normalmente pot as acBes de evoluo incidirem bastante s-obre os aspectos do c6digo fonte que n8o puderam ser inclufdos no modelo ________________________________________________________________________ 3o lEncontm Nacional para 15 a Qualidade nos Tecnologias de Informao e ComunicogSes Universidade da Minho 4-6 de Novembro 1998 67 Os sistemas analisados t8m em comum o facto de terem sido desenvolvidos num arnbiente que no essencial 6 semelhante, em particular no tocante ferramentas de desenvolvimento utilizadas. A natureza dos sistemas tarnbem comum, uma vez Que todos so sistemas de inform&o sobre o pessoal, embora cada um incida sobre uma vertente particular da inform&o. Como factores de diferenciao, merece destaque o facto de terem sido desenvolvidos por equipas diferentes e ainda o facto de um deles ter 1: 1 \ ____________________________________________________________________ 30 Encontro Nacional para 16 a Qualidade nas Tecnologias de Informao e ComunicaBes Universidade do Mlnho 46 de Novembro 1998 68 Saltos Incondicionais 1393. .000 ans de 610.2 .000 Complexidade 412.4 .000 Essenci Quebras na 103.5 ,000 sequncia Tabela 4 Ane de varicia de m6tricas de produto ^ Em qualquer dos casos, a anse de varicia permitenos afirmar Que existe uma elevada probabilidade de associao entre o sistema considerado e a diferena de m6dias dos valores destas m6tricas. ' Na Tabela 4, pode-Se observar para cada m6trica, o valor da estatistica F e o nfvel de sigufficcia do teste. Sabendo Que F representa a razo entre a varicia estimada entre gmpos (explicada) e a varicia dentro dos pr6prios grupos (erro), sendo os grupos o sistema implementado h uma d6cada e os mais recentes, isso significa Que 6 pouco provvel Que as diferenas encontradas sejam devidas ac acaso, para as m6tricas aqui apresentadas. A amostra continha 2071 m6dulos. Uma aniUise variao da mdin destas mtricas veio confirmar que as evolu5es registadas vo de encontro a uma maior qualidade no desenho e facilidade de manuteno. A ideia dominante 6 a de que a complexidade dos m6dulos criados 6 menor nos sistemas mais recentes. Tal no implica que os sistemas em si sejam menos complexos, mas apenas tuna redestribui&o da complexidade entre os vos m6dulos. Uma leitura dos valores m6dios das mtricas para o sistema mais antigo face m6dias para Osmais recentes permitiu register como factor positivo o quase desaparecimento dos 30 Encontro Nacional para 17 a Qualidade nas Tecnologias de Inform@o e Comunica9Ses Universidade do Minho 46 de Novembro 1998 69 deve ser evitados to quto possfvel. 5. ConclusSes e trabalho futuro Apresentou"-senesta comunicao uma experincia Que tern vindo a decorrer na Marinha Portuguesa em Quea utiliza&o de mtodos quantitativos est a contribuir para uma melhor compreenso do processo de desenvolvimento. As indica6es fomecidas pelas mtricas de software recolhidas potenciam a adopo de medidas informadas no sendo da melhoa do processo de soe. Descreveue brevemente o Sorack, sistema Que tern vindo a ser desenvolvido e utilizado no bito deste projecto para dar suporte computacional a esta iniciativa. A pr6pria concepo e desenvolvimento do SofTrack apresentam um desafio em Si, dada a da implement&o de meios formals para o registo de ac5es de evoluo, um Corie importante com a inexistncia de um formalismo Que permitisse de forma eficiente recuperar inform&o relativa evoluo dos sistemas, no tocante ao Que foi feito, quando, porqu, por quern e com quanto ,esforo, na evoluo dos sistemas. Esta modiflcao tern como reflexo a possibilidade de cruzar a informo recoIhida com o p:APE com as mtricas de complexidade de produto, a fim de encontrar a relao entre a complexidade de uma aco de evoluo e o esforo Dela envolvido. Essa relao fol explorada no modelo de estimao do esforo aqui apresentado, modelo esse Que continuar a ser ajustado a medida Que forem sendo registadas novas ac5es de evoluVo, de modo a tomSe cada vez ms fivel. O modelo dever 30 Encontro NacionaE para 18 a QuaEidade masTecnoEogias de Informao e Comum!ce(;;aes Umiversidade do Minho 46 de Novembro 1998 70 posteriormente ser emiquecido com informa8o acerca da complexidade das altersJes p um estudo sobre a atribuio de pesos diferentes para diferentes programadores, com base na sua produtividade em ac5es anteriores, para reflectir a discrepcia proveniente, por exemplo, da experi8ncia de cada um tanto como programador como em reinko ao sistema em causa. Finalmente, apresentou-se ainda uma utilizo das mtricas de complexidade do produto para uma melhor compreenso sobre a evoluo das solu5es de desenho utilizadas num sistema desennolvido cerca de uma dcada, em relao as que esto a ser usadas nos sistemas correntemente em desenvolvimento. Esta anise revelou um aumento do 1mow- how dentro da orgamzao, traduzido por uma utilizao mais reduzida de solu6es Que contribuem para uma m estruturao do c6digo, como sejam Os.SaltoS incondicionais. ________________________________________________________________________ 3o Encontm Nacional para 19 a Qualidade nas Tecnologlas de Informao e ComunicaSes Universidade do Minho 6 de Novembro 1998 71 [Arroja93] Arroja P., "Mtodos Economtricos", ISEGI, 1993. [Brooks75] Brooks, F., "The Mythical Man"Month - Essays on Software Engineering", Addison-Wesley Publishing Company, 1975. [Bryman92] Bryman, A., Cramer. D., "Anise de Dados em Ci8ncias Sociais", Celta Editora 1992. [Goulo98] Goulo, M., Monteiro, A., Martins, J., Bigotte de Almeida A., Brito e Abreu, F., Sousa, P., "A Software Evolution Experiment", ESCOM-ENCRESS98, Roma 1998. [Halstead77] Halstead, M", "Elements of Software Science", Elsevier North-Holland, - New York 1977. 11 [Johnston84] Johnston, J., "Econometric Methods", 3a Edio, McGraw-Hill; Economics Series, New York, 1984. [Kaiser58] Kaiser, H-F-, "The Varimax Criterion for Analytic Rotation in Factor Analysis", Pshycometrica, 1958. [McCabe76] McCabe, T., "A Complexity Measure", IEEE Transactions on Software Engineering, Vol. 2, No4 pp 308-320, 1976. [Monteiro99] Monteiro, A., Goulo, M-, Abreu, F., Almeida, A", Sousa P., "Software Defect Report and Tracking System in the Internet: Controlling the Evolution of Legacy Systems", submetido 6~ European Conference on Software Quality, Viena, 1999. [Punter98] Punter, T., I..ami, G., "Factors of Software Cost Evaluation - Results of Two European Surveys", ESCOM' 98, Roma 1998. [Reis93] Rois, Elisabeth, "Anise Factorial das Componentes Principais: Um Mtodo de Reduzil Sem Perder Informao", Giesta ISCTE, 2a Ed., 1993. [Sackman68] Sackman, H., Erikson, J., Grant, E., "Exploratory Studies Comparing Online and Offline Programming Performance", CACM, 11, 1, 1968. 30 Encontm NacJonal para 20 a Qualidade nas Tecnologias de InformaSgo e Comunica(;;;6es Universidade do Minho 46 de Novembro 1998 72 ^ ' [Verilog93l Verilog, "Logiscope Viewer - Basic "Concepts", Technic Documents? r 31106, TOULOUSE cedex, Frce, 1993. 30 Encontro Nacional para 21 - a Qualidade nas Tecnologias de Informa55o e ComunicaCSes Universidade do Minho 6 de Novembro 1998 "^ 73