=Paper=
{{Paper
|id=Vol-1460/paper3
|storemode=property
|title=Controlo da Evolução de Sistemas Legados
|pdfUrl=https://ceur-ws.org/Vol-1460/paper3.pdf
|volume=Vol-1460
|dblpUrl=https://dblp.org/rec/conf/quatic/GoulaoAMA98
}}
==Controlo da Evolução de Sistemas Legados==
https://ceur-ws.org/Vol-1460/paper3.pdf
Controlo da Evolul!;;:8o
de Sistemas Legados|I
Miguel Goulão
Fernando Brito e Abreu
INESC
Femdo Bto e Abreu
António Silva Monteiro
Alberto Bigotte de Almeida
DAMAG
Resume
No aito de u inz"cz.ativa
de reorganiza80 do processo de desenvolvzmento de
soare na Man`nha Portuguesa, desenvolveu"se um sistema de rastreio de aco-es de
enolu5o implementado sobre a intranet da organz.zado, com vista a melhor controlar a
evolu.a-o de sistemas Le&ados.A arquz.tectura desse sz`stemae o modo como os dados
relatinos a` evoLuBo de um conjunto de sistemas legados sa-o utilzZados para melhor
compreender o processo sera-oabordados. Uma analise detalhada sobre a definza-o de
um modelo de estimaVa-ode eoro com base na complexidade envolvida na execudo de
acVo-esde manutenao serd aqui apresentada. A evolua-o das soluo-es de desenho
utz"Iz"zadas
hd uma de"cadana organz.zado, face `asadoptadas correntemente serd tambem
objecto de eso.
Palavras Chane: metricas de soare, rastrez.o de aco-es de evoludo, modeLos de
30 Encontm Nacional Darn 1
a Qualidade Has Tecnologlas de Inform&o e Camunical;;6es
Universidade da Minho
6 de Novembro 1998
53
,~.
-
,_
A ,comunidade cientifica reconhece desde h muito a necessidade de aplicar
mtodos quantitativos ao controlo da actividade de evoluo de software. So conhecidos
OS efeitos nefastos de abordagens baseadas apenas na experi8ncia dos gestores:
diflculdades na previso do esforo, custo e prazos adequados para a realizao de
deterrninadas acV6es de evolu5o. Consequ8ncias tais como a entrega tardia do software
aos utilizadores fmais, degradao da sua qualidade e necessidade de reforVar a equipa de
desenvolvimento para controlar desvios face ao previsto inicialmente, so comuns. Todas
estas situaBes acarretam prejuizos importantes para as organizaJes, o Que as conduz a
motivao de desenvolver mtodos de trabalho Quemimrnizem Estes problemas.
Um estudo recente acerca da avahao da qualidade do software na Europa[Punter98],
quer ao nfvel do processo de desenvolvimento, quer ao Ilivel do produto em si, revelava
Que uma percentagem elevada (superior a 75%) das organizaJes produtoras de software
estavam envolvidas em iniciativas de avaliao da qualidade do software e do sen
processo de desenvolvimento, procurando encontrar formas de melhorar este l:iItimo. A
amostra foi constituida com base em dois inquritos realizados em 1997 aos quais
responderam um total de 55 organizaJes, cerca de I/6 das organizJes contactadas. Um
dos dados retirados deste estudo era a necessidade Que as organizaJes sentiam em
ganhar confianVa no software e sen processo de desenvolvimento. Enquanto
consumidoras, para poderem escolher as melhores altemativas entre produtos
concorrentes. Enquanto produtoras, para melhor gerirem os riscos inerentes aos projectos
e para ganhar aceitao entre potenciais clientes.
Ao mvel de organiza6es estatais portuguesas, so poucos os casos conhecidos
em QueSe esto a desenvolver projectos de melhoria do processo de software suportados
For iniciativas de recolha de dados quantitativos sobre o mesmo.
_____________________________________________________________________
30 Encontro Naclonal para
2 a Qualidade nas Tecnolegias de Informa9go e ComunicaCl6es
Universidade do Minho
46 de Novembro 1998
54
processo de software. Este projecto realizado com a colaborao do Grupo de
SC)"
Nesta fe de esdo e desenvolvimento, for seleccionados 4 sistem de
inforrnao de pessoal desenvolvidos internamente pela DAMAG utilizando COBOL e
SQL-DS nnm sistema proprienirio, dos quais se apresentam aqui alguns dados, na Tabela
Sistema de No de ADO de enada em Fe
O
O
A abordagem a esta evoluo do processo assenta, em primeiro Ingar, na criao
de uma cultura diferente na organiza8o. F dado particular relevo a necessidade de
registar, de forma fidedigna e suficientemente detalhada as acJes de evoluo dos
sistemas e o respectivo esforo envolvido na sua realizao. E neste contexto que surge o
Sorack (Soe Deft Repo d System Tracng), um sistema desenvolvido neste
projecto a fim de suportar o rastreio de acJes de evolu3o. Um requisito para o SofTrack
era a sua disponibilizao atravs da Intranet da Marinha Portnguesa dada a disperso___
30 Enconbo Nacional para 3
a Qualidade masTecnologias de Informsq;;doe Comunicaes
Universidade do Minho
6 de Nonembro 1998
55
0 SofTrack 6 tarnbm usado no acompanhamento da evoluo do software,
atrav6s da anse do c6digo foute ao longo de diferentes vers5es. Esta ise inclui a
extraco de mtricas de complexidade do software e a produo automatizada de
A anSe das m6tricas de complexidade extraidas permite urns comparao entre
as prdticas de programso utilizadas em diferentes sistemas, apesar das tecnologias de
base serem as mesmas. A combinao entre a variao das mtricas de complexidade e o
esforo registado para as ac6es Que as originam 6 a base para a proposta de um modelo
Os relat6rios produzidos com base nos dados recolhidos com o SofTrack
constituem assim uma fonte de informao valiosa, no planeamento de acBes de
evoluo. Fornecem informao quantitativa Que visa reduzir a subjectividade com Que o
planeamento seria tradicionalmente efectuado, ajudam a manter o processo controlado e
contribuem para a deteco de oportunidades de evoluo no processo de software.
Este documento est orgzado do Seinte modo:
Na seco 2, ser descrita brevemente a arquitectura do Softrack. A terceira
esforo com base na complexidade das ac6es de evoluo. So apresentadas limita6es
do modelo, hem como ac6es possiveis para as erradicar. Segue-Se um estudo
comparativo dos sistemas analisados, na quarts seco, com base nas m6tricas de
complexidade recolhidas, em Que Se identificam mudanas na forma como Os sistemas
for desenvolvidos, apes de tecnologias usad serem semetes.
Finalmente, apresentam"se algumas conclus6es sobre o trabalho efectuado e
perspectiv Se as lias de evoluo do projecto.
30 Encontro Nacionai para
4 a Qualidade nas Tecnologias de /nformago e Comunica96es
Unlversidade do Minho
46 de Novembro 1998
56
2. Arquitectura do SofTrack
Todo o processo de recolha de dados assenta num sistema de rastreio de acJes de
evoluo desenvolvido no bito deste projecto, o SofTrack. Este sistema, descrito em
"";,
[Monteiro99], pretende dar uma resposta necessidade de implementar um mecanismo
de rastreio de acHe de evolu5o num ambiente geograficamente distribuido.
O SofTrack est implementado sobre a Intranet da Marimba Portuguesa. Assenta num
servidor Web com o sistema operativo Windows NT 4.0 e o Internet Information Server
4.0 (TIS). As potencialidades do HS so extendidas atravs de um componente que
perrnite o suporte a serv/etsl em Java (ServeltExec for Windows).
L!SCOPE
PRODUCT
S UC RE
REPOS DRY
Figura 1 - Arquitectura do SofTrack
Os flcheiros de c6digo-route, residentes no SCR (Source Code Repost-to), so
submetidos s ferramentas Logiscope [Verilog93l e Samaritan instaladas numa
Workstation Unix.
I Servlet - Aplicao independence da plataforma, escrita de acordo com a Java Selet I Que petmite
extender um Set.vidorH, implementando Set.viOs.
, ,
3o Encontm Nacional para 5
a Qualidade Has Tecnologias de Informao e ComunicaCSes
Universidade do Minho
6 de Novembro 1998
57
componentes (grafos de controlo), hem como a obteno de m6tricas de complexidade do
produto, incluindo a complexidade textual [Halstead77] e estrutnral [McCabe76]. 0
Samaritan 6 uma ferromanta qua permite a gerao de documentao acmizada acerca
dos sistemas em anise, com base nos ficheiros de c6digo-fonte. A document&o gerada
6 organizada no PSR (Product Structure Repost.to) e apresentada em pginas HTML,
Permitindo uma fcil navegao entre alas. A inform&o disponibilisada contempla a
estrntura e implement&o do sistema, incluindo informa8o acerca das opera6es de
Os dados associados ao processo so recolhidos atrav6s do RAPE (Registo e
Anise de Pedidos de Evoluo), o sub-'"sistemaque suporta .o registo dos pedidos de
evoluo dos sistemas de informao [Goulo98]. 0 SofTrack permite ao utilizador
seleccionar os pedidos, verificar o sen estado de atendimento, e submeter monos pedidos
de evoluo- Adicionalmente, para a equip&de manuteno, dado acesso inform&o
sociada evoluo e seguimento do pedido, at ao sen enceento.
A ferramenta SPSS 6 usada na anise estatistica das mtricas do processo e de
produto. disponibilizada inform&o de controlo dos projectos, atrav6s de relat6rios
A arquitectura clienteeidor do Somck implementada recoendo a um
servlet, responsvel pela gesto da interacVo entre o utilizador e o SofTrack. Este 6
resPonsvel pela implementa5o da politic& de segurana do SofTrack, associando
previl6gios de utilizaVo aos grupos de pginas HTML a qua o utilizador dever tar
____________________________________________________________________
3o Encontro Naa`onal para
6 a Qualidade nos Tecnologias de Informao e Comunicai!;:5es
Universidade do Minho
6 de Novembro 1998
58
3. Modelo de estima(!;;dode esforo
3.1..Intmduo
Intmtivamente, 6 expectvel Que a complexidade de uma deterrninada aco de
evoluV:o se reflicta no esforo necessario para a executar" Nesta seco sera descrita a
abordazem metodol6ca se ida no bito deste Proiecto Dara a verificaco desta
do Modelo
Se a escolha da variavel dependente trivial (afinal, pretende-Se estimar precisamente o
esforo), j a seleco de um conjunto de estimadores adequado envolve uma reflexo
As mtricas de complexidade recolhidas reflectem diversos aspectos da complexidade do
software. No entanto, veriflca-Se que esses aspectos no so completamente
independentes entre si, isto 6, algumas das mtricas de complexidade apresentam uma
3o Encontro Nacional para 7
a Qualidade masTecnologias de Informao e ComunicaCSes
universidade do Minho
4-6 de Novembro 1998
59
Um Segundo problema no conjunto de m6tricas 6 o do sen elevado numero.
Avaliar a complexidade de uma alterao com base em algumas dezenas de indicadores
uma tarefa semelbante tomada de decis5es com base em mdltiplos critrios.
Tipicamente, de acordo com alguns critrios, um m6dulo A mais complexo do que um
m6dulo B, acontecendo precisamente o contro se considerarmos outro grupo de
critrios. accesso estabelecer uma forma de pesar Osdiversos crit6rios em jogo.
30 Enconm.oNacional para
a Qualidade mas Tecnologias de Informscdo e ComunicocSos
Universidade do Minho
4-6 de Novemb 1998
60
Cantrolo da
'..,
"^.
O terceiro problema Que de certo modo deriva do Segundo, o de Que diferentes
m6tricas de complexidade utilizam diferentes escalas para Os respectivos valores, o Que
. obriga a uma operao de transforma&o dos mesmos, neste caso uma padronizao, de
modo a Que todos possam ser utilizados na construo de um 6nico modelo.
- A flrn de dar resposta a estas quest5es, decidiu'-se utilizar uma tcnica estatistica
denominada Anise Factorial em Componentes Principais sobre os valores padronizados
^ . _______________________________________________________________________
3o ]EmennboNacianal para 9
a Qualidade nas Tecnalagias de Informao e CamunicaBes
Universidade da Minna
4-6 de Novembro 1998
61
mtrica contempla. Tal resulta essencialmente, da elevada correlao entre as mtricas e
a dimenso do m6dulo respecno-
Postas teores considem5es, pode-se ento apresent o seinte modelo,
destes modelos pode ser encontrada em [Arroja39} e [Ban92]) e considerando 41
EsforOi = bo+ bl * Fl i + b2 * F2i +
Os coeficientes bj foram estimados pelo mtodo dos mjuimos quadrados Que nos
garante estimadores com todas as propriedades desejadas, isto , lineares, centrados,
eficientes e consistentes (convergentes), de manor varicia. `borepresenta o valor do
esforVoprevisto pelo modelo quando os Factores Fl e F2 s&o nulos (note-se Que estes
factores esto padronizados, podendo assim assumir valores positivos e negativos). bl e
82 s&o os coeficientes de estimao para as variveis independentes. E o erro aleat6rio,
tarnb6m conbecido como termo estocstico, Que explica o facto de uma determinada
proporo da variao na varivel no ser explicada no modelo. A excluso de F3 do
modelo resultou do facto de a sua contribuio para a explicao da variao do esforo
ser aproximadamente nul isto b3 = 0.
Neste caso, o modelo pode ser instanciado com os paretros apresentados na
Tabela 3.
Coeficient Estimativ Erro Padro Estatistica t Significci
e a (5%) a
bo 6,682 0.44.221 0.000
bl 3.104 1.060 2.928 0.006
b2 8.522 0.587 14.508 0.000
Tabela 3 - Pmeos do modelo
______________________________________________________________________
3o Encontro Naciona) para
10 a Qualidade nas Tecnologias de Informa(!;;;doe Comunica9Ses
Universidade do Minho
6 de Novembro 1998
62
signiflcativos e posifivos. Isto reflecte Que um aumento de qualquer dos factores de
complexidade Se traduz For um aumento no esforo estimado. O erro padrAo(e) permite o
estabelecimento de intervalos de confianVa do tipo ]bi - ei; bi + ei[, com um grau de
'
certeza de 95%. O teste de significcia estatistica dos valores dos coeficientes de
regresso individuais, atrav6s do cculo dos valores da estatfstica t e o teste bicaudal de
significcia indicam uma baixa probabilidade de os coeficientes serem igDais a O, na
Na Figura 2 o eixo horizontal do grco represent&a complexidade da alter&o e
no vertical o respectivo esforo, em homens.bola. As etiquetas junto aos casos contEm o
Para saber at6 Que ponto o colectivo das varivets independentes exphcam a
varivel" dependente, pode-Se calcular o coeficiente de determinao (R2)"Este modelo
apresenta um R2 de cerca de 85.1%, sendo o sen valor ajustado (R2Ajusmdo) de 84.390. 0
valor ajustado d uma ideia m&ispr6xima da variao explicada do esforo, por entrar em
, ., ~
cont&com o numero de vanavels mdependentes (o valor de R- tende a ser mflacclonado
pelo ntimero de varieis independentes). Tomando o valor ajustado, temos Que apenas
15.7% (100% - 84.3%) da variao do esforo no explicada pelas variveis da equao
(Fl e F2).
30 Encontro Nacional Darn 11
a Qualidade nas Tecnologias de Informao e ComunicaBes
Universidade do Minho
46 de Novembro 1995
63
Figura 2 - Esforo previsto vs esforo restado
F extremamente improvvel Que a correlao mtiltipla (R), ou seja, a correlao
entre o esforo e as variveis independentes (Fl e F2) em conjunto seja O, como
comprova o teste F. Com um valor de significcia de 0.05, o valor do teste F (108.561)
&present&dopelo modelo muito superior ao valor critico de F(2.38) = 3.23 For outras
palavras, est assegurada a significcia estatistica da equao como um todo.
Para demonstrar a inexist8ncia de autocorrela5o entre Os termos estoBsticos
recorreu'-se ao teste de Durbin-Watson. Tomou"se come hip6tese nula a inexistEncia de
autocorrelao entre os termos estocticos (Ho: p = 0) e por hip6tese alternativa a
existncia de autocorrelao (Hl: p O).
Para 41 casos analisados (n) e 2 vanveis independentes (k), define-Se a partir dos
valores cnticos (dl - valor cntico inferior; d - valor cntico superior) retirados da tabela
3o Encontro Naa`onaE para
12 a QuaEidade Has TecnoEogiasde Informal;;do e Comunicall;;Ses
Universidade do Minho
46 de Novembro 1998
64
da estanstica de Durbin"Watson (5% de significcia; dl = 1.2; du = 1.4) o Sente "p
]du, 4 - du]= ]1.4, 2-6]
O valor da estatistica de Durbin-Watson (2.079) enquadra-se no intervalo de
valores associados aceitao da hip6tese nula (ver Figura 3). For consequEncla 6 de
adnlitir Que a eflciSncia dos estimadores obtidos pelo mtodo dos minimos quadrados,
dada a inexist8ncia de autocorrelao entre eles.
p>O (*) p=0 (*) p<0
O dl do 2 4-do 4
^
(*) Teste inconclusivo
Figuf a 3 - Tornado de decis5o no teste de Dnrbin-Watson
,
________________________________________________________________________
30 Encontro Nacional para 13
a Qualidade nas Tecnologias de Informa9So e Comunica9Ses
Unlversidade do Minho
46 de Novembro 1998
65
Com base no modelo apresentado, interessa agora verificar o grau de
conformidade com os valores reais do esforo face previs5es produzidas. A Figura 4
apresenta o esforo efectivo numa determinada acVo de evolu&o, qnando comparado
com o respecno esforo eSmado.
estimado relativamente grande. Certos factores Que pesam no esforo no so
reflectidos pelo modelo apresentado, isto a quantificaVo da complexidade das acJes
de evoluVo n5o pode ser considerada completa. Isto porque apenas dispomos de
ferramentas para analisar a variao da complexidade do c6digo fonte produzido em
COBOL, o Quenos permite analisar apenas parte das alteraJes. Note-Se Queestas podem
envolver modifica5es ao mvel dos acessos da base de dados, pol exemplo, atravs do
c6digo SQL embutido no COBOL. 'Presentemente, ainda no foi desenvolvida uma forma
de quantificar o esforo relacionado com esse aspecto da complexidade da alterao. Um
problema semelhante ocorre no que diz respeito a modifica6es nos paineis, que est&o
tamb6m codificados noutra linguagem (ISPF), pelo Que essas alterJes tambm no
esto a ser considerad no modelo.
"No menos problemtica para a definio de um modelo, a efici8ncia das
pessoas envolvidas na aco. Ainda Que fosse possfvel uniforruizar factores como a
experi8ncia dos programadores, o sen conhecimento dos sistemas Que esto a mantel, a
eficcia (qualidade das alteraJes produzidas) e efici8ncia (celeridade com Que as
evoluJes so desenvolvidas) dos mesmos varia de pessoa para pessoa. Em [Brooks75] e
[Sackrnan68l, so referidas variaJes de uma ordem de grandeza na produtividade de
programadores experientes. O crescimento da amostra pela incluso de novas acJes de
manutenVo tender a diluir um pouco estas discrepcias, contribuindo assim para a
3o Encontro Nacional para
14 a Qualidade nas Tecnologias de Infomlao e ComunicaC5es
universidade do Minho
46 de Novembro 1998
66
Contm,o da
40
Homenls.MOra
30
20
Figura 4 - Diferen entre o esforo efectivo e o esforo estirnado
Por estas raz5es, para a construo deste modelo forarn postos de lado alguns
casos Que apresentavam valores extremos, normalmente pot as acBes de evoluo
incidirem bastante s-obre os aspectos do c6digo fonte que n8o puderam ser inclufdos no
modelo
________________________________________________________________________
3o lEncontm Nacional para 15
a Qualidade nos Tecnologias de Informao e ComunicogSes
Universidade da Minho
4-6 de Novembro 1998
67
Os sistemas analisados t8m em comum o facto de terem sido desenvolvidos num
arnbiente que no essencial 6 semelhante, em particular no tocante ferramentas de
desenvolvimento utilizadas. A natureza dos sistemas tarnbem comum, uma vez Que
todos so sistemas de inform&o sobre o pessoal, embora cada um incida sobre uma
vertente particular da inform&o. Como factores de diferenciao, merece destaque o
facto de terem sido desenvolvidos por equipas diferentes e ainda o facto de um deles ter
1:
1
\
____________________________________________________________________
30 Encontro Nacional para
16 a Qualidade nas Tecnologias de Informao e ComunicaBes
Universidade do Mlnho
46 de Novembro 1998
68
Saltos Incondicionais 1393. .000
ans de 610.2 .000
Complexidade 412.4 .000
Essenci
Quebras na 103.5 ,000
sequncia
Tabela 4 Ane de varicia de m6tricas de produto
^
Em qualquer dos casos, a anse de varicia permitenos afirmar Que existe uma
elevada probabilidade de associao entre o sistema considerado e a diferena de m6dias
dos valores destas m6tricas.
' Na Tabela 4, pode-Se observar para cada m6trica, o valor da estatistica F e o nfvel
de sigufficcia do teste. Sabendo Que F representa a razo entre a varicia estimada
entre gmpos (explicada) e a varicia dentro dos pr6prios grupos (erro), sendo os grupos
o sistema implementado h uma d6cada e os mais recentes, isso significa Que 6 pouco
provvel Que as diferenas encontradas sejam devidas ac acaso, para as m6tricas aqui
apresentadas. A amostra continha 2071 m6dulos.
Uma aniUise variao da mdin destas mtricas veio confirmar que as evolu5es
registadas vo de encontro a uma maior qualidade no desenho e facilidade de
manuteno. A ideia dominante 6 a de que a complexidade dos m6dulos criados 6 menor
nos sistemas mais recentes. Tal no implica que os sistemas em si sejam menos
complexos, mas apenas tuna redestribui&o da complexidade entre os vos m6dulos.
Uma leitura dos valores m6dios das mtricas para o sistema mais antigo face m6dias
para Osmais recentes permitiu register como factor positivo o quase desaparecimento dos
30 Encontro Nacional para 17
a Qualidade nas Tecnologias de Inform@o e Comunica9Ses
Universidade do Minho
46 de Novembro 1998
69
deve ser evitados to quto possfvel.
5. ConclusSes e trabalho futuro
Apresentou"-senesta comunicao uma experincia Que tern vindo a decorrer na
Marinha Portuguesa em Quea utiliza&o de mtodos quantitativos est a contribuir para
uma melhor compreenso do processo de desenvolvimento. As indica6es fomecidas
pelas mtricas de software recolhidas potenciam a adopo de medidas informadas no
sendo da melhoa do processo de soe.
Descreveue brevemente o Sorack, sistema Que tern vindo a ser desenvolvido e
utilizado no bito deste projecto para dar suporte computacional a esta iniciativa. A
pr6pria concepo e desenvolvimento do SofTrack apresentam um desafio em Si, dada a
da implement&o de meios formals para o registo de ac5es de evoluo, um Corie
importante com a inexistncia de um formalismo Que permitisse de forma eficiente
recuperar inform&o relativa evoluo dos sistemas, no tocante ao Que foi feito,
quando, porqu, por quern e com quanto ,esforo, na evoluo dos sistemas. Esta
modiflcao tern como reflexo a possibilidade de cruzar a informo recoIhida com o
p:APE com as mtricas de complexidade de produto, a fim de encontrar a relao entre a
complexidade de uma aco de evoluo e o esforo Dela envolvido.
Essa relao fol explorada no modelo de estimao do esforo aqui apresentado,
modelo esse Que continuar a ser ajustado a medida Que forem sendo registadas novas
ac5es de evoluVo, de modo a tomSe cada vez ms fivel. O modelo dever
30 Encontro NacionaE para
18 a QuaEidade masTecnoEogias de Informao e Comum!ce(;;aes
Umiversidade do Minho
46 de Novembro 1998
70
posteriormente ser emiquecido com informa8o acerca da complexidade das altersJes p
um estudo sobre a atribuio de pesos diferentes para diferentes programadores, com base
na sua produtividade em ac5es anteriores, para reflectir a discrepcia proveniente, por
exemplo, da experi8ncia de cada um tanto como programador como em reinko ao
sistema em causa.
Finalmente, apresentou-se ainda uma utilizo das mtricas de complexidade do produto
para uma melhor compreenso sobre a evoluo das solu5es de desenho utilizadas num
sistema desennolvido cerca de uma dcada, em relao as que esto a ser usadas nos
sistemas correntemente em desenvolvimento. Esta anise revelou um aumento do 1mow-
how dentro da orgamzao, traduzido por uma utilizao mais reduzida de solu6es Que
contribuem para uma m estruturao do c6digo, como sejam Os.SaltoS incondicionais.
________________________________________________________________________
3o Encontm Nacional para 19
a Qualidade nas Tecnologlas de Informao e ComunicaSes
Universidade do Minho
6 de Novembro 1998
71
[Arroja93] Arroja P., "Mtodos Economtricos", ISEGI, 1993.
[Brooks75] Brooks, F., "The Mythical Man"Month - Essays on Software Engineering",
Addison-Wesley Publishing Company, 1975.
[Bryman92] Bryman, A., Cramer. D., "Anise de Dados em Ci8ncias Sociais", Celta
Editora 1992.
[Goulo98] Goulo, M., Monteiro, A., Martins, J., Bigotte de Almeida A., Brito e Abreu,
F., Sousa, P., "A Software Evolution Experiment", ESCOM-ENCRESS98, Roma 1998.
[Halstead77] Halstead, M", "Elements of Software Science", Elsevier North-Holland, -
New York 1977.
11
[Johnston84] Johnston, J., "Econometric Methods", 3a Edio, McGraw-Hill; Economics
Series, New York, 1984.
[Kaiser58] Kaiser, H-F-, "The Varimax Criterion for Analytic Rotation in Factor
Analysis", Pshycometrica, 1958.
[McCabe76] McCabe, T., "A Complexity Measure", IEEE Transactions on Software
Engineering, Vol. 2, No4 pp 308-320, 1976.
[Monteiro99] Monteiro, A., Goulo, M-, Abreu, F., Almeida, A", Sousa P., "Software
Defect Report and Tracking System in the Internet: Controlling the Evolution of Legacy
Systems", submetido 6~ European Conference on Software Quality, Viena, 1999.
[Punter98] Punter, T., I..ami, G., "Factors of Software Cost Evaluation - Results of Two
European Surveys", ESCOM' 98, Roma 1998.
[Reis93] Rois, Elisabeth, "Anise Factorial das Componentes Principais: Um Mtodo de
Reduzil Sem Perder Informao", Giesta ISCTE, 2a Ed., 1993.
[Sackman68] Sackman, H., Erikson, J., Grant, E., "Exploratory Studies Comparing
Online and Offline Programming Performance", CACM, 11, 1, 1968.
30 Encontm NacJonal para
20 a Qualidade nas Tecnologias de InformaSgo e Comunica(;;;6es
Universidade do Minho
46 de Novembro 1998
72
^ ' [Verilog93l Verilog, "Logiscope Viewer - Basic "Concepts", Technic Documents?
r 31106, TOULOUSE cedex, Frce, 1993.
30 Encontro Nacional para 21
- a Qualidade nas Tecnologias de Informa55o e ComunicaCSes
Universidade do Minho
6 de Novembro 1998
"^
73