<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Bir Yazılımın Çevre ve Kalite Açısından Değerlendirilmesi için Önerilmiş Karar Alma Modeli</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Sedef Akınlı Koçak</string-name>
          <email>Sedef.akinlikocak@ryerson.ca</email>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Gülfem Işıklar Alptekin</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Ayşe Başar Bener</string-name>
          <email>Ayse.bener@ryerson.ca</email>
          <xref ref-type="aff" rid="aff2">2</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Bilgisayar Mühendisliği, Galatasaray Üniversitesi</institution>
          ,
          <addr-line>Istanbul</addr-line>
          ,
          <country country="TR">Türkiye</country>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Data Science Laboratory, Environmental Applied Science, Ryerson University</institution>
          ,
          <country country="CA">Canada</country>
        </aff>
        <aff id="aff2">
          <label>2</label>
          <institution>Data Science Laboratory, Mechanical and Industrial Engineering, Ryerson University</institution>
          ,
          <country country="CA">Canada</country>
        </aff>
      </contrib-group>
      <fpage>418</fpage>
      <lpage>429</lpage>
      <abstract>
        <p>Özet. Yeşil yazılım geliştirme, yeşil bilgi teknolojileri alanında yeni sayılabilecek bir çalışma alanıdır. Yazılım geliştirme endüstrisi artık, çevresel etmenleri daha fazla göz önünde bulundurarak yazılım ürünleri ortaya koymaktadırlar. Yeşil yazılıma duyulan bu ilgi, bir yazılımın sahip olması gereken çevresel özellikleri de, yazılımın ana kalite özelliklerinin içine alınması fikrini doğurmuştur. Bu çalışmada, akademik yazında sıklıkla kullanılan çok ölçütlü karar alma yöntemlerinden biri olan Analitik Ağ Süreci kullanılarak, yazılımın çevresel sürdürülebilirlik ve kalite kriterlerinin bir arada değerlendirilmesi yapılmıştır. Çalışmanın amacı, bilinen kalite kriterleri ile yeni ortaya çıkan çevresel kriterler arasındaki ilişkiyi göstermek ve kriterlerin öncelik sırasını belirlemektir. Elde edilen sonuçlar, bir yazılımı 'yeşil' olarak geliştirmede kullanılabileceği gibi, kriterlerin hesaplanan ağarlıkları kullanılarak birbiri ile çelişen kalite ve çevresel kriterler arasındaki seçimde de yol gösterici olacaktır. Sonuçlar ayrıca, enerji harcamak zorunda olan bir çeşit ürünün, mümkün olan en üst seviyelerde enerji tasarrufu sağlayacak şekilde geliştirilmesinde yardımcı olabilecektir. Anahtar Kelimeler: Yeşil yazılım; enerji verimliliği; yazılım geliştirme</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>Giriş</title>
      <p>Yazılımların hayatımızdakı önemi ile birlikte, yazılım ürünlerinin sürdürülebilirliği
ve çevresel etkilerinin önemi de gittikçe artmaktadır. Kullanıcıların gereksinimlerini
karşılayacak kalitede yeşil yazılım ürünleri geliştirmek veya mevcut ürünleri çevresel
etkilerini (örneğin enerji harcama) azaltacak şekilde yeniden düzenlemek karmaşık bir
problemdir. Çevresel sürdürülebilirliğe ulaşmayı hedefleyen yeşil bilgi ve iletişim
teknolojileri ve yeşil yazılım kalitesinin değerlendirilmesi son zamanlarda önemli
araştırma konuları arasına girmiştir. Yeşil ve sürdürülebilir yazılım kavramı akademik
yazında ilk defa 2011 yılında Neumann et al. (2011) tarafından şu şekilde
tanımlanmıştır: “Yeşil ve sürdürülebilir yazılım, yazılımı geliştirme, piyasaya sürme
ve kullanma aşamalarında ekonomiye, sosyal hayata, insanoğluna ve çevreye
doğrudan ve dolaylı olarak en az şekilde olumsuz etkisi olan ve/veya sürdürülebilir
kalkınmaya olumlu katkıda bulunan yazılımdır.” (Neumman et al., 2011, pp:296). Bu
bağlamda, geleneksel ürün kalite modelleriyle belirlenen gereksinimlerin yanında
çevresel ve sürdürülebilir gelişmeye etkileri gözeten yeşil gereksinimlerin de ürün
geliştirme aşamasında değerlendirilme gerekliliği ortaya çıkmıştır.</p>
      <p>
        Yazılım geliştiren firmalar rakiplerinden daha kaliteli, daha fazla ve daha iyi
işlevsellik içeren ürünler geliştirmek için yoğun bir baskı altındadırlar. Ancak
yazılımın kalite gereksinimleri (örneğin performans, kullanılabilirlik, güvenlik, vb.)
ve fonksiyonel özellikleri çoğu zaman birbirleriyle çelişmektedirler. Yazılım
geliştiriciler, bu çelişkiler ışığında kalite ve fonksiyonellik arasında seçim yapmak
zorunda kalabilecek ve/veya bunları bir öncelik sırasına koyarak çözüm bulma yoluna
gidecektir. Pek çok açıdan bakıldığında, fonksiyonel gereksinimler ve kalite
gereksinimleri birbirlerini tamamlayıcı ve bağlayıcı nitelik taşımaktadırlar. Aralarındaki bu
ilişkiden dolayı seçim kararı yazılım geliştiriciler açısından karmaşık olmaktadır
        <xref ref-type="bibr" rid="ref27">(Tiwari et al., 1996)</xref>
        .
      </p>
      <p>
        Buna ek olarak, değişen çevre şartları sürdürülebilirlik kaygılarını arttırmış ve
ürün geliştirme ve ürün kalitesine çevresel (yeşil) gereksinimlerin eklenmesini
zorunlu bırakmıştır. Sözkonusu yeşil gereksinimler, çoğunlukla, fonksiyonel gereklilikler
ve kalite gereklilikleri arasında uyuşmazlık yaratmaktadır. Bunlar arasındaki ilişkiler
daha gizli ve birbirlerine etkileri daha az anlaşılırdır. Bu nedenle, çevresel
sürdürülebilirliğe katkısı olacak yeşil bir yazılım geliştirme sırasındaki gerekliliklerin
belirlenmesinin önemli olduğuna inanıyoruz. Akademik yazında yazılım gereksinimlerinin
önceliklendirilmesine
        <xref ref-type="bibr" rid="ref13">(Karlsson et al., 1998)</xref>
        ve yazılım kalite gereksinimlerinin
arasında seçim yapılmasına (tradeoff-ödünleşim)
        <xref ref-type="bibr" rid="ref12">(Kazman et al., 2000, Chang et al.,
2008)</xref>
        ilişkin yaklaşım ve modeller vardır. Bu çalışmalarda çok kriterli karar verme
tekniklerinden biri olan Analitik Hiyerarşi Prosesi (AHP), Analitik Ağ Süreci (ANP)
ve ANP/AHP birleştirilmis yöntemler, hedef modelleme (goal modeling), ikili arama
ağacı yaratma (binary search tree creation) ve fırsatçı (greedy) algoritmalar en çok
kullanılanlardır. Bunlardan başka, yazılım mimarisi seçiminde karar verme süreci için
bazı ayrıntılı ödünleşim teknikleri de kullanılmıştır
        <xref ref-type="bibr" rid="ref28">(Zhu et al., 2005)</xref>
        . Yazılım
mühendisliği karar verme süreçlerini destekleyen, en önemli yöntemlerin başında
Ruhe et al. tarafından geliştirilen teknik yer almaktadır
        <xref ref-type="bibr" rid="ref22">(Ruhe et al., 2003)</xref>
        . Bu
yöntemde, gereksinim önceliklendirilmesi müşteri memnuniyeti, kaynak dağılımı ve iş
değeri/maliyeti gibi etmenlere göre yapılmaktadır
        <xref ref-type="bibr" rid="ref22 ref23">(Ruhe et al 2003, Ruhe/Ngo-The
2009)</xref>
        . Önceliklendirmeyi yaparken iteratif ve genel bir algoritmaya sahip olan bir
optimizasyon metodu kullanılmaktadır.
      </p>
      <p>
        Akademik yazında şimdiye kadar yapılan çalışmalar incelendiğinde, çevresel
gereksinimler ile kalite gereksinimlerinin arasındaki ilişkiye odaklanan ve yeşil yazılım
geliştirme sürecinde karar vermenin incelendiği bir çalışmaya rastlanmamıştır. Bu
çalışmada, kriterler arasındaki ilişkiyi/ bağıntıyı oldukça iyi gösteren çok kriterli karar
verme tekniklerinden biri olan Analitik Ağ Prosesi (ANP) kullanılmış ve
gereksinimlerin öncelik sırası ortaya konmuştur. Çok ölçütlü karar verme yöntemleri, kriterler
arasındaki ilişkiyi belirlemekle kalmayıp, ağırlıklarını da ortaya koymakta; böylece
karar kalitesini arttırmaktadırlar
        <xref ref-type="bibr" rid="ref7">(Campanella, Ribeiro, 2011)</xref>
        .
Çalışmanın geri kalan kısmı şu şekilde düzenlenmiştir. İkinci bölümde akademik
yazın araştırması kapsamında yeşil ve sürdürülebilir yazılım kavramı, çevresel
kriterler beraberinde yeşil ölçütler, yazılım kalite modelleri ve ANP yöntemi anlatılmıştır.
Üçüncü bölümde ANP yöntemi hakkında bilgi verilmiştir. Dördüncü bölümde,
önerilen yöntem ve ANP uygulama sonuçları verilmiştir. Beşinci ve son bölümde ise
sonuçlar ve tartışma bölümüne yer verilmiş ve çalışmanın teorik ve pratik katkıları
anlatılmıştır.
2
2.1
İlgili Akademik Yazın
      </p>
      <sec id="sec-1-1">
        <title>Yeşil ve Sürdürülebilir Yazılım</title>
        <p>
          Akademik yazında yazılımın sürdürülebilirliği hakkındaki çalışmalar öncelikle
donanımın enerji etkinliğinin ölçülmesi, enerji etkin yazılım mimarileri ve/veya
optimizasyon algoritmaları ile başlamıştır
          <xref ref-type="bibr" rid="ref16">(Kothiyal et al., 2009)</xref>
          <xref ref-type="bibr" rid="ref3">(Bhattacharjee et al.,
2009)</xref>
          . Sürdürülebilirlik ve yazılım mühendisliği kavramlarının kullanıldığı ve yeşil
yazılım geliştirmede referans teşkil eden ilk çalışma “GreenSoft” referans modeliyle
Neumann et al. (2011) tarafından yapılmıştır. Bu model yazılım ürününün yaşam
döngüsü, sürdürülebilirlik kriterleri ve ölçütleri, prosedürleri ve bir yazılım ürününün
çevreye ve sürdürülebilirliğe olumlu katkı sağlayacak şekilde kullanılması gerektiği
hakkında öneriler ve kullanılabilecek araçları ele almıştır. Bir diğer çalışmada
Albertao et al. (2010), çok kullanılan yazılım kalite kriterlerini (etkinlik, performans,
uygunluk vb.) sürdürülebilirliğin boyutları (ekonomik, sosyal ve çevresel) ile
ilişkilendirmiştir. Ancak bu çalışmada herbir kalite kriterinin sürdürülebilirlik
boyutlarına nasıl bir bireysel etki yapacağı irdelenmemiştir. Bir diğer çalışma,
sürdürülebilirliği yazılım ürün kalitesini etkileyen yepyeni bir etmen olarak kabul etmiş ve
sürdürülebilirliğin yazılım kalite standartlarının içerisine dahil edilmesi gerekliliğini
ortaya koymuştur
          <xref ref-type="bibr" rid="ref6">(Calero ve Barteo, 2013)</xref>
          . Diğer bir yaklaşımda, yeşil ve
sürdürülebilir yazılım için bir kalite modeli geliştirilmistir
          <xref ref-type="bibr" rid="ref14">(Kern et al., 2013)</xref>
          . Bu model,
doğrudan ve dolaylı olarak yazılımın sürdürülebilirliği ile ilişkili tüm kriterleri
içermektedir. Çalışmada ayrıca etkin bir karar verme süreci için kalite kriterlerinin
özelleştirilmesi gerekliliğinin de üzerinde durulmuştur. Bu gereklilik bizim
çalışmamızın da ana motivasyonunu oluşturmaktadır. Çalışmamızda yazılım kalite ve
çevresel sürdürülebilirlik kriterlerinin aralarındaki bağlantıyı göstererek, bu ilişkilerin
karar verme sürecinde kullanılması amaçlanmıştır.
2.2
        </p>
      </sec>
      <sec id="sec-1-2">
        <title>Yeşil Ölçütler</title>
        <p>Yeşil ölçütler BT sistemlerinin yeşil performanslarının ölçülmesinde kullanılan
ölçütler olarak akademik yazındaki yerini almıştır. Kipp et al., (2011)’e göre, yeşil
ölçütler, sistemlerin eneri harcamalarıyla ilişkili ölçütlerdir. Yazarlara göre bu ölçütler
BT sistemlerinin ‘yeşillik’ oranının belirlenmesinde kilit etmen olarak da
düşünülmektedir. Diğer yandan, enerji harcama, enerji etkinliği ve enerji tasarrufu
olasılıklarını belirtmektedir. Çalışmada yeşil performans belirliyicileri (green
performance indicators) göz önüne alınarak, ölçütler dört sınıfa ayrılmıştır (Tablo 1):
 BT kaynak kullanım ölçütleri: BT sisteminin enerji kullanımı ile yakından
ilgilidir.
 Yaşam döngüsü ölçütleri: Ürünün yaşam döngüsünde enerji kullanımını takip
etmek için geliştirilmiştir.
 Enerji etki ölçütleri: Ürünün yaşam döngüsündeki elektrik harcama, güç,
kullanılan materyal ve karbondioksit salınımı gibi çevreye olan etkisini görmek
için geliştirilmiştir.
 Organizasyonel ölçütler: Enerji bağlantılı maliyetlerin hesaplanması ve takibi için
geliştirilmistir.</p>
        <p>
          Tablo 1. Yeşil ölçüt sınıfları
          <xref ref-type="bibr" rid="ref15 ref17">(Kipp et al., 2011, Mahmoud ve Ahmad, 2012)</xref>
          BT kaynak kullanım
- BT ekipman
kullanımı/etkinliği
- BT ekipman saklama
alanı etkinliği
        </p>
        <p>Yaşam döngüsü
- Yaşam döngü
maliyeti
- Süreç mühendisliği
- Servis kalitesi</p>
        <p>Enerji etkisi
- Güç enerjisi (yeşil
enerji kullanımı)
- Isı ve nem
- Karbondioksit
salınımı</p>
        <p>Organizasyonel
- Kanun ve regülasyonlar
- Kaynak çabaları
- Sera gazları kredisi
- BT’nin toplam maliyeti
- Yeşil çözümler (Yeşil
yatırım geri dönüş
maliyeti)
2.3</p>
      </sec>
      <sec id="sec-1-3">
        <title>Yazılım Kalite Modelleri</title>
        <p>Yazılım kalitesi, IEEE Std. 1061, (1998) standardına göre “yazılımın istenilen
kalite kriterlerinin kombinasyonlarına sahip olması” olarak tanımlanmıştır. Yazılım
kalitesinin belirlenmesi için bu tanımlamada geçen, istenilen kalite kriterleri
kombinasyonun açık bir şekilde belirlenmesi gerekmektedir. Yazılım geliştirme
projelerindeki, belirli özelliklerin belirlenen zaman içinde ve belirlenen maliyetin altında
olması istendiğinden dolayı yöneticiler kalite kriterleri arasında seçim yapmak
zorunda kalmaktadırlar. Bu nedenle, kalite modelleri hem bu seçimin yapılmasında
yardımcı olmakta, hem de kullanım kolaylığı sağlamaktadır.</p>
        <p>
          Akademik yazında pek çok kalite modeli geliştirilmiştir. En çok kullanılanları
Tablo 2’de gösterilmiştir
          <xref ref-type="bibr" rid="ref18 ref2">(Marciniak 2003, Berander et al., 2005)</xref>
          .
        </p>
        <p>
          McCall (1977) ve Boehm et al. (1978) modelini esas alarak geliştirilen ISO/IEC
9126
          <xref ref-type="bibr" rid="ref11">(ISO/IEC 9126-1, 2001)</xref>
          en yeni modellerden biridir. Bu kalite standart modeli,
içsel ölçütler, dışsal ölçütler ve ürün kullanım kalitesi olmak üzere dört bölüm
içermektedir. ISO 9126-1, son kullanıcı kullanım kalitesine yönelik dört etmen
(fonksiyonellik, kullanılabilirlik, etkinlik ve güvenilirlik) ve geliştiriciye yönelik iki
etmen (bakım ve taşınabilirlik) içermektedir (Şekil 1).
(McCall, 1977)
Doğruluk
Güvenilirlik
Etkinlik
Kullanılabilirlik
Bütünlük
Değiştirilebilirlik
Esneklik
Test edilebilirlik
Taşınabilirlik
Yeniden
kullanılabilirlik
Birlikte
çalışabilirlik
        </p>
        <p>İşlevsellik
-Uygunluk
-Kesinlik
-Birlikte
çalışılabilirlik
-Güvenlik
-Fonksiyonel
uygunluk</p>
        <p>
          Tablo 2. Akademik yazındaki kalite modelleri ve kriterleri
          <xref ref-type="bibr" rid="ref4">(Boehm et al.,
1978)</xref>
          Güvenilirlik
Etkinlik
Anlaşılabilirlik
Değiştirilebilirlik
Test edilebilirlik
Taşınabilirlik
          <xref ref-type="bibr" rid="ref5">(Bowen et al.,
1985)</xref>
          Doğruluk
Güvenilirlik
Etkinlik
Kullanılabilirlik
Bütünlük
Değiştirilebilirlik
Esneklik
Çeşitlilik
Taşınabilirlik
Yeniden
kullanılabilirlik
Birlikte
çalışabilirlik
Kalımlılık
Genişletilebilirlik
(Murine, 1983)
        </p>
      </sec>
      <sec id="sec-1-4">
        <title>Diğerleri</title>
        <p>Doğruluk
Güvenilirlik
Etkinlik
Kullanılabilirlik
Bütünlük
Değiştirilebilirlik
Esneklik
Test edilebilirlik
Taşınabilirlik
Yeniden
kullanılabilirlik
Birlikte
çalışabilirlik
-Uyum
sağlayabilirlik
-Kurulabilirlik
-Birlikte
çalışabilirlik
-Değiştirilebilirlik
-Taşıma uygunluğu</p>
      </sec>
    </sec>
    <sec id="sec-2">
      <title>Analitik Ağ Süreci (ANP)</title>
      <p>
        ANP yaklaşımı, 1980 yılında Saaty tarafından önerilen Analitik Hiyerarşi
Süreci’nin genelleştirilmiş halidir
        <xref ref-type="bibr" rid="ref24">(Saaty, 1980)</xref>
        <xref ref-type="bibr" rid="ref25">(Saaty, 2004)</xref>
        . ANP problemleri,
kriterlerin aralarındaki ilişkileri ve bu ilişkilerin yönlerini tanımlayarak, problemi bir ağ
şeklinde tasarlamayı sağlar. Oysa AHP yaklaşımında kriterler birbirlerine tek yönden
bağlı varsayılır. ANP ve AHP arasındaki en önemli farklardan biri de hiyerarşik
yapılarıdır. AHP’de yukarıdan aşağı doğru bir hiyerarşik yapı söz konusuyken,
ANP’de etkileşimli bir hiyerarşik yapı vardır. Kriterler diğer kriterlere bağımlı
olabildikleri gibi, kendi içlerinde de bağımlı olabilirler.
      </p>
      <p>
        ANP altyapısında üç önemli adım vardır: (1) Amacı, kriterleri ve alt kriterleri
belirlemek (2) Aradaki bağıntıları ve ağı belirlemek, ve (3) Süpermatrisi oluşturmak
(Gürbüz et al., 2012). AHP’de de yapılan ikili karşılaştırmalar, bir elemanın bir diğer
eleman üzerindeki göreli önemini belirtmeye yarayan Saaty’nin 1-9 ölçeği esas
alınarak yapılmıştır (Tablo 3)
        <xref ref-type="bibr" rid="ref25">(Saaty, 2004)</xref>
        . ANP yaklaşımı, bu karşılaştırma matrislerinin
tutarlılığının kontrolünü şart kılar
        <xref ref-type="bibr" rid="ref24">(Saaty 1980)</xref>
        . Ardından, kriterler ve alt kriterler
arasındaki ilişkiler uyarında bağıl (composite) ağırlıklar hesaplanır. Bağıl ağırlıkları
içeren süpermatis, her sütunu 1’e eşit olacak hale getirilerek ağırlıklandırılmış
süpermatris haline getirilir. Son adımda ise, her seçeneğin (alternatifin) genel puanını
hesaplamak için, her bir seçenek verilen kriterler ve alt kriterler uyarınca
değerlendirilir. Bu çalışmada, iki alternatif olduğu varsayılmıştır: Yeşil yazılım ve yeşil
olmayan yazılım. Çalışmada, ANP yaklaşımı yeşil ölçütlerin önem derecelerini
(ağırlıklarını) hesaplamak için kullanılmıştır.
      </p>
      <p>
        Tablo 3. Değerlendirme yapılırken kullanılan ölçek
        <xref ref-type="bibr" rid="ref25">(Saaty, 2004)</xref>
        Önem derecesi
1
3
5
7
9
      </p>
      <p>Tanım</p>
      <p>Eşit önemde
Biraz daha önemli</p>
      <p>Daha önemli
Çok daha önemli</p>
      <p>Son derece önemli
4
4.1</p>
    </sec>
    <sec id="sec-3">
      <title>ANP Yaklaşımının Uygulanması</title>
      <p>Model Tasarımı
Öznel kriterlerin önceliklendirme prosedürü dört adımdan meydana gelir:
1. Kriter ve alt kriterlerin belirlenmesi.
2. ANP modelinin oluşturulması.
3. Bir anket yardımıyla ikili karşılaştırmaların yaptırılması.
4. Kriter ve alt kriterler arasındaki bağıntıların incelenmesi.</p>
      <sec id="sec-3-1">
        <title>Kriter ve Alt Kriterlerin Belirlenmesi.</title>
        <p>Bir yazılım ürününün sürdürülebilirliği ile ilgili ana kriterler, ilgili akademik
yazında verilenlere uygun olarak belirlenmiştir (Bölüm 2.3 ve Bölüm 2.4). Ardından,
ana kriterlerle doğrudan ilgisi olan kriterler, alt kriterler olarak belirlenmiştir. ANP
modelini kurmakta kullandığımız kriterler ve alt kriterlerin tamamı, Tablo 4’te
özetlenmiştir. Çevresel sürdürülebilirlik kriterleri arasında yer alan enerji tüketimi ve
CO2 salınımı, aslında sayısal olarak ölçülebilen değerlerdir. Bunların anket yoluyla
değerlendirilmesinin sebebi, bu kriterlerin yeşil bir yazılım geliştirilirkenki
önceliğini/önemini sayısıllaştırmaktır.</p>
      </sec>
      <sec id="sec-3-2">
        <title>ANP Altyapısı.</title>
        <p>Önerilen ANP modelinde, hedef, kriterler ve alt kriterler arasındaki ilişkiler Şekil
2’de gösterilmiştir. Önerilen karar modelinde iki seviye vardır. Hedef (yeşil ve
sürdürülebilir bir yazılım geliştirmek) ilk seviyede yer alır. İkinci seviyede kriterler
bulunmaktadır. Önerilen hiyerarşide, kriterler ve alt kriterler arasında içsel ve dışsal
bağlantılar olduğu varsayılmış ve bunlar oklarla gösterilmiştir.</p>
        <p>Tablo 4. Yazılım kalite ve sürdürülebilirlik kriterleri</p>
      </sec>
      <sec id="sec-3-3">
        <title>Yazılım Kalite Kriterleri (QC) (ISO / 9126-1, 2001)</title>
        <p>QC1
QC2
QC3
QC4
İşlevsellik
Güvenilirlik
Kullanılabilirlik</p>
        <p>Etkinlik
EC1
EC2
EC3
EC4</p>
        <p>Enerji Tüketimi
CO2 Salınımı
Yeşil Enerji Kullanımı</p>
        <p>Yeşil Yatırımın Geri Dönüşü
Çevresel Sürdürülebilirlik Kriterleri (EC) (Mahmoud ve Ahmad, 2012)</p>
      </sec>
      <sec id="sec-3-4">
        <title>Hedef: Yeşil</title>
        <p>bir yazılım
geliştirmek</p>
        <p>Yazılım
kalitesi: QC1,
QC2, QC3, QC4
Çevresel
sürdürülebilirlik:</p>
        <p>EC1, EC2, EC3,</p>
        <p>EC4
Şek. 2. ANP’de kullanılan kriterler ve hedef</p>
      </sec>
      <sec id="sec-3-5">
        <title>Anket ve İkili Karşılaştırmalar.</title>
        <p>
          Önerilen modelde sekiz kriter bulunmaktadır. Her bir elemanın hedef üzerindeki
etkisini belirleyebilmek için, bir anketten faydalanılmıştır. Her bir kriter ve alt kriter
grubu için, ayrı ayrı matrisler oluşturulmuştur. Anketler, on farklı Türk yazılım
şirketinde çalışan, on karar verici tarafından doldurulmuş ve verdikleri puanların geometrik
ortalaması alınmıştır
          <xref ref-type="bibr" rid="ref26">(Saaty ve Vargas 2006)</xref>
          .
        </p>
      </sec>
      <sec id="sec-3-6">
        <title>Kriter ve Alt Kriterler Arasındaki İlişkilerin Analizi.</title>
        <p>
          Son adım olarak, kriterlerin son ağırlıklarını hesaplayabilmek için, ANP’nin
gerektirdiği matris işlemleri yapılmıştır. Bu işlemleri yapmak için Super Decisions adlı
yazılım ürünü kullanılmıştır
          <xref ref-type="bibr" rid="ref8">(Creative Decisions Foundation, 2013)</xref>
          . Super Decision
yazılımı, ANP hiyerarşik modelini oluşturup, matris işlemlerini yapabildiğimiz,
kullanımı oldukça kolay bir araçtır. İkili karşılaştırma matrislerinin tutarlılık
indislerinin hepsi 0.1’den düşük çıkmıştır; yani karşılaştırmaların tutarlı olduğu
varsayılabilir.
        </p>
      </sec>
      <sec id="sec-3-7">
        <title>Sonuçlar.</title>
        <p>Tablo 5’teki gibi bir ikili karşılaştırma matrisinde, karar vericinin, yeşil ve
sürdürülebilir bir yazılım geliştirirken, hangi kriter kümesinin (yazılım kalitesi ve
sürdürülebilirlik kriterleri) daha önemli olduğunu değerlendirmesi beklenmektedir.
Tablo 3’te verilen Saaty’nin ölçekleri kullanılmış ve karar vericilerin cevaplarının
geometrik ortalaması alınarak tek bir değer oluşturulmuştur. Tablo 6(a, b) ise,
sırasıyla, yazılım kalitesi ile ilgili alt kriterlerin geometrik ortalaması ve çevreyle ilgili alt
kriterlerin geometrik ortalamasını vermektedir.</p>
        <p>Tablo 5. İki ana kriter grubuna ait ikili karşılaştırma matrisi
Tablo 6. (a) Kalite ile ilgili alt kriterlere ait ikili karşılaştırma matrisi (b) Çevreyle ilgili alt
kriterlere ait ikili karşılaştırma matrisi
(a)
QC1
QC2
QC3
QC4
(b)
EC1
EC2
EC3
EC4</p>
        <p>EC
QC
QC1
1
3
2
2
EC1
1
1/2
1/2
1</p>
        <p>EC
1
1/6</p>
        <p>QC
6
1
QC2
1/3
1
1/4
1/3
EC2
2
1
1/2
2
EC3
2
2
1
1</p>
        <p>QC4
1/2
3
1/3
1
EC4
1
1/2
1
1</p>
        <p>ANP yöntemi her bir karşılaştırma matrisine uygulanmış ve kriter ve alt kriterlerin
öncelik sıraları bulunmuştur. Tablo 7 ve Şekil 3’de sonuçlar ve Tablo 8’de ise bu
ağırlıklardan meydana gelen süpermatris yer almaktadır. Süpermatris, göreli öncelik
vektörlerinden oluşmaktadır. Süpermatrisin bir sütunundaki ağırlık değerlerinin
toplami bire eşitlenecek şekilde normalize edilerek oluşturulan matrise, normalize
edilmiş süpermatris denmektedir.</p>
        <p>Tablo 7. Kriter ve alt kriterlerin ağırlıkları</p>
      </sec>
      <sec id="sec-3-8">
        <title>Kriter</title>
      </sec>
      <sec id="sec-3-9">
        <title>Kalite</title>
        <p>Çevre</p>
        <p>Ağırlık
şirketler kullanıcıların talepleriyle, sürdürülebilirlik gereksinimleri arasında
ödünleşim problemleriyle karşı karşıya kalmaktadırlar. Bu çalışmada, bu gereksinimleri
önceliklendirmek için bir çok ölçütlü karar verme yaklaşımı olan ANP’den
faydalanılmıştır. ANP uygularken, kalite ve çevresel kriterler arasında bağıntılar olduğu
varsayılmıştır. Bunlar ışığında kriter ve alt kriterlerin ağırlıkları hesaplanmıştır.
Geleneksel ödünleşimler, birbiriyle çelişen kalite kriterleri arasında olur. Çalışmada bu
kriterlerin ağırlıklandırıldığından, ödünleşim problemlerinde bu değerler kullanılabilir
ve bu sayede daha doğru kararlar alınabilir. Kullanılan bu yaklaşım, herhangi bir
sektör veya faaliyet alanı için uygulanabilir.</p>
        <p>Bundan sonraki adımda, önerilen bu altyapı gerçek bir yazılım şirketine ait gerçek
verilerle çalıştırılacaktır. Şirkete ait bütçe, kaynak ve süre kısıtları göz önünde
bulundurularak, bir hedef programlama tasarlanabilir .</p>
        <p>Şek. 3. Kriterler ve alt kriterlerin ağırlıkları</p>
      </sec>
    </sec>
    <sec id="sec-4">
      <title>Kaynaklar</title>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Albertao</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Xiao</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tian</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lu</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zhang</surname>
            ,
            <given-names>K. Q.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Liu</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          (
          <year>2010</year>
          )
          <article-title>: Measuring the sustainability performance of software projects</article-title>
          . In e-Business
          <string-name>
            <surname>Engineering</surname>
          </string-name>
          (ICEBE),
          <year>2010</year>
          IEEE 7th International Conference on (pp.
          <fpage>369</fpage>
          -
          <lpage>373</lpage>
          ). IEEE, pp.
          <fpage>369</fpage>
          -
          <lpage>373</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Berander</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Damm</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Eriksson</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Gorschek</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Henningson</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jonsson</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kagstrom</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Milicic</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Martensson</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Renkko</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          , and
          <string-name>
            <surname>Tomaszewski</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          (
          <year>2005</year>
          ):
          <article-title>Software quality attributes and trade-offs</article-title>
          . Blekinge Institute of Technology.
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Bhattacharjee</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lim</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Malkemus</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mihaila</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ross</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lau</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>McArthur</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Toth</surname>
            ,
            <given-names>Z.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sherkat</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          (
          <year>2009</year>
          ):
          <article-title>Efficient index compression in DB2 LUW</article-title>
          ,
          <source>In Proceedings of the VLDB Endow</source>
          .
          <volume>2</volume>
          (
          <issue>2</issue>
          ), pp.
          <fpage>1462</fpage>
          -
          <lpage>1473</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Boehm</surname>
            ,
            <given-names>B.W</given-names>
          </string-name>
          , Brown,
          <string-name>
            <given-names>J.R.</given-names>
            ,
            <surname>Kaspar</surname>
          </string-name>
          ,
          <string-name>
            <surname>J.R.</surname>
          </string-name>
          (
          <year>1978</year>
          )
          <article-title>: Characteristics of Software Quality</article-title>
          ,
          <source>TRW Series of Software Technology</source>
          , Amsterdam, North Holland.
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Bowen</surname>
            ,
            <given-names>T.P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wigle</surname>
            ,
            <given-names>G.B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tsai</surname>
            , and
            <given-names>J.T.</given-names>
          </string-name>
          (
          <year>1985</year>
          )
          <article-title>: Specification of software quality attributes</article-title>
          ,
          <source>Technical Report RADC-TR-85-37</source>
          , Rome Air Development Center.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Calero</surname>
            <given-names>C.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Bertoa</surname>
            ,
            <given-names>M.F.</given-names>
          </string-name>
          (
          <year>2013</year>
          )
          <article-title>: 25010+S: A software quality model with sustainable characteristics. Sustainability as an element of software quality</article-title>
          .
          <source>GIBSE</source>
          <year>2013</year>
          , Fukuoka, Japan.
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Campanella</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ribeiro</surname>
            ,
            <given-names>R.A.</given-names>
          </string-name>
          (
          <year>2011</year>
          )
          <article-title>: A framework for dynamic multiple-criteria decision making</article-title>
          .
          <source>Decision Support Systems</source>
          ,
          <volume>52</volume>
          , pp.
          <fpage>52</fpage>
          -
          <lpage>60</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <given-names>Creative</given-names>
            <surname>Decisions</surname>
          </string-name>
          <string-name>
            <surname>Foundation.</surname>
          </string-name>
          (
          <year>2013</year>
          )
          <article-title>: Super Decisions (ver. 2.2.6) [Open source Software]</article-title>
          .
          <source>Retrieve February 2</source>
          ,
          <year>2013</year>
          . Available from: http://www.superdecisions.com.
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Gürbüz</surname>
            ,
            <given-names>T</given-names>
          </string-name>
          , Alptekin,
          <string-name>
            <surname>S.E.</surname>
          </string-name>
          and
          <string-name>
            <given-names>Işıklar</given-names>
            <surname>Alptekin</surname>
          </string-name>
          ,
          <string-name>
            <surname>G.</surname>
          </string-name>
          (
          <year>2012</year>
          )
          <article-title>: A hybrid MCDM methodology for ERP selection problem with interacting criteria</article-title>
          ,
          <source>Decision Support Systems</source>
          ,
          <volume>54</volume>
          , pp.
          <fpage>206</fpage>
          -
          <lpage>214</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10. IEEE Std.
          <fpage>061</fpage>
          -
          <lpage>1998</lpage>
          (
          <year>1998</year>
          )
          <article-title>: IEEE Standard for a SW Quality Metrics Meth</article-title>
          ., IEEE Computer Society.
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11. ISO/IEC 9126-
          <issue>1</issue>
          (
          <year>2001</year>
          )
          <article-title>: Information technology - Software quality characteristics and metrics - Part 1: Quality characteristics and subcharacteristics</article-title>
          , ISO, Int. Electrotechnical Commission, Geneva.
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Kazman</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Klein</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          , and
          <string-name>
            <surname>Clements</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          (
          <year>2000</year>
          )
          <article-title>: ATAM: Method for architecture evaluation (No</article-title>
          . CMU/SEI-2000
          <source>-TR-004)</source>
          . Carnegie-Mellon
          <source>Univ Pittsburgh PA Software Engineering Inst.</source>
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Karlsson</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wohlin</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          , and
          <string-name>
            <surname>Regnell</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          (
          <year>1998</year>
          )
          <article-title>: An evaluation of methods for prioritizing software requirements</article-title>
          ,
          <source>Information and Software Technology</source>
          ,
          <volume>39</volume>
          , pp.
          <fpage>939</fpage>
          -
          <lpage>947</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>Kern</surname>
            , E. Dick,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Naumann</surname>
            ,
            <given-names>S</given-names>
          </string-name>
          , Guldner,
          <string-name>
            <given-names>A</given-names>
            , and
            <surname>Johann</surname>
          </string-name>
          ,
          <string-name>
            <surname>T.</surname>
          </string-name>
          (
          <year>2013</year>
          ):
          <article-title>Green Software</article-title>
          and
          <string-name>
            <surname>Green Software</surname>
          </string-name>
          Engineering - Definitions, Measurements, and Quality Aspects,
          <source>In Proceeding of the First International Conference on ICR for Sustainability (Zurich)</source>
          , pp.
          <fpage>87</fpage>
          -
          <lpage>94</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          15.
          <string-name>
            <surname>Kipp</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jiang</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fugini</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          (
          <year>2011</year>
          ):
          <article-title>Green metrics for energy-aware IT systems</article-title>
          , IEEE Computer Society,
          <volume>42</volume>
          , pp.
          <fpage>241</fpage>
          -
          <lpage>248</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          16.
          <string-name>
            <surname>Kothiyal</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tarasov</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sehgal</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zadok</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          (
          <year>2009</year>
          )
          <article-title>: Energy and performance evaluation of lossless file data compression on server systems</article-title>
          ,
          <source>In Proceedings of ACM SYSTOR</source>
          <year>2009</year>
          :
          <article-title>The Israeli Experimental Systems Conference</article-title>
          , pp.
          <fpage>4</fpage>
          -
          <lpage>16</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          17.
          <string-name>
            <surname>Mahmoud</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ahmad</surname>
            ,
            <given-names>I.</given-names>
          </string-name>
          (
          <year>2012</year>
          )
          <article-title>: Green performance indicators for energy aware IT systems: Survey and assessment</article-title>
          , in
          <source>: Journal of Green Engineering</source>
          ,
          <volume>3</volume>
          , pp.
          <fpage>33</fpage>
          -
          <lpage>69</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          18.
          <string-name>
            <surname>Marciniak</surname>
            ,
            <given-names>J.J.</given-names>
          </string-name>
          (
          <year>2003</year>
          ): Encyclopedia of Software Engineering,
          <year>2003</year>
          , Wiley.
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          19.
          <string-name>
            <surname>McCall</surname>
            ,
            <given-names>J.A.</given-names>
          </string-name>
          (
          <year>1994</year>
          )
          <article-title>: Quality Factors, Encyclopedia of Software Engineering</article-title>
          , John Wiley &amp; Sons.
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          20.
          <string-name>
            <surname>Murine</surname>
            ,
            <given-names>G.E.</given-names>
          </string-name>
          (
          <year>1983</year>
          ):
          <article-title>Improving management visibility through the use of software quality metrics</article-title>
          ,
          <source>IEEE Computer Society's 7th International Computer Software &amp; Applications Conference</source>
          , pp.
          <fpage>638</fpage>
          -
          <lpage>639</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          21.
          <string-name>
            <surname>Naumann</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dick</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kern</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Johann</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          (
          <year>2011</year>
          ):
          <article-title>The GREENSOFT Model: A reference model for green and sustainable software and its engineering</article-title>
          ,
          <source>in: Sustainable Computing: Informatics and Systems</source>
          ,
          <volume>1</volume>
          , pp.
          <fpage>294</fpage>
          -
          <lpage>304</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          22.
          <string-name>
            <surname>Ruhe</surname>
            <given-names>G</given-names>
          </string-name>
          , Greer,
          <string-name>
            <surname>D.</surname>
          </string-name>
          (
          <year>2003</year>
          )
          <article-title>: Quantitative studies in software release planning under risk and resource constraints</article-title>
          .
          <source>In Proceedings of International Symposium on Empirical Software Engineering (ISESE)</source>
          , IEEE, Los Alamitos CA, pp.
          <fpage>262</fpage>
          -
          <lpage>271</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          23.
          <string-name>
            <surname>Ruhe</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Ngo-The</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          (
          <year>2009</year>
          ):
          <article-title>Optimized resource allocation for software release planning. Trade-off analysis for requirements selection</article-title>
          .
          <source>IEEE Transactions on Software Engineering</source>
          ,
          <volume>35</volume>
          , pp.
          <fpage>109</fpage>
          -
          <lpage>123</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref24">
        <mixed-citation>
          24.
          <string-name>
            <surname>Saaty</surname>
            ,
            <given-names>T.L.</given-names>
          </string-name>
          (
          <year>1980</year>
          ):
          <article-title>The Analytical Hierarchy Process</article-title>
          . New York: McGraw Hill.
          <source>Pittsburgh: RWS Publications</source>
          , 4922 Ellsworth Avenue, Pittsburgh, PA
          <volume>15213</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref25">
        <mixed-citation>
          25.
          <string-name>
            <surname>Saaty</surname>
            ,
            <given-names>T.L.</given-names>
          </string-name>
          (
          <year>2004</year>
          )
          <article-title>: Fundamental of the analytic network process-Dependence and feedback in DM with a single network</article-title>
          .
          <source>Journal of Systems Science and Systems Engineering</source>
          ,
          <volume>13</volume>
          (
          <issue>2</issue>
          ), pp.
          <fpage>129</fpage>
          -
          <lpage>157</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref26">
        <mixed-citation>
          26.
          <string-name>
            <surname>Saaty</surname>
            ,
            <given-names>T.L.</given-names>
          </string-name>
          , and
          <string-name>
            <surname>Vargas</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          (
          <year>2006</year>
          )
          <article-title>: Decision making with the Analytic Network Process: Economic, political, social and technological applications with benefits, opportunities</article-title>
          , costs, risks. Springer, NY.
        </mixed-citation>
      </ref>
      <ref id="ref27">
        <mixed-citation>
          27.
          <string-name>
            <surname>Tiwari</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Malik</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wolfe</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tien-Chien Lee</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          (
          <year>1996</year>
          )
          <article-title>: Instruction Level Power Analysis and Optimization of Software</article-title>
          .
          <source>The Journal of VLSI Signal Processing</source>
          ,
          <volume>13</volume>
          , pp.
          <fpage>223</fpage>
          -
          <lpage>238</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref28">
        <mixed-citation>
          28.
          <string-name>
            <surname>Zhu</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Aurum</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Gorton</surname>
            ,
            <given-names>I.</given-names>
          </string-name>
          , and
          <string-name>
            <surname>Jeffery</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          (
          <year>2005</year>
          )
          <article-title>: Tradeoff and sensitivity analysis in software architecture evaluation using analytic hierarchy process</article-title>
          ,
          <source>Software Quality Journal</source>
          ,
          <volume>13</volume>
          (
          <issue>4</issue>
          ), pp.
          <fpage>357</fpage>
          -
          <lpage>375</lpage>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>