Increased popularity of open source software has led to a considerable proliferation of alternative software. However, this being the case, an evident lack of academic studies that would contribute to the evaluation of open source software for organizations has turned the process of selecting the most suitable open source software product that meets the users' quality requirements into an appealing research problem. In this study, a comprehensive method to solve this problem has been obtained from the synthesis of existing studies in the literature with our contribution, which enables product evaluation using both code-based and community-based assessment. In order to perform code-based evaluation, internal attributes of the latest quality model ISO 25010 were used, and the proper metrics were employed in an attempt to measure these attributes. Furthermore, to perform community-based evaluation, metrics obtained from historical data such as e-mailing lists, program reports, frequently asked questions, etc. were utilized.
Açık kaynak yazılımlar, kaynak kodları özel bir telif hakkı lisansı (copyright) ile
herkesin incelemesine, kullanımına ve dağıtımına açılan böylece kullanıcıya yazılımı
değiştirme özgürlüğü sunan ve dünyanın her tarafından bilişim uzmanlarınca imece
yöntemi ile endüstri standartlarında geliştirilen yazılımlardır [
Açık kaynak yazılım kullanımı son yıllarda büyük oranda artmıştır. Bu yazılımların tercih edilmesinin sebebi geçmişten günümüze farklılık göstermektedir. Geçmiş yıllarda açık kaynak yazılım kullanımının ana sebebi mevcut kod tabanının ihtiyaca göre değiştirilip tekrar kullanımının kaynak ve zaman tasarrufu sağlaması iken (tekrar kullanılabilirlik), son yıllarda bu sebeplere ek olarak açık kaynak yazılımların yüksek kaliteli, güvenli ve güvenilir olarak algılanmaya başlanması da kullanımdaki bu artışı hızlandırmıştır. Böyle algılanmasındaki temel sebep ise bu yazılımların birçok geliştiricinin dikkatli incelemesinden geçmiş ve dolayısıyla hatalarından arındırılmış olduğunun kabul edilmesidir.
Avrupa Birliği, UNESCO, Dünya Bankası gibi kuruluşlar yukarıda zikredilen
gerekçelerle açık kaynak yazılımların kullanımını önermektedirler. Nitekim Almanya,
İspanya, Meksika, Brezilya, Çin, Kore, Hindistan gibi birçok ülke, kamu kurumlarında
açık kaynak kodlu yazılımlarının kullanımını benimsemiş ve bilgi toplumu
stratejilerinin bir parçası yapmışlardır [
Şekil 1’de verilen Black Duck Software ve North Bridge Venture
organizasyonlarının raporuna göre, özellikle 2010 yılından sonra açık kaynak yazılımlara ilgi dikkat
çekecek şekilde artmıştır. Geçmiş yıllarda Michael Skok: “Yazılımlar dünyayı ele
geçiriyor (İngilizcesi: Software is eating the world).” demiştir. Fakat günümüzde yine
aynı organizasyonların güncel raporuna göre bu algı değişmiştir ve “Açık kaynak
yazılımlar yazılım dünyasını ele geçiriyor (İngilizcesi: Open source software is eating the
software world)” haline dönüşmüştür [
)2500 inb2000 ( ıs1500 ı y sa1000 jeo 500 r P 0 2006 2008 2010 yıllar 2012 2014 Şekil 1. Açık kaynak yazılımı kullanımının yıllara göre değişimi
Açık kaynak yazılım ürünlerinin popülerliği bu derece artmışken, ticari
yazılımlarda olduğu gibi en büyük problem bu yazılım ürünlerini değerlendirme ve seçme
işlemidir [
Bu çalışmada bu konudaki eksikliği giderebilmek için literatürdeki çalışmalardan bir sentez yapılarak kendi katkılarımızla beraber bu süreçte kod-tabanlı (code-based) ve toplum-tabanlı (community-based) olmak üzere iki açıdan değerlendirme imkânı sunan bir metot geliştirilmesi hedeflenmiştir. Kod–tabanlı değerlendirme yapılırken, yazılımın kaynak kodları analiz edilerek ISO 25010 kalite modelinde listelenen içsel öznitelikler arasından ihtiyaç sahibi tarafından önemli görülenler seçilerek uygun metriklerle ölçülmektedir. Toplum-tabanlı değerlendirme yapılırken ise açık kaynak yazılım ürünleriyle birlikte sağlanan kaynak kod ve geliştirme süreci hakkındaki tarihsel verilerden faydalanarak elektronik posta listeleri, problem (hata) raporları ve sıkça sorulan sorular vb. gibi tarihsel verilerden elde edilen metrikler değerlendirilmektedir.
Bölüm 2’de konuyla ilgili çalışmalardan bahsedilecek, Bölüm 3’te bu çalışma kapsamında geliştirilen bu kapsamlı metot tanımlanacak ve ilgili süreç adımları açıklanacaktır. Bölüm 4’te geliştirdiğimiz metodun iki açık kaynak yazılım ürününe uygulanmasını içeren doğrulayıcı bir vaka çalışması (case study) takdim edilecek ve elde edilen bulgular analiz edilecektir. Bölüm 5’de ise sonuçlar ve gelecek çalışmalarla bildiri sonlandırılacaktır. 2
İlgili Çalışmalar
Literatürde açık kaynak yazılımların kalite özelliklerinin değerlendirilmesine ilişkin az
sayıda çalışma bulunmuş, fakat bu çalışmalarda önerilen metotları derinlemesine
karşılaştıran ve analiz eden bir çalışma bulunmamaktadır. Bu alanda en önemli
çalışmalardan bir tanesini Wheeler yapmıştır [
Bu alanda çalışma yapanlardan Deprez ve Alexandre [
Literatürde göze çarpan diğer bir çalışmada ise Sung, Kim ve Rhew [
Yukarıda verilen çalışmalar incelendikten sonra, bu çalışmada literatürde mevcut çalışmalardan bir sentez yapılarak kendi katkılarımızla beraber açık kaynak yazılımları hem kod-tabanlı hem de toplum-tabanlı değerlendiren kapsamlı ve iki boyutlu bir metot geliştirilmesi hedeflenmiştir. Şekil 2’de ticari yazılımların değerlendirilmesi ile ilgili alt kısımda literatürdeki değerlendirme metotları özetlenmiş ve açık kaynak yazılımların değerlendirilmesi ile ilgili üst kısımda ise bu çalışma kapsamında geliştirilen metot özetlenmiştir. Şekil. 2. Yazılım (kalite) değerlendirme metotları a) Önerilen metot b) Ticari yazılımlara yönelik mevcut metotlar
Ticari yazılımlar değerlendirilirken kodun iç yapısı bilinmediğinden dolayı, dış
öznitelikler (external attributes) kullanılır ve literatürde bulunan bazı karar-verme
(decision-making) teknikleriyle aday yazılım ürünlerine skorlar verilip siyah-kutu
değerlendirmesi (black-box evaluation) ile ihtiyaçlarımızı karşılayan en optimum yazılım seçilir
[
İki boyutlu değerlendirme metodu Bu çalışmada Şekil 2’de gösterildiği gibi kod-tabanlı ve toplum-tabanlı olarak iki boyutlu bir değerlendirme metodu önerilmiştir. Kod-tabanlı değerlendirme yapılırken ISO 25010 modelinden seçilen – kullanıcı tarafından öncelikli görülen - içsel öznitelikler metriklerle ilişkilendirilmiş ve bu metrikler kullanılarak kodun kalite öznitelikleri (quality attributes) ölçülerek alternatifler arasından en ideali seçilmeye çalışılmıştır.
Toplum-tabanlı değerlendirme yapılırken, açık kaynak yazılımlar ile birlikte sağlanan ve süreç tarihçesini açıklayan veriler ve dokümantasyon kullanılmıştır.
Geliştirdiğimiz metot aşağıda detaylandırılan dört aşamadan oluşmaktadır. 3.1
Bu aşamada ihtiyaç sahipleri öncelikle hangi çeşit yazılım ürünü için değerlendirme yapacaklarını belirlemelidirler. Bu doğrultuda piyasada var olan, gereksinimlerini karşılayacak aday yazılım ürünlerini araştırmalıdırlar.
İhtiyaç duyulan aday açık kaynak yazılım ürünlerini ararken akla ilk gelen yöntem, bir internet arama motoru (Google, Yandex, Yahoo, vb.) kullanarak arama yapıp değerlendirme yapacağımız aday ürünleri belirlemektir. Eğer arama yapacağımız ürün ismini biliyorsak ona rakip olabilecek isimleri bulmaya yönelik araştırma yapmak ta uygun olur. Eğer arama yapılacak ürün ismi tam olarak bilinmiyorsa, aday olacak ürünlerden herhangi birini gözden kaçırmamak için ürün ismi ile ilgili bütün kombinasyonlar denenmelidir. Örneğin, X formatını Y formatına dönüştüren bir yazılım ürünü için arama yaptığımızda, X2Y, XtoY gibi çeşitli kombinasyonlar denenmesi lazımdır.
Arama yaparken kullanılabilecek ikinci yöntem ise ürünlerin kodlarını ve
dokümanlarını sağlayan sitelerden (Apache, SourceForge, Debian ve Savannah, vb.) aday açık
kaynak yazılım ürünlerini belirlemektir. Bütün bu araştırmaları yaparken ürünlerin açık
kaynak yazılım lisanslarına (General Public Licence (GPL), Library or Lessor General
Public Licence (LGPL), BDS-style, vb.) sahip olduğuna dikkat etmek lazımdır [
Bu aşamada, belirlenen açık kaynak yazılım ürün alternatiflerinin hangi kalite özniteliklerine göre değerlendirileceği ve karşılaştırılacağı belirlenir. Geçmişten günümüze önerilen kalite modellerinden en bilinirleri McCall (1977), Boehm (1978), FURPS (1992), Dromey (1995) ve ISO 9126 (2001) modelleridir. Farklı kalite modellerinin içerdiği öznitelikler (attributes) farklılık göstermektedir. Bazıları önceki modellere yeni öznitelikler eklerken, bazıları ise öncekileri kendi modellerinden çıkarmıştır.
Biz bu çalışmamızda Tablo 1’de gösterilen ve bütün modellerde önerilen ortak
öznitelikleri ölçmeye çalışacağız. Tabloda da görüldüğü gibi geçmişten günümüze bütün
modellerin önerdiği ortak özniteliklerin verimlilik (efficiency), güvenilirlik
(reliability), fonksiyonellik (functionality), taşınabilirlik (portability), kullanılabilirlik
(usability) ve bakım yapılabilirlik (maintainability) olduğu görülmektedir [
Tablo 1. Boehm, McCall, FURPS, ISO 9126 ve Dromey'in kalite modelleri (ortak öznitelikler)
Verimlilik (Efficiency) Güvenilirlik (Reliability) Fonksiyonellik (Functionality) Bakım yapılabilirlik (Maintainability) Taşınabilirlik (Portability) Kullanılabilirlik (Usability)
X X X X
X X X X X
X X X X X ISO 9126 X X X X X X
X X X X X X 3.3
İhtiyaçlar doğrultusunda elde edilen açık kaynak yazılım alternatiflerinin nicel olarak değerlendirilmesi için uygun metriklerle ilişkilendirilmesi lazımdır. Kod-tabanlı değerlendirme yapmak için belirlenen öznitelikler direk olarak ölçülemeyeceğinden dolayı uygun metrikler belirlenir.
Fonksiyonel uygunluk Güvenilirlik Performans verimliliği İşletilebilirlik
Tablo 2. ISO 25010 kalite öznitelikleri
İçsel öznitelikler uygunluk, doğruluk, birlikte işlerlik, güvenlik, uyumluluk olgunluk, hata dayanıklılığı, geri kazanılabilirlik, uyumluluk zamana göre davranış durumu, kaynak kullanımı, uyumluluk uygunluk, tanınabilirlik, kullanım kolaylığı, öğrenilebilirlik, çekicilik, teknik ulaşılabilirlik, uyumluluk gizlilik, bütünlük, inkar edilememe, hesap verebilirlik, aslına uygunluk, uyumluluk değiştirilebilirlik, birlikte varolabilme, birlikte işlerlik, uyumluluk modülerlik, tekrar kullanılabilirlik, çözümlenebilirlik, değişebilirlik, değiştirilebilme kararlılığı, sınanabilirlik, uyumluluk taşınabilirlik, adapte olabilirlik, yüklenebilirlik, uyumluluk
Toplum-tabanlı değerlendirme yapabilmek için ise ürünün internet sitesinin bize sağladığı birçok tarihsel arşivlenmiş veriler (elektronik postalar, sıkça sorulan sorular, problem ve hata raporları, vb.) kullanılır. Bu verileri değerlendirebilmek için analiz aşamasında kullanılabilecek nitelikte uygun metrikler bulunmaya çalışılır. Daha sonra ilişkili metrikler yorumlanarak alternatif ürünlerden hangisinin ihtiyaçlarımıza en uygun olduğu belirlenmeye çalışılır. 3.4
Bu son aşamada kod-tabanlı değerlendirme yapmak için ihtiyaçlarımıza göre belirlenen
ve nicel değerler elde etmek için metriklerle ilişkilendirilen kalite öznitelikleri analiz
edilir. Metriklerden nicel değerler elde etmek için yazılım ürünün açık kaynak kodu
kod analiz araçları (code analyzer tools) ile ölçülür. Elde edilen bu nicel değerler
sayesinde her bir metrik ile ilişkili kalite öznitelikleri yorumlanır. Eğer belirlenen kalite
öznitelikleri için ölçülen değerler bir kaç aday ürün için birbirine yakın çıkmışsa veya
değerlendirmede kararsız kalınan ürünler arasında derinlemesine analiz yapılmak
isteniyorsa temsili model veriler (representetive dummy data) oluşturularak ölçmek
istenilen özniteliklere uygulanır ve sonuçlar analiz edilir [
Vaka Çalışması
Bu kısımda vaka çalışması olarak aynı amaca yönelik olan (amaç: kod derleme/build aracı) ve pratikte benzer popülerliğe sahip iki tane aday açık kaynak yazılım ürünü ele alınmış ve bu ürünler çalışmamızda önerdiğimiz metot kullanılıp değerlendirilerek bizim için en ideal olanı seçilmeye çalışılmıştır. Değerlendirme yapılacak ürünlerin (Apache Ant ve Apache Archiva) detayları Tablo 3’te gösterilmiştir.
Ürün özellikleri İnternet sitesi Ürün türü Prog. dili Ürün statüsü İncelenen sürüm Üretim yılı E. posta arşivi Hata listeleri
http://ant.apache.org/ Java tabanlı derleme aracı JAVA Aktif Apache ant 1.9.7 (2016-04-12) 2000 http://ant.apache.org/mail.html http://issues.apache.org/bugzilla/buglist.cgi?product=Ant
http://archiva.apache.org/ Java tabanlı derleme aracı JAVA Aktif Apache archiva 2.2.0 (2015-03-02) 2006 http://archiva.apache.org/mail-lists.html http://issues.apache.org/jira/browse/MRM 4.2
Özniteliklerin ve metriklerin belirlenmesi
Aday yazılım ürünleri belirlendikten sonra, kod-tabanlı değerlendirme yapmak için
öncelikle ölçülmek istenen öznitelikler belirlenmelidir. Bu vaka çalışmasında Tablo 1’de
gösterilen bütün kalite modelleri tarafından önerilmiş özniteliklerden biri olan bakım
yapılabilirlik (maintainability) seçilmiştir. Bu özniteliği direk olarak ölçemediğimiz
için bu öznitelikle ilişkili Tablo 2’de gösterilen ve ISO 25010’nun tanımları
kullanılmıştır. Daha sonra literatürde kullanılan metrikler araştırılmış ve her bir içsel
özniteliğin nicel olarak ölçülmesi için Tablo 4’te gösterilen uygun metrikler bulunmuştur [
Tablo 4. Metriklerin listesi ve kısaltmaları
Nesne Sınıfları Arasındaki Bağımlılık (CBO)
Tablo 5. Kod-tabanlı değerlendirme sonuçları 4.3
Kod-tabanlı değerlendirmede elde edilen metriklere göre şu sonuçlar elde edilmiştir:
DIT metriği sınıfın kalıtım ağacının köküne uzaklığını ölçer [
WMC metriği bir sınıftaki metotların karmaşıklık derecesi ve sayısıdır [
LOC metriği metotların birbiriyle benzerlik derecesini ölçer [
RFC metriğinin değeri bir sınıftan bir nesnenin metotları çağırılması durumunda, bu
nesnenin tetikleyebileceği tüm metotların sayısıdır. Yani, bir sınıfta yazılan ve çağrılan
toplam metot sayısıdır [
NOC metriği bir sınıftan türetilmiş alt sınıfların sayısını ölçer. Bu metriğin değerinin
fazla olması yeniden kullanımının yüksek olduğu, daha çok hatanın oluşabileceğini
[
CBO metriği sınıfın bağlı olduğu sınıf sayısını ölçer. Bu bağımlılık sınıf içerisindeki
bazı özelliklerin veya metotların başka sınıflarda, sınıflar arasında kalıtım olmaksızın
kullanılması durumundaki bağımlılıktır [
CC metriği program kaynak kodunun akışının birbirinden bağımsız yolları takip etme oranını ölçer ve direk kodun karmaşıklığı ile ilgilidir. Bu metriğin değerinin büyük olması istenmeyen bir durumdur ve kaynak kodun çözümlenebilirliğine etki eder. Dolayısıyla çözümlenebilirlik bakımından Apache Archiva ürünü diğer ürüne göre biraz daha üstündür.
NNL metriği bir sınıf içerisindeki döngülerin iç içe geçme derinliğini ölçer ve ne kadar büyük bir değer alırsa kodun sınanabilirliği ve kararlılığı azalır. Dolayısıyla bu metriğin sonuçlarına göre sınanabilirlik ve kararlılık açısından Apache Archiva ürünü diğer üründen öndedir.
NOS ve CCF metrikleri program içerisindeki karmaşıklığı azaltmak adına bize yol gösterecek yorumların ve açıklamaların sıklığını ölçer. Programın takip edilmesini ve çözümlenebilmesini kolaylaştırır. Tablo 5’teki sonuçlara baktığımızda NOS metriği açsından çözümlenebilirlik için Apache Archiva ürünü üstünken, CCF metriği için Apache Ant ürünü üstündür.
Sonuçlardan da görüldüğü gibi kod-tabanlı değerlendirme açısından Apache Archiva Apache Ant yazılım ürününe göre daha üstün özelliklere sahiptir. Tablo 5’te verilen ISO 25010’nun içsel öznitelikleri (çözümlenebilirlik, değişebilirlik, ...) bakım yapılabilirliğin ölçülmesini kolaylaştıran alt öznitelikler olduğu düşünüldüğünde, genel manada Apache Archiva açık kaynak yazılım ürünü ileride değişen ihtiyaç sahibi isteklerine göre yenilenebilen ve çok daha kolay adapte olabilen bir yapıya sahiptir.
Belirlenen aday yazılım ürünleri arasında toplum-tabanlı değerlendirme
yapılabilmesi için yazılım ürünlerinin internet sitesindeki tarihsel verilere – elektronik posta
arşivi ve problem raporlarına – erişilmiştir. Bu verilerin depolanması için açık kaynak
yazılım ürününün internet sitesinde bulunan Concurrent Version Control (CVS) arşivi
ve Problem Reporting Database (BUGDB) gibi veri tabanları kullanılmaktadır [
yıllar Apache ANT
Apache ARCHIVA Şekil. 3. Elektronik posta sayılarının yıllara göre değişimi
Elektronik posta verilerinin Şekil 3’te gösterildiği sonuçları şu şekilde analiz edilmiştir: Apache Ant yazılım ürünü (2000 yılı) Apache Archiva yazılım ürününe (2006 yılı) göre daha eski bir üründür. Apache Ant ürünü üretildiği ilk yılda üreticiler arasındaki ürün hakkında teknik tartışmalar ve ürün ile ilgili eksiklikler içeren mesajlaşma sayısı yıllık 8.000 civarındadır. 2002 yılına gelindiğinde ürün ile ilgili teknik sıkıntılardan dolayı bu sayı 18.000 civarına çıkmıştır. 2002 yılından sonra bu mesajlaşma trafiği azalan bir tutum sergilemiş ve 2016 yıllarına geldiğimizde 150 civarına kadar düşmüştür. Görüldüğü gibi Apache Ant ürününün standart bir ürün haline gelmesi 16 yıllık bir süreç almıştır. Şu anda bile az da olsa ürünün eksiklikleri ve teknik tartışmalar devam etmektedir.
Apache Archiva yazılım ürünü Apache Ant ürününe göre daha yeni bir ürün olmasına rağmen piyasaya sürüldüğü ilk yılda sayı olarak yıllık 900 civarında mesajlaşma trafiği ile başlarken bu sayı giderek düzenli olarak azalmış ve 2016 yılına geldiğimizde sayı olarak yıllık 30 civarına düşmüştür. Apache Ant’a göre daha kısa sürede daha az mesajlaşma trafiği ile standart bir ürün haline gelmiştir. Bu yüzden iki ürün arasındaki üreticiler arasındaki mesajlaşma trafiği dikkate alındığında Apache Archiva yazılım ürünü diğerine göre açık ara üstünlük sağlamıştır.
Çözülen hata sayısı
Apache Archiva 5.962 1.873 5.135 1.654 %86,13 %88,30
Tablo 6’da gösterilen problem raporlarının sonuçlarına göre Apache Ant yazılım ürününün toplam hata (bug) sayısının 5.962 olduğu ve bunların 5.135 tanesinin çözüldüğü görülmektedir. Bu sonuçlara göre bu ürünün hataların bulunup çözümlemesindeki başarı oranı %86,13 olduğu görülmektedir. Apache Archiva ürününde ise toplamda 1.873 hatanın 1.654 tanesi çözülmüş ve başarı oranı Apache Ant yazılım ürününden daha yeni bir ürün olmasına rağmen %88,30 çıkmıştır. Bu oran Apache Archiva ürününün bulunan hataları çözmede daha başarılı olduğunu göstermiştir.
Tablo 7. Bulunan hataların önem derecelerine göre dağılımları
(Blocker) %13 %1
(Critical) %14 %5
Büyük (Major) %40 %79
Küçük (Minor) %31 %14 Önemsiz (Trivial) %2 %1
Tablo 7’de toplam hata sayılarının önem derecelerine göre dağılımları gösterilmiştir. Bulunan bu hata çeşitlerinin ürün üzerindeki etkileri farklı olacağından bu hatalara (Engelleyici=5, Kritik= 4, Büyük= 3, Küçük=2 ve Önemsiz=1) önem sırasına göre ağırlık verilmiş ve bu hataların ürün üzerindeki etkisi ise şu şekilde hesaplanmıştır:
: (13x5)+(14x4)+(40x3)+(31x2)+(2x1) = 305
: (1x5)+(5x4)+(79x3)+(14x2)+(1x1) = 291 (1) (2)
Denklem 1 ve Denklem 2 incelendiğinde Apache Ant ürünü pazara çıkış süresinden itibaren karşılaştığı hataların daha ciddi hatalar olduğu anlaşılmaktadır. Bu sonucun ise ürün seçiminde tercih edilebilirliği negatif yönde etkileyebileceği düşünülmektedir.
Dolayısıyla hem kod-tabanlı değerlendirme sonuçlarına hem de toplum-tabanlı değerlendirme sonuçlarına göre iki aday yazılım arasında Apache Archiva ürününün Apache Ant ürününe göre daha tercih edilebilir ürün olduğu sonucu çıkarılmıştır. 5
Sonuçlar ve Gelecek Çalışmalar Bu çalışmada ihtiyaç sahiplerinin alternatif açık kaynak yazılım ürünleri arasından kendi gereksinimlerine göre değerlendirme ve seçme yaparken takip edecekleri standart bir yöntem konusunda yeterli akademik çalışma bulunmayışından yola çıkılmıştır. Bu eksikliği gidermek için literatürdeki yöntemler analiz edilmiş ve kapsamlı bir iki boyutlu yöntem geliştirilmiştir. Bu yöntemle açık kaynak yazılım ürününün hem kod-tabanlı hem de toplum-tabanlı değerlendirilmesi yapılmıştır. Bu geliştirilen yöntemi desteklemek için bir vaka çalışması yapılmış ve aynı maksada yönelik iki alternatif ürün arasından kalite gereksinimlerini daha iyi karşılayan ürün seçilmeye çalışılmıştır. Özellikle toplum tabanlı değerlendirmeye yönelik değerlendirmeler henüz başlangıç seviyesinde olmasına rağmen, tartışmaları tetikleyici ve bundan sonraki çalışmalara yol gösterici niteliktedir.
Bu geliştirdiğimiz yöntem gelecekte, kod-tabanlı değerlendirme yapmak için Tablo 1’de görülen kalite modellerinin hepsinin ortak olarak önerdiği tüm öznitelikler için uygulanmaya çalışılacaktır. Ayrıca toplum-tabanlı değerlendirme yapmak için açık kaynak yazılım ürünleri internet siteleri derinlemesine analiz edilip değerlendirme yapmak için yeni tarihsel veriler ve veri analiz yaklaşımları bulunmaya çalışılacaktır.