Peer review is an evaluation process for the competence, significance and originality of researches by experts. Assigning qualified and relavant reviewers to papers is one of the such diffucult tasks. Authors submit the papers with their paper title, abstract, and keywords. Reviewers are needed to register and declare their expertise on the conference topics. Eventully, the conference chair has to realize assignment process by regarding information provided by both the authors and the reviewers. All these tasks are now done by all actors manually. This process takes quite some time and can become annoying. With developed distributed system, paper-to-review assigment is done automatically and evaluation process of many papers become possible in seconds.
Akademik çalışma (makale, bildiri vs.) değerlendirme işlemi çalışmanın
uzmanlarca yeterliliğinin, öneminin ve orijinalliğinin değerlendirilmesi için yapılmaktadır [
Hali hazırda var olan uygulamalarda akademik çalışma gönderim süreci
başlamadan önce konferans başkanı veya editörler, konferans veya derginin ilgilendiği
konuları belirlerler. Daha sonra hakemlerden ilgilendikleri konuları belirlemeleri istenir.
Çalışmanın gönderilme sürecinde ise yazarlardan konferans/dergi konularından
hangi(leri) ile çalışmanın uyuştuğu bilgisi alınır. Anlatılan bu sistemde yazarların
belirlediği konular çalışmanın konusu ile alakasız olabilmekte bu da hakem atama ve
değerlendirme sürecinin uzamasına sebep olmaktadır [
konusunun tespitinin yapılması,
atanması veya DBLP bibliyografyasındaki çalışma başlıklarına göre hakemlerin bulunması, Büyük veri analizi kapsamında birçok çalışmanın aynı anda değerlendirilmesi, metninden doğal dil işleme yöntemleri ile Çalışmanın geri kalanı şu şekilde organize edilmiştir. 2 bölümde, dağıtık mimari tabanlı olarak akademik çalışmalara hakem atanması yazılımı detaylı bir şekilde anlatılacaktır. 3. bölümde, önerilen mimari üzerinde gerçekleştirilen birtakım testler verilip tartışılacaktır. 4. bölümde literatürde hakem ataması ile ilgili var olan çalışmalar irdelenip son kısımda ise sonuçlar sunulacaktır. 2
Geliştirilen sistem temel olarak iki modülden oluşmaktadır: (1) Sistem kayıt ve yönetim modülü ve (2) Akademik çalışmaların değerlendirilmesi ve hakem ataması modülü. İlerleyen kısımlarda her bir aşama detaylı olarak açıklanacaktır.
da sisteme girilmesi istenmektedir. Yazar rolündeki kişilerden iseiselkivşe iletişim
bilgileri ile birlikte yaptıkları akademik çalışmayı (pdf veya rmwaotrınddaf)o sisteme
yüklenmesi beklenmaktedir. Tüm bilgiler ve akademik açlalrı,ş mJavascript Obje
Notasyonu (JSON) formatında NoSQL veritabanlarından doküman tabanlı CouchDB
veritabanı üzerinde tutulmaktadır. NoSQL kavramı 200n9ları so2010 başlarında
ortaya çıkmıştır. Bu sistemler klasik veritabanlarından büyük verileri konitlr-ol edeb
me, ölçeklenebilme, veri formatları, yönetebilme, sorgulara daha hızlı cevap alabilme,
eş zamanlı kayıt ve güncelleme işlemlerini gerçeklmleey,ebaiçık kaynak kodlu şg-eli
tirme sağlayabilme gibi yönlerden farklılıklar arzkt edtmire[
Modülü Çalışmaların
tık mimari yapısında gerçeklenmiştir. Burada MapReduce programlama par-adigm
sından yararlanılmıştır[
Çalıştırılacak algoritmanın çalıştığı düğüm ile kullanacağı verinin farkleı- makin lerde olması dağıtık sistemlerde paralel işlemede yavaşlığna olnaendebir durumdur. HDFS’de 6[] işleyicinin çalışacağı düğüm ile işleyeceği veri setinin buluün-duğu d ğümün yakın olması hedeflenmiştir. Veri yerelliği denen bu durum paralel işleme hızını artırmaktadır. MapReduce, dağıtık dosya sisteminin üstünde olduğundan veri yerelliği avantajından yararlanmaktadır. Bu modüle ait alt adımlar aşağıdaki gibidir: 1. Akademik çalışmadaki konular; direk çalışma başlığından veya özetinden elde edilebildiği gibi metin içinde en çok tekrar eden kelimelerin bulunma-seıdatve zarf gibi etkisiz kelimelerin (stop words) elenmesi ile geriye keaklalinnldaer dşe elde edilmiştir.
2. Akademik çalışma ataması yapılacak hakemlerin yaptıkları çalışma başlıkları dikkate alınarak tespit edilmgeseirçekleştirilmiştir. Burada bilgisayar bilimleri ny-ayı ların bir çoğunun tutulduğu DBLP kütüphanesin7d]enya[rarlanılmıştır. DBLP ivle-r rine resmi sitesinden erişmek mümkü.nXdüMr L formatında verilen bilgileri ayrraı-ştı rak yayın başlıklarından hakem bilgisine erişilmiştir.
3. Bu aşamada elimizde şu şekilde kelime kümeleri vardır: hakem ataması
yapılacak yayına ait ayırt edici anahta kelimeler {Y1, Y2, .....Ym} ve bir önceki adımda elde
edilen herbir çalışmaya ait kelimeler {H1, H2, .....Hn}. Yukarıdaki örnek için B seti
şunlardır: {kd-tree, and, quad-tree, decompositions, for, declustering, of, 2D, range,
queries, over, uncertain, space,}. Hakem ataması işlemi Eşitlik 1’de verilen benzerlik
faktörüne (BFYmHn) göre yapılmaktadır [
adet(Ym adet(Ym Hn) Hn) (1)
Sonuç olarak geliştirdiğimiz yazılım sayesinde akademik çalışmalara otomatik olarak hakem ataması yapılabilmektedir. Bu eşleştirme yapılırken akademik çalışma içerisinde en fazla geçen kelimeler, özet ve başlık bölümlerindeki kelimeler dikkate alınmaktadır. Her bir kelime grubu üzerinde ayrı ayrı eşleştirme yapılabildiği gibi bunların kombinasyonları dikkate alınarak atama yapılabilir. Örnek veriseti olarak 2014 IEEE 27th Conference on Software Engineering Education and Training (CSEE&T) konferansında yer alan çalışmalar kullanılmıştır. Bu çalışmalar pdf formatında olup 35 tanedir (60 MB). Her bir çalışmanın konusu bölüm 2.2’de anlatıldığı gibi başlık, özet ve metinden elde edilmiştir. Bu çalışmalara hakem ataması yapmak için hakemler (64 kişi) konferansın web sayfasında yer alan komiteden elde edilmiştir (http://conferences.computer.org/cseet/2014/). Hakemlere ait ilgi alanları DBLP tarafından sunulan XML dosyasından elde edilmiştir. Atama işlemi çalışmanın metni, başığı ve özetine göre ayrı ayrı değerlendirildiği gibi hepsini birden dikkate alarak yapılmıştır. Toplam 35 dokumana hakem atama işleminin ne kadar sürede yapıldığı Tablo 1’de özetlenmiştir. Burada hakem sayısının doküman sayısından fazla olması herhangi bir sorun teşkil etmemektedir. Önemli olan hakemlerin çalışma alanlarına uygun olarak atama işleminin yapılabilmesidir.
Özet, Başlık ve En Fazla Geçen Kelimelere Göre
Atama Özet Kısmına Göre Atama En Fazla Geçen Kelimelere Göre Atama Başlığa Göre Atama
4414
En fazla sürede özet, başlık ve metinde geçen kelimelere göre atama yapılmasının
sebebi hakem çalışma alanları ile benzerlik araştırmasının yapıldığı kelime sayısının
daha fazla olmasındandır. Diğerleri de kelime sayılarının karşılaştırılmasına göre
değişik süreler tutmuştur. Bu sistem sayesinde akademik çalışmalara hakem ataması
konusunda büyük zaman kazanımı sağlanmıştır. Bu kolaylık ile birlikte bu sistemin
geliştirilmesi aşamasında büyük verilerin analizi konusunda bilgi birikimi edinilmiş
ve deneyim kazanılmıştır [
Genel olarak hakem atama yöntemleri literatürde iki kategoride incelenmektedir: (1) tercih tabanlı ve (2) konu tabanlı veya bilgi bulma tabanlı yaklaşımlar. Tercih tabanlı sistemlerde genelde sisteme yüklenen tüm çalışmalar veya hakemlerin ilgi alanlarına kısmen daha yakın olanlar listelenir. Hakemlere bu çalışmalar gönderilir, onlardan ilgilendiklerini seçmeleri beklenir. Bu sistemin zayıf yönü, çalışnm-alar gö derildikten sonra hemen hakemler tarafından değerlendirmeye kabul edilmemeleri ve sürecin iyice uzamasıdır. Rigau1x1] [ işbirlikçi filtrelemeye dayalı tercih tabanlı bir sistem önermiştir. Temel mantık, aynı akademik çalışmaları değerlendirmeyi kabul eden hakemler muhtemelen diğer çalışmalar için de aynı tercihte bulunacna-ktır şekli dedir. Konu tabanlı yaklaşımda, belirli bir derecede akademik çalışmanın konusundan haberdar olan hakemlere çalışmalar atanmaktadır. Bu yaklaşımda her hakem ilgili çalışmanın konularına göre derecelendirilir ve en yüksek puana/dereceye a-sahip h kem(ler) çalışmayı incelemek için atanır. Buradaki problemse akademik çalışmanın kapsadığı konuları otomatik olarak sapmaktır. Literatürde ikinci kısımla şil-gili çalı malarda genellikle akademik çalışmanın özetinden ve anahtar kelimelerindean- yararl nılmıştır. Dumais ve Nielse1n2] [ hakem atama işlemini, terim ve metinler arasındaki kalıpları bulmaya çalışan Gizli Anlamsal İndeksleme yöntemi ile gerçeklemişlerdir. Basu ve diğ1.3][ çalışmalarında web üzerinden arama motoru yardımıyla potansiyel hakemler tarafından yazılan çalışmalardan özetler çıkarılıp Vektör Uzay Modeli ile eşleştirme işlemi gerçekleştirilmiştir. Literatürde ayrıca her iki yaklaşıamnaın kull çalışmalar da mevcuttur14][. Yaptığımız araştırmalar neticesinde literatürdekiş- çalı malarda akademik çalışmaların hakem ataması sıralı olarak yapılmaktadır.s-Yani si teme yüklenen her bir çalışma için önerilen yöntemler çalıştırılmaktadır. aB-u çalışm da ise konu tabanlı olarak dağıtık sistem mimarisinde birçok çalışma için aynı anda hakem ataması yapılmaktad. ır
Geliştirilen yazılım sayesinde akademik çalışmalara hakem ataması konuüs-unda b yük zaman kazanımı sağlanmıştır. Bu kolaylık ile birlikte bu sistemin geliştirilmesi aşamasında büyük verilerin analizi konusunda bilgi birikimi edinilmiş ve deneyim kazanılmıştır. Benzer şekilde hakem ataması yapılacak yayının anahtaerlerkiedleim işin içine katılabilir veya yayından elde edilen kelime setinin anahtar kelimelere olan uygunluğu araştırılabilir. Ayrıca sisteme kayıtlı hakemlere adil veya adile ı-yakın say da çalışmayı incelemesi için gönderilmesi gelecek çalışmalar arasıKndualldaınr.ılan benzerlik faktörü, sadece iki kelime seti içinde geçen ortak kelimelere bakmaktadır.
Kaynaklar