=Paper=
{{Paper
|id=Vol-1980/UYMS17_paper_81
|storemode=property
|title=Yazilim Muhendisligi Egitiminde Ders Ogrenme Ciktilarinin Olcumlenmesi Uzerine Bir Durum Calismasi(A Case Study on Measuring Course Learning Outcomes in Software Engineering Education)
|pdfUrl=https://ceur-ws.org/Vol-1980/UYMS17_paper_81.pdf
|volume=Vol-1980
|authors=Murat Karakaya,Cigdem Turhan,Ali Yazici
|dblpUrl=https://dblp.org/rec/conf/uyms/KarakayaTY17
}}
==Yazilim Muhendisligi Egitiminde Ders Ogrenme Ciktilarinin Olcumlenmesi Uzerine Bir Durum Calismasi(A Case Study on Measuring Course Learning Outcomes in Software Engineering Education)==
https://ceur-ws.org/Vol-1980/UYMS17_paper_81.pdf
Yazılım Mühendisliği Eğitiminde Ders Öğrenme
Çıktılarının Ölçümlenmesi Üzerine Bir Durum Çalışması
Murat Karakaya, Çiğdem Turhan ve Ali Yazıcı
1 Atılım Üniversitesi, Ankara
{murat.karakaya, cigdem.turhan, ali.yazici}@atilim.edu.tr
Özet. Üniversitelerde verilen mühendislik eğitimlerinin kalitelerinin
ölçümlenmesi ve değerlendirilmesinde önemli bir role sahip olan MÜDEK
akreditasyon sisteminde önemli çıktılardan birisi öğrencinin aldığı derslerdeki
hedeflere ne kadar ulaşabildiğinin ölçümlenmesidir. Bu çalışmada Atılım
Üniversitesi Yazlım Mühendisliği bölümünde söz konusu ölçümün yapılabilmesi
için geliştirilen iki farklı yöntemin birbiriyle karşılaştırılması amaçlanmıştır.
Kullanılan yöntemler en genel anlamı ile dolaylı ve doğrudan ölçüm tekniklerine
dayandırılmıştır. Yapılan inceleme sonucunda dolaylı ölçme yöntemi ile
doğrudan ölçme yöntemi arasında yüksek derecede farklılaşma olduğu
gözlemlenmiştir. Elde edilen bu sonuç ışığında MÜDEK kapsamında
geliştirilecek ders çıktısı ölçekleme çalışmaları için tavsiyelerde bulunulmuştur.
Anahtar Kelimeler: MÜDEK, Akreditasyon, Ders Çıktıları, Öğrenme Düzeyi,
Ölçüm.
A Case Study on Measuring Course Learning Outcomes
in Software Engineering Education
Abstract. One of the most critical outcomes in the MÜDEK accreditation
system which plays an important role in the evaluation and assessment of the
quality of education in higher education institutions is evaluating how much
students have achieved the course outcomes. This study aims to compare two
methods utilized to measure course outcomes in the Software Engineering
department of Atılım University. In the most general sense, these two methods
are based on indirect and direct measurement techniques. The results of the
analysis show a high degree of differentiation between the direct measurement
and indirect measurement results. In light of the results obtained, some
recommendations have been offered for course outcome assessment methods to
be developed in the scope of MÜDEK accreditation.
Keywords: MÜDEK, Accreditation, Course outcomes, Level of learn-
ing, Measurement
312
1 Giriş
Mühendislerin bir ülkenin teknoloji düzeyinde oynadıkları önemli rol düşünüldüğünde,
mühendislik eğitimi veren kurumların eğitim kalitesi büyük bir önem taşımaktadır. Bu
nedenle, tüm dünyada mühendislik programlarının objektif bir şekilde
değerlendirilmesi amacıyla akreditasyon kurumları oluşturulmuştur. Akreditasyon,
konunun uzmanlarından oluşan bağımsız bir takım tarafından bir programın belli kalite
standartlarını barındırdığının değerlendirilmesi olarak tanımlanmaktadır [1]. Böylece
öğrenci, veli, öğretim üyesi, endüstri gibi paydaşlar, program mezunlarının endüstri
tarafından beklenen yeterliliklere sahip olarak yetiştiğinin güvencesine sahip olurlar
[2]. Ayrıca, eğitim kurumları da programlarının objektif bir şekilde değerlendirilmesi
sonucunda aldıkları geribildirimler doğrultusunda sürekli iyileştirme yaparak eğitim
kalitesinin artmasını sağlarlar.
Tüm dünyada ticari amaç gütmeyen, özel olarak bu maksatla kurulmuş bir çok
akreditasyon kurumu bulunmaktadır. Bunlardan en önemlileri 1932 yılından beri 24
farklı ülkede 300’den fazla programı akredite eden ABET (2017) [3], ve akredite olan
programlara “EUR-ACE”etiketi veren ENAEE (European Network for Accreditation
of Engineering Education) (2017) sayılabilir [4]. Türkiye’de ise 2003 yılında
akreditasyon işlemlerine başlayan MÜDEK (Mühendislik Eğitim Programları
Değerlendirme ve Akreditasyon Derneği) [5], 2009 yılından itibaren ENAEE
tarafından EUR-ACE etiketi vermek üzere akredite edilmiş, ve 2011 yılında ise
Washington Accord of International Engineering Alliance’ın (IEA) tam üyesi olmuştur.
MÜDEK’in değerlendirme kriterleri, hem ENAEE hem de Washington Accord üyesi
olması sebebiyle ulusal gereksinimlerin yanı sıra ABET’in ve EUR-ACE’in
gereksinimlerini de içermektedir.
MÜDEK tarafından tanımlanan akreditasyon sürecinde yer alan değerlendirme
ölçütlerinden ilki mezuniyetten sonra yakın bir gelecekte erişilmesi istenen mesleki
hedefler ve beklentiler olarak tanımlanan eğitim amaçlarıdır. Eğitim amaçlarını
değerlendirmede kullanılan program çıktıları ölçütü ise öğrencilerin öğrenimlerı
sırasında edindikleri bilgi, beceri ve yetkinlikleri tanımlar. Bir ders sonunda
öğrencilerin edinmeleri beklenen yetkinlikleri tanımlayan ölçüt ise ders çıktılarıdır.
Ölçme-değerlendirme sürecinde ders çıktılarının sağlanması program çıktılarına
erişmeyi, program çıktılarının başarılması ise eğitim amaçlarına erişilmesini
sağlamaktadır.
Sürekli iyileştirme kapsamında bir programın ölçme-değerlendirme yöntemleri
doğrudan ve dolaylı ölçüm mekanizmaları içermelidir [6]. Doğrudan ölçüm,
öğrencilerin sınav, proje, ödev notları gibi somut verileri içerirken, dolaylı ölçümde
anket gibi yöntemler kullanılabilir. Ölçme-değerlendirme ve sürekli iyileştirme
süreçleri, bir programın ders, müfredat, eğitim stratejileri, program çıktıları ve eğitim
amaçları boyutunda güçlü ve zayıf yönlerini ortaya çıkarmayı ve eğitim kalitesini
arttırmayı hedeflemektedir [2].
Bir dersle ilgili öğrenme çıktılarının belirlenmesi ve bunun öğrenci başarısı ile
eşleştirilmesi ve sonucunda o dersin tüm program çıktısına etkisinin ortaya konulması
bir eğitim programının akreditasyonu için önemli adımlardan birisidir. Bir çalışmada
[7], ders çıktılarının (DÇ) öğrenci başarısı ile doğru olarak eşleştirilmesi için ontoloji
313
tabanlı bir yaklaşım verilmektedir. L. Alzubaidi’nin makalesinde ders çıktılarının
ölçümü için sıkça kullanılan yöntemler (ortalama değer, sınır değer ve başarım vektörü
yaklaşımı) özetlenmiş [8] ve bu yöntemlerin bütünleşik kullanımı bir Veri Yapıları
dersi için gösterilmiştir.
Son yıllarda, DÇ’lerin doğrulanması, öğrenci başarımı ile eşleştirilmesi ve program
çıktıları ile bütünleştirme işlemlerinin otomatik olarak yapılması üzerine birçok çalışma
başlatılmıştır. Bunlardan birinde [9], güdümlü sınıflandırma yaklaşımı ile ders
çıktılarına ulaşmadaki eksikliklerin, o ders için daha önce uygulanmış iyileştirici
faaliyetlerden yararlanarak modellenmesi üzerine bir çalışma yapılmıştır. Yine,
program çıktılarının otomatik olarak belirlenmesi için bir sistem önerisi [10]’da
verilmektedir. Bu öneride, sistem, programdaki derslerin öğrenme çıktıları ve
belirlenen değerlendirme yöntemi ile ilgili verileri girdi olarak almakta ve toplanan
verileri koordine edip, çözümleyerek derslerin DÇ’lerine ne derecede ulaşıldığı ile ilgili
bir rapor hazırlamaktadır. Bir diğer çalışmada [11], bir dersteki eksikliklerinin
belirlenmesi ve dersin iyileştirilmesine yönelik olarak, otomatik bir ders değerlendirme
sistemi kurgulanmıştır.
Bu çalışmada, Atılım Üniversitesi, Yazılım Mühendisliği bölümünün zorunlu
derslerinden olan Nesne Tabanlı Programlama (CMPE225) dersinin DÖÇ’nın
ölçülmesinde kullanılan iki farklı yöntem üzerine bir değerlendirme çalışması
yapılmıştır.
2 Atılım Üniversitesi Yazılım Mühendisliğinde Ders
Çıktılarının Ölçme Yöntemleri
Derslerde öğrencilerin amaçlanan bilgi ve becerilere ulaştığını değerlendirmek için ders
çıktılarının (DÇ) kullanılmaktadr. Bu değerlendirme, her ders için doğrudan veya
dolaylı olarak iki şekilde yapılabilir. Doğrudan yöntemin uygulanması için öğretim
elemanının dönem boyunca her ders çıktısını ne şekilde (sınav sorusu, ödev, proje, vs.)
ölçeceğini belirleyerek bir Ders Çıktı Değerlendirme Planı oluşturması gerekir. Tablo
1’de gösterildiği gibi bu planda kullanılacak her notun, ağırlığı ile birlikte ders çıktısını
nasıl etkilediği gösterilmektedir.
Dönem boyunca tüm öğrencilerin değerlendirmeye girecek notları Tablo 2’de
önerildiği gibi Performans Değerlendirme Tablosunda saklanır. Dönem sonunda her
notun ortalaması hesaplanır ve 1-5 arasında bir puana dönüştürülür. Daha sonra Öğrenci
Değerlendirme Tablosu ve Ders Çıktı Değerlendirme planında verilen değerler
kullanılarak her ders çıktısı için 1-5 arasında bir değer hesaplanır.
314
Tablo 1. Ders Çıktısı Değerlendirme Planı Örneği.
Değerlendirme Soru Ders Çıktısı Ağırlık Toplam
Vize 1 4 DÇ1 40
100
Final 2 DÇ1 60
Vize 1 2,3 DÇ2 20+20
Final 3 DÇ 2 40 100
Ödev I DÇ 2 20
Vize 1 1 DÇ 3 50
100
Vize 2 2 DÇ 3 50
Vize 2 1,3 DÇ 4 30+30
100
Final 1 DÇ 4 40
Final 4 DÇ 5 60
100
Ödev 2 DÇ 5 40
Tablo 2. Performans Değerlendirme Tablosu’nun bir kısmı
Vize 1 Final
İsim Soru1 Soru2 Soru3 Soru4 Q1 Q2
Öğrenci1 6 24 15 23 2 12
Öğrenci 2 12 20 17 27 8 18
Öğrenci 3 0 25 5 9 10 11
… … … … …
Öğrenci 40 5 31 10 27 2 16
Ortalama 7,1 23,1 13,1 14,1 5,6 12,3
Soru Puanı 16 34 20 30 10 25
Ort. (1-5) 2,3 3,3 3,1 2,2 2,85 2,3
Örneğin DÇ1’in birinci vizenin 4. Sorusu (%40) ve finalin 2. Sorusu (%60) ile
ölçülmesi planlanmışsa, DÇ1 değeri aşağıdaki formülle hesaplanır:
DÇ1= 0,4 * 2,22 + 0,6 * 2,31 = 2,27 (1)
Doğrudan değerlendirme sonuçları dolaylı değerlendirme ile desteklenmektedir.
Dolaylı değerlendirme için dönem sonunda her derste öğrencilere ders çıktılarını ne
kadar öğrendiklerini ölçen bir Ders Çıktı Anketi uygulanır. Doğrudan ve dolaylı
ölçümler birleştirilip aşağıdaki Tablo 3 oluşturulur.
315
Tablo 3 . DÇ başarımlarının raporlanmasında kullanılan tablo.
Ders Çıktısı Öğrenci Anket Sonucu Doğrudan Ölçüm Sonucu
DÇ1 3,7 2,3
DÇ2 3,8 2,0
DÇ3 4,0 2,5
DÇ4 3,0 2,0
DÇ5 3,9 2,8
DÇ6 3,8 2,8
Ortalama 3,7 2,5
3 Ders Çıktılarını Ölçme Yöntemlerinin İncelenmesi
Bu çalışmada Atılım Üniversitesi Yazılım Mühendisliğinde verilen derslerden birisi
olan Nesne Tabanlı Programlama (CMPE 225) dersine ait veriler kullanılmıştır. Seçilen
bu derse ait belirlenmiş olan ders çıktıları Tablo 4’de verilmiştir [12].
Tablo 4. CMPE 225 Nesneye Tabanlı Programlama dersinin belirlenmiş ders çıktıları.
Ders Çıktısı Açıklama
Gerçek dünyayı modelleyen programlama metodunu UML de
DÇ1
kullanarak açıklamak
DÇ2 Sarma, miras ve çok biçimlilik konseptlerini uygulamak
DÇ3 Fonksiyon ve operatör üstüne yazmasını kullanmak
DÇ4 Kural dışı durum işlemeyi kullanmak
DÇ5 Fonksiyon ve sınıf şablonlarını uygulamak
DÇ6 Nesne tabanlı metodolojiyi programlamada kullanmak
Tablo 4’de görüldüğü üzere seçilen dersin 6 adet çıktısı bulunmaktadır. Bu çıktıların
ölçümünün yapıldığı dönemlere ait bilgiler Tablo 5’de sunulmuştur. Toplamda 7
dönemde verilen bu derse ait öğrenci sayıları, öğrencilerin dersi geçme (başarı) oranları
ve dersi veren öğretim elemanlarıTablo 5’de sunulmuştur. Öğrencilerin başarı oranları
%64 ile %79 arasında değişmekte ve ortalaması %73’dür.
316
Tablo 5. CMPE 225 Nesneye Yönelik Programlama dersinin verildiği dönemlerle ilgili bilgiler.
Eğitim Yılı Dönem Öğrenci Sayısı Başarı Oranı Öğretim Elemanı
2013 – 2014 Güz 64 %64 A
2013 – 2014 Bahar 19 %64 B
2014 – 2015 Güz 51 %79 C
2014 – 2015 Bahar 32 %74 B
2015 – 2016 Güz 55 %78 D
2015 – 2016 Bahar 45 %78 D
2016 – 2017 Güz 75 %76 E
Dönem sonlarında hazırlanan ders değerlendirme raporlarında verilen DÇ ölçüm
sonuçları ikinci bölümde açıklanmıştır. Tablo 6’da elde edilen 7 döneme ait sonuçların
daha bütünleşik verilebilmesi için Ölçüm Farklılık Metriği (ÖFM) tanımlanmış ve
kullanılmıştır. ÖFM, aşağıdaki formül ile tanımlanmıştır:
ÖFM = (DÖS- ÖAS) / ÖAS (2)
Bu formülde verilen DÖS, Doğrudan Ölçüm Sonucunu; ÖAS ise, Öğrenci Anket
Sonucunu göstermektedir. Dolayısyla ÖFM, öğrencinin ders çıktısını öğrendiğini
düşündüğü seviye ile sınavlardan bu çıktılar ile ilgili sorulardan aldığı puanlar
arasındaki yüzde farklılaşmayı göstermektedir. Negatif yüzde değerleri; öğrencinin bir
ders çıktısı için gerçekte aldığı puana göre, kendisinin bu çıktıyı daha çok başardığını
hissetiğini göstermektedir. Pozitif yüzde değerleri ise; öğrencinin ilgili ders çıktısını
daha düşük seviyede öğrendiğini düşünmesine rağmen sınavlarda bu çıktıya ait daha
yüksek notlar aldığını göstermektedir.
Tablo 6’da hesaplanan farklar her eğitim dönemdeki ders çıktıları için ve ayrıca
genel ortalamalar olarak verilmiştir. Tabloda; genel olarak incelendiğinde, öğrencilerin
sınav sonuçlarına göre daha çok konuları öğrendiklerini düşündüklerini göstermektedir.
Tablo 6’da her bir kolonda koyu renkli verilen değer, söz konusu dönemde en düşük
farklılaşmanın olduğu DÇ’nin değerini göstermektedir. Benzer şekilde, her kolonda
italik fontla verilen değer ise en büyük farklılaşmanın olduğu DÇ’yi göstermektedir.
Tablo dikkatlice incelendiğinde 7 dönemde toplanan bilgilerin ÖFM değerlerinin çok
tutarlı bir sonuç üretmediği görülmektedir. Örneğin DÇ1; 3 kez en düşük ÖFM değeri
almışken 2 dönem en yüksek değeri almıştır. Bu sonuçlardan her iki yöntemle elde
edilen sonuçların birbirleri ile karşılaştırılmasında doğrusal bir korelasyon
izlenememiştir.
317
Tablo 6. CMPE 225 Nesneye Yönelik Programlama dersinin dönemlere ve ders çıktılarına göre
ÖFM değerleri.
DÇ 2013 - 2014 - 2014 – 2014 – 2015 – 2015 – 2016 – Ortalama
2014 2014 2015 2015 2016 2016 2017
Güz Bahar Güz Bahar Güz Bahar Güz
1 -21,6% -9,5% -45,9% -7,7% -48,5% -20,0% -13,9% -23,9%
2 -47,4% -15,8% -28,2% -17,5% -12,1% -26,8% -17,4% -23,6%
3 -37,5% -31,8% -26,3% -17,1% -26,0% -10,5% 7,6% -20,2%
4 -33,3% -17,5% -21,2% -17,9% -3,2% -17,9% -12,3% -17,6%
5 -28,2% -41,3% -35,7% -14,6% -29,4% -40,0% -0,8% -27,2%
6 -26,3% -18,2% -46,2% -12,2% -14,2% -7,9% 5,7% -17,0%
Ortalama -32,4% -22,9% -34,2% -14,2% -22,7% -20,5% -5,3% -21,8%
İki farklı yöntemle elde edilen sonuçların daha sağlıklı karşılaştırılması için Tablo
7 hazırlanmıştır. Bu tabloda doğrudan ölçüm sonuçlarına göre DÇ’lerden alınan sınav
notları sunulmuştur. 7 dönemin ortalamasına göre en iyi başarılan ders öğrenme
çıktıları 3 ve 6 dır. 1, 2 ve 5 nci konulardan daha düşük notlar alınmıştır. Ancak
tablonun tümü incelendiğinde dönemler arası ciddi farklılaşma olduğu da
görünmektedir.
Tablo 7. CMPE 225 Nesneye Yönelik Programlama dersinin doğrudan ölçüm sonuçlarına göre
çıktılarından alınan sınav notları.
DÇ 2013 - 2014 - 2014 – 2014 – 2015 – 2015 – 2016 – Ortalama
2014 2014 2015 2015 2016 2016 2017
Güz Bahar Güz Bahar Güz Bahar Güz
1 2,90 3,80 2,00 3,60 1,70 2,80 3,27 2,87
2 2,00 3,20 2,80 3,30 2,90 3,00 3,14 2,91
3 2,50 3,00 2,80 3,40 2,59 3,40 3,98 3,10
4 2,00 3,30 2,60 3,20 3,00 3,20 3,42 2,96
5 2,80 2,70 2,70 3,50 2,54 2,40 3,67 2,90
6 2,80 3,60 2,10 3,60 2,83 3,50 3,91 3,19
Ortalama 2,50 3,26 2,50 3,44 2,59 3,10 3,57 2,99
4 Değerlendirme ve Öneriler
MÜDEK kapsamında ders çıktılarının (DÇ) başarımı için Atılım Üniversitesi
Yazılım Mühendisliğinde kullanılan iki farklı ölçme yönteminin incelendiği bu
çalışmanın sonuçları yukarıda özetlenmiştir.
318
Yukarıda verilen sonuçlardan faydalanılarak yapılacak ilk değerlendirme,
öğrencilerin ders çıktılarını öğrendikleri konusundaki algılarının, aldıkları
notlara göre daha yüksek seviyede olduğudur. Anket çalışması ile toplanan bu
veriye göre öğrenciler söz konusu DÇ’leri öğrendiklerini düşünmektedirler.
Ancak sınavlardan aldıkları notların DÇ’lere dağılımı yapıldığında öğrenme
seviyelerinin daha düşük olduğu gözlenmiştir. Eğer sınav sorularının doğru
DÇ’ler ile ilişkilendirildiği ve hazırlandığı kabul edilirse; bu durumda anket ile
hazırlanan DÇ’lerin başarım değerlerinin çok da gerçekçi olmadığı öne
sürülebilir. Bu durumda da MÜDEK kapsamında DÇ’lerin ölçümü için yeni
metodların geliştirilmesi ve değerlendirilmesi gerekmektedir.
Ayrıca doğrudan ve dolaylı değerlendirmede DÇ’ler için görülen
farklılıkların bir nedeni de notlandırmada sıklıkla kullanılan çan eğrisidir. Her
ne kadar çan eğrisi öğrencinin harf notunu etkilese de, Performans
Değerlendirme Tablosuna yansıtılmamaktadır. Yapılan çan eğrisine göre bu
tabloda bulunan notların iyileştirilmesi, doğrudan ölçümlerin dolaylı ölçümde
saptanan değerlere yaklaşmasını sağlayabilecektir.
Çalışmanın sonuçlarından elde edilebilecek diğer bir sonuç ise; öğretmen ve
öğrenci kitlesindeki değişimin DÇ’lerin başarımı etkileme olasılığıdır.
Değerlendirilen 7 dönemdeki veriler 6 DÇ için belirli bir öründe başarı ya da
başarısızlık sonuçlarını tam olarak üretememiştir. Diğer bir deyişle, bazı
dönemlerde öğrencilerin düşük notlar aldıkları bazı DÇ’lerde diğer dönemlerde
daha yüksek başarım sağlanmıştır. Bunun sebebi, öğretim elemanı ve
öğrencilerin izlenen dönemlerdeki farklılaşmaları olabilir. Ancak araştırmanın
başında beklentimiz; bir ders içinde öğrencilerin –farklı dönemlerde farklı
öğretim elemanları tarafından verilmiş ve farklı öğrenciler tarafından alınmış
olsa dahi- bazı DÇ’lerin daha düşük bazı DÇ’lerin ise daha yüksek başarım
puanlarının oluştuğunu gözlemlemekti. Bu beklenti gerçekleşmemiştir.
DÇ’lerin yukarıda belirtildiği gibi ölçülmesinin amaçlarından biri derslerin
iyileştirilmesi için veri toplamaktır. Ancak 7 dönemlik verinin
değerlendirilmesinde görüldüğü üzere DÇ’lerin başarımı çok farklılık
göstermektedir. Yalnızca bu verilere dayanarak DÇ’lerin başarımına göre ders
içeriklerinin ve işlenme yöntemlerinin iyileştirilmesinin sağlıklı sonuç
vermeyeceği değerlendirilmektedir. Yapılan literatür çalışmasında incelenen
[7-11] makalelerde genellikle ölçüm yöntemleri için önerilerde bulunulmuş,
ancak makalemizdeki gibi ampirik çalışmalar yapılmamıştır. Dolayısıyla bu
önerilerin DÇ’lerin ölçümündeki başarımları raporlanmamıştır. Bu nedenle
ileride yapılacak çalışmalarda DÇ’lerin ölçümlenmesiyle bu ölçümlerin
ampirik verilerle desteklenmesi önem arz etmektedir.
319
Kaynaklar
1. Harrison, J. And Vanbaelen, R.:. Engineering education accreditation: A look at
communication and language. Professional Communication Conference (IPCC), 2015
IEEE International, Limerick, Ireland (2015).
2. Turhan, Ç., Şengül, G. And Koyuncu, M.: A comprehensive assessment plan for accredita-
tion in engineering education: A case study in Turkey. International Journal of Engineering
Education. 31(5), 1270-1281 (2015).
3. ABET, About ABET, http://www.abet.org/about-abet/, 17 Haziran, 2017.
4. ENAEE, www.enaee.eu, 17 Haziran, 2017.
5. MÜDEK, http://www.mudek.org.tr, 17 Haziran 2017.
6. Lang, C.R., Gurocak, H.: Assessment Methods for the upcoming ABET accreditation
criteria for Computer Science programs. 38th ASEE/IEEE Frontiers in Education
Conference, Saratoga Springs, NY, Session S4G, Oct. pp. 22-25 (2008).
7. Alomari, J. S.: Ontology for Academic Program Accreditation Ontology of Accreditation
Board of Engineering and Technology (ABET) Process. International Journal of Advanced
Computer Science and Applications 7(7), 123-127 (2016).
8. Alzubaidi, L.: Measurement of Course Learning Outcomes for Data Structure Using the
Combination Approach. International Journal of Computer and Network Security 16(1), 57-
61 (2016).
9. Jenhani, I., Ghassen, B. B., Elhassan, A.: Course Learning Outcome Performance Improve-
ment: A Remedial Action Classification Based Approach. In: 15th IEEE International Con-
ference on Machine Learning and Applications (ICMLA), pp.123-127 (2016).
10. Najadat, H., Al-Bdarneh, A., Qawasmi, H. Accreditation Software for Higher Education
Programs. In: 15th. International Conference on Information Technology Based Higher Ed-
ucation and Training (ICHET), Istanbul, Turkey (2016).
11. Liu, C., Chen, L.: An Automatic Course Assessment Tool for Weakness Identification In:
Editor, Xiao, X. Proceedings of The 2015 International Conference On Social Science And
Higher Education, vol. 28, pp.1-4, Sanya, Peoples R. China (2015).
12. Atılım Üniversitesi Yazılım Mühendsiliği web sayfası,
ttp://compe.atilim.edu.tr/academicprogramcourses/view/id/598?lang=tr
320