Yazılım Mühendisliği Eğitiminde Ders Öğrenme Çıktılarının Ölçümlenmesi Üzerine Bir Durum Çalışması

Abstract

One of the most critical outcomes in the MÜDEK accreditation system which plays an important role in the evaluation and assessment of the quality of education in higher education institutions is evaluating how much students have achieved the course outcomes. This study aims to compare two methods utilized to measure course outcomes in the Software Engineering department of Atılım University. In the most general sense, these two methods are based on indirect and direct measurement techniques. The results of the analysis show a high degree of differentiation between the direct measurement and indirect measurement results. In light of the results obtained, some recommendations have been offered for course outcome assessment methods to be developed in the scope of MÜDEK accreditation.

-

Mühendislerin bir ülkenin teknoloji düzeyinde oynadıkları önemli rol düşünüldüğünde, mühendislik eğitimi veren kurumların eğitim kalitesi büyük bir önem taşımaktadır. Bu nedenle, tüm dünyada mühendislik programlarının objektif bir şekilde değerlendirilmesi amacıyla akreditasyon kurumları oluşturulmuştur. Akreditasyon, konunun uzmanlarından oluşan bağımsız bir takım tarafından bir programın belli kalite standartlarını barındırdığının değerlendirilmesi olarak tanımlanmaktadır [ 1 ]. Böylece öğrenci, veli, öğretim üyesi, endüstri gibi paydaşlar, program mezunlarının endüstri tarafından beklenen yeterliliklere sahip olarak yetiştiğinin güvencesine sahip olurlar [ 2 ]. Ayrıca, eğitim kurumları da programlarının objektif bir şekilde değerlendirilmesi sonucunda aldıkları geribildirimler doğrultusunda sürekli iyileştirme yaparak eğitim kalitesinin artmasını sağlarlar.

Tüm dünyada ticari amaç gütmeyen, özel olarak bu maksatla kurulmuş bir çok akreditasyon kurumu bulunmaktadır. Bunlardan en önemlileri 1932 yılından beri 24 farklı ülkede 300’den fazla programı akredite eden ABET (2017) [ 3 ], ve akredite olan programlara “EUR-ACE”etiketi veren ENAEE (European Network for Accreditation of Engineering Education) (2017) sayılabilir [ 4 ]. Türkiye’de ise 2003 yılında akreditasyon işlemlerine başlayan MÜDEK (Mühendislik Eğitim Programları Değerlendirme ve Akreditasyon Derneği) [ 5 ], 2009 yılından itibaren ENAEE tarafından EUR-ACE etiketi vermek üzere akredite edilmiş, ve 2011 yılında ise Washington Accord of International Engineering Alliance’ın (IEA) tam üyesi olmuştur. MÜDEK’in değerlendirme kriterleri, hem ENAEE hem de Washington Accord üyesi olması sebebiyle ulusal gereksinimlerin yanı sıra ABET’in ve EUR-ACE’in gereksinimlerini de içermektedir.

MÜDEK tarafından tanımlanan akreditasyon sürecinde yer alan değerlendirme ölçütlerinden ilki mezuniyetten sonra yakın bir gelecekte erişilmesi istenen mesleki hedefler ve beklentiler olarak tanımlanan eğitim amaçlarıdır. Eğitim amaçlarını değerlendirmede kullanılan program çıktıları ölçütü ise öğrencilerin öğrenimlerı sırasında edindikleri bilgi, beceri ve yetkinlikleri tanımlar. Bir ders sonunda öğrencilerin edinmeleri beklenen yetkinlikleri tanımlayan ölçüt ise ders çıktılarıdır. Ölçme-değerlendirme sürecinde ders çıktılarının sağlanması program çıktılarına erişmeyi, program çıktılarının başarılması ise eğitim amaçlarına erişilmesini sağlamaktadır.

Sürekli iyileştirme kapsamında bir programın ölçme-değerlendirme yöntemleri doğrudan ve dolaylı ölçüm mekanizmaları içermelidir [ 6 ]. Doğrudan ölçüm, öğrencilerin sınav, proje, ödev notları gibi somut verileri içerirken, dolaylı ölçümde anket gibi yöntemler kullanılabilir. Ölçme-değerlendirme ve sürekli iyileştirme süreçleri, bir programın ders, müfredat, eğitim stratejileri, program çıktıları ve eğitim amaçları boyutunda güçlü ve zayıf yönlerini ortaya çıkarmayı ve eğitim kalitesini arttırmayı hedeflemektedir [ 2 ].

Bir dersle ilgili öğrenme çıktılarının belirlenmesi ve bunun öğrenci başarısı ile eşleştirilmesi ve sonucunda o dersin tüm program çıktısına etkisinin ortaya konulması bir eğitim programının akreditasyonu için önemli adımlardan birisidir. Bir çalışmada [ 7 ], ders çıktılarının (DÇ) öğrenci başarısı ile doğru olarak eşleştirilmesi için ontoloji tabanlı bir yaklaşım verilmektedir. L. Alzubaidi’nin makalesinde ders çıktılarının ölçümü için sıkça kullanılan yöntemler (ortalama değer, sınır değer ve başarım vektörü yaklaşımı) özetlenmiş [ 8 ] ve bu yöntemlerin bütünleşik kullanımı bir Veri Yapıları dersi için gösterilmiştir.

Son yıllarda, DÇ’lerin doğrulanması, öğrenci başarımı ile eşleştirilmesi ve program çıktıları ile bütünleştirme işlemlerinin otomatik olarak yapılması üzerine birçok çalışma başlatılmıştır. Bunlardan birinde [ 9 ], güdümlü sınıflandırma yaklaşımı ile ders çıktılarına ulaşmadaki eksikliklerin, o ders için daha önce uygulanmış iyileştirici faaliyetlerden yararlanarak modellenmesi üzerine bir çalışma yapılmıştır. Yine, program çıktılarının otomatik olarak belirlenmesi için bir sistem önerisi [ 10 ]’da verilmektedir. Bu öneride, sistem, programdaki derslerin öğrenme çıktıları ve belirlenen değerlendirme yöntemi ile ilgili verileri girdi olarak almakta ve toplanan verileri koordine edip, çözümleyerek derslerin DÇ’lerine ne derecede ulaşıldığı ile ilgili bir rapor hazırlamaktadır. Bir diğer çalışmada [ 11 ], bir dersteki eksikliklerinin belirlenmesi ve dersin iyileştirilmesine yönelik olarak, otomatik bir ders değerlendirme sistemi kurgulanmıştır.

Bu çalışmada, Atılım Üniversitesi, Yazılım Mühendisliği bölümünün zorunlu derslerinden olan Nesne Tabanlı Programlama (CMPE225) dersinin DÖÇ’nın ölçülmesinde kullanılan iki farklı yöntem üzerine bir değerlendirme çalışması yapılmıştır. 2

Atılım Üniversitesi Yazılım Mühendisliğinde Ders Çıktılarının Ölçme Yöntemleri Derslerde öğrencilerin amaçlanan bilgi ve becerilere ulaştığını değerlendirmek için ders çıktılarının (DÇ) kullanılmaktadr. Bu değerlendirme, her ders için doğrudan veya dolaylı olarak iki şekilde yapılabilir. Doğrudan yöntemin uygulanması için öğretim elemanının dönem boyunca her ders çıktısını ne şekilde (sınav sorusu, ödev, proje, vs.) ölçeceğini belirleyerek bir Ders Çıktı Değerlendirme Planı oluşturması gerekir. Tablo 1’de gösterildiği gibi bu planda kullanılacak her notun, ağırlığı ile birlikte ders çıktısını nasıl etkilediği gösterilmektedir.

Dönem boyunca tüm öğrencilerin değerlendirmeye girecek notları Tablo 2’de önerildiği gibi Performans Değerlendirme Tablosunda saklanır. Dönem sonunda her notun ortalaması hesaplanır ve 1-5 arasında bir puana dönüştürülür. Daha sonra Öğrenci Değerlendirme Tablosu ve Ders Çıktı Değerlendirme planında verilen değerler kullanılarak her ders çıktısı için 1-5 arasında bir değer hesaplanır. Değerlendirme Vize 1 Final Vize 1 Final Ödev I Vize 1 Vize 2 Vize 2 Final Final Ödev 2 İsim Öğrenci1 Öğrenci 2 Öğrenci 3 … Öğrenci 40 Ortalama Soru Puanı Ort. (1-5) Ders Çıktısı DÇ1 DÇ2 DÇ3 DÇ4 DÇ5 DÇ6 Ortalama 3,8 4,0 3,0 3,9 3,8 3,7 2,0 2,5 2,0 2,8 2,8 2,5 Tablo 3 . DÇ başarımlarının raporlanmasında kullanılan tablo.

Öğrenci Anket Sonucu 3,7

Doğrudan Ölçüm Sonucu 2,3 3

Ders Çıktılarını Ölçme Yöntemlerinin İncelenmesi Bu çalışmada Atılım Üniversitesi Yazılım Mühendisliğinde verilen derslerden birisi olan Nesne Tabanlı Programlama (CMPE 225) dersine ait veriler kullanılmıştır. Seçilen bu derse ait belirlenmiş olan ders çıktıları Tablo 4’de verilmiştir [ 12 ].

Tablo 4. CMPE 225 Nesneye Tabanlı Programlama dersinin belirlenmiş ders çıktıları. Ders Çıktısı DÇ1 DÇ2 DÇ3 DÇ4 DÇ5 DÇ6

Açıklama Gerçek dünyayı modelleyen programlama metodunu UML de kullanarak açıklamak Sarma, miras ve çok biçimlilik konseptlerini uygulamak Fonksiyon ve operatör üstüne yazmasını kullanmak Kural dışı durum işlemeyi kullanmak Fonksiyon ve sınıf şablonlarını uygulamak

Nesne tabanlı metodolojiyi programlamada kullanmak

Tablo 4’de görüldüğü üzere seçilen dersin 6 adet çıktısı bulunmaktadır. Bu çıktıların ölçümünün yapıldığı dönemlere ait bilgiler Tablo 5’de sunulmuştur. Toplamda 7 dönemde verilen bu derse ait öğrenci sayıları, öğrencilerin dersi geçme (başarı) oranları ve dersi veren öğretim elemanlarıTablo 5’de sunulmuştur. Öğrencilerin başarı oranları %64 ile %79 arasında değişmekte ve ortalaması %73’dür. Tablo 5. CMPE 225 Nesneye Yönelik Programlama dersinin verildiği dönemlerle ilgili bilgiler.

Eğitim Yılı 2013 – 2014 2013 – 2014 2014 – 2015 2014 – 2015 2015 – 2016 2015 – 2016 2016 – 2017

Dönem Güz Bahar Güz Bahar Güz Bahar Güz 64 19 51 32 55 45 75 Öğrenci Sayısı

Başarı Oranı %64 Öğretim Elemanı

A %64 %79 %74 %78 %78 %76

B C B D D E

Dönem sonlarında hazırlanan ders değerlendirme raporlarında verilen DÇ ölçüm sonuçları ikinci bölümde açıklanmıştır. Tablo 6’da elde edilen 7 döneme ait sonuçların daha bütünleşik verilebilmesi için Ölçüm Farklılık Metriği (ÖFM) tanımlanmış ve kullanılmıştır. ÖFM, aşağıdaki formül ile tanımlanmıştır: ÖFM = (DÖS- ÖAS) / ÖAS (2)

Bu formülde verilen DÖS, Doğrudan Ölçüm Sonucunu; ÖAS ise, Öğrenci Anket Sonucunu göstermektedir. Dolayısyla ÖFM, öğrencinin ders çıktısını öğrendiğini düşündüğü seviye ile sınavlardan bu çıktılar ile ilgili sorulardan aldığı puanlar arasındaki yüzde farklılaşmayı göstermektedir. Negatif yüzde değerleri; öğrencinin bir ders çıktısı için gerçekte aldığı puana göre, kendisinin bu çıktıyı daha çok başardığını hissetiğini göstermektedir. Pozitif yüzde değerleri ise; öğrencinin ilgili ders çıktısını daha düşük seviyede öğrendiğini düşünmesine rağmen sınavlarda bu çıktıya ait daha yüksek notlar aldığını göstermektedir.

Tablo 6’da hesaplanan farklar her eğitim dönemdeki ders çıktıları için ve ayrıca genel ortalamalar olarak verilmiştir. Tabloda; genel olarak incelendiğinde, öğrencilerin sınav sonuçlarına göre daha çok konuları öğrendiklerini düşündüklerini göstermektedir. Tablo 6’da her bir kolonda koyu renkli verilen değer, söz konusu dönemde en düşük farklılaşmanın olduğu DÇ’nin değerini göstermektedir. Benzer şekilde, her kolonda italik fontla verilen değer ise en büyük farklılaşmanın olduğu DÇ’yi göstermektedir. Tablo dikkatlice incelendiğinde 7 dönemde toplanan bilgilerin ÖFM değerlerinin çok tutarlı bir sonuç üretmediği görülmektedir. Örneğin DÇ1; 3 kez en düşük ÖFM değeri almışken 2 dönem en yüksek değeri almıştır. Bu sonuçlardan her iki yöntemle elde edilen sonuçların birbirleri ile karşılaştırılmasında doğrusal bir korelasyon izlenememiştir. Tablo 6. CMPE 225 Nesneye Yönelik Programlama dersinin dönemlere ve ders çıktılarına göre ÖFM değerleri.

DÇ 1 2 3 4 5 6 İki farklı yöntemle elde edilen sonuçların daha sağlıklı karşılaştırılması için Tablo 7 hazırlanmıştır. Bu tabloda doğrudan ölçüm sonuçlarına göre DÇ’lerden alınan sınav notları sunulmuştur. 7 dönemin ortalamasına göre en iyi başarılan ders öğrenme çıktıları 3 ve 6 dır. 1, 2 ve 5 nci konulardan daha düşük notlar alınmıştır. Ancak tablonun tümü incelendiğinde dönemler arası ciddi farklılaşma olduğu da görünmektedir.

Tablo 7. CMPE 225 Nesneye Yönelik Programlama dersinin doğrudan ölçüm sonuçlarına göre çıktılarından alınan sınav notları.

Yukarıda verilen sonuçlardan faydalanılarak yapılacak ilk değerlendirme, öğrencilerin ders çıktılarını öğrendikleri konusundaki algılarının, aldıkları notlara göre daha yüksek seviyede olduğudur. Anket çalışması ile toplanan bu veriye göre öğrenciler söz konusu DÇ’leri öğrendiklerini düşünmektedirler. Ancak sınavlardan aldıkları notların DÇ’lere dağılımı yapıldığında öğrenme seviyelerinin daha düşük olduğu gözlenmiştir. Eğer sınav sorularının doğru DÇ’ler ile ilişkilendirildiği ve hazırlandığı kabul edilirse; bu durumda anket ile hazırlanan DÇ’lerin başarım değerlerinin çok da gerçekçi olmadığı öne sürülebilir. Bu durumda da MÜDEK kapsamında DÇ’lerin ölçümü için yeni metodların geliştirilmesi ve değerlendirilmesi gerekmektedir.

Ayrıca doğrudan ve dolaylı değerlendirmede DÇ’ler için görülen farklılıkların bir nedeni de notlandırmada sıklıkla kullanılan çan eğrisidir. Her ne kadar çan eğrisi öğrencinin harf notunu etkilese de, Performans Değerlendirme Tablosuna yansıtılmamaktadır. Yapılan çan eğrisine göre bu tabloda bulunan notların iyileştirilmesi, doğrudan ölçümlerin dolaylı ölçümde saptanan değerlere yaklaşmasını sağlayabilecektir.

Çalışmanın sonuçlarından elde edilebilecek diğer bir sonuç ise; öğretmen ve öğrenci kitlesindeki değişimin DÇ’lerin başarımı etkileme olasılığıdır. Değerlendirilen 7 dönemdeki veriler 6 DÇ için belirli bir öründe başarı ya da başarısızlık sonuçlarını tam olarak üretememiştir. Diğer bir deyişle, bazı dönemlerde öğrencilerin düşük notlar aldıkları bazı DÇ’lerde diğer dönemlerde daha yüksek başarım sağlanmıştır. Bunun sebebi, öğretim elemanı ve öğrencilerin izlenen dönemlerdeki farklılaşmaları olabilir. Ancak araştırmanın başında beklentimiz; bir ders içinde öğrencilerin –farklı dönemlerde farklı öğretim elemanları tarafından verilmiş ve farklı öğrenciler tarafından alınmış olsa dahi- bazı DÇ’lerin daha düşük bazı DÇ’lerin ise daha yüksek başarım puanlarının oluştuğunu gözlemlemekti. Bu beklenti gerçekleşmemiştir. DÇ’lerin yukarıda belirtildiği gibi ölçülmesinin amaçlarından biri derslerin iyileştirilmesi için veri toplamaktır. Ancak 7 dönemlik verinin değerlendirilmesinde görüldüğü üzere DÇ’lerin başarımı çok farklılık göstermektedir. Yalnızca bu verilere dayanarak DÇ’lerin başarımına göre ders içeriklerinin ve işlenme yöntemlerinin iyileştirilmesinin sağlıklı sonuç vermeyeceği değerlendirilmektedir. Yapılan literatür çalışmasında incelenen [ 7-11 ] makalelerde genellikle ölçüm yöntemleri için önerilerde bulunulmuş, ancak makalemizdeki gibi ampirik çalışmalar yapılmamıştır. Dolayısıyla bu önerilerin DÇ’lerin ölçümündeki başarımları raporlanmamıştır. Bu nedenle ileride yapılacak çalışmalarda DÇ’lerin ölçümlenmesiyle bu ölçümlerin ampirik verilerle desteklenmesi önem arz etmektedir.

References

1. Harrison , J . And Vanbaelen , R. :. Engineering education accreditation: A look at communication and language . Professional Communication Conference (IPCC) , 2015 IEEE International, Limerick, Ireland ( 2015 ).

2. Turhan , Ç., Şengül , G. And Koyuncu , M.: A comprehensive assessment plan for accreditation in engineering education: A case study in Turkey . International Journal of Engineering Education . 31 ( 5 ), 1270 - 1281 ( 2015 ).

3. ABET, About ABET , http://www.abet.org/about-abet/, 17 Haziran, 2017 .

4. ENAEE, www. enaee.eu, 17 Haziran , 2017 .

5. MÜDEK, http://www.mudek.org.tr, 17 Haziran 2017 .

6. Lang , C.R. , Gurocak , H.: Assessment Methods for the upcoming ABET accreditation criteria for Computer Science programs . 38th ASEE/IEEE Frontiers in Education Conference , Saratoga Springs, NY , Session S4G , Oct. pp. 22 - 25 ( 2008 ).

7. Alomari , J. S. : Ontology for Academic Program Accreditation Ontology of Accreditation Board of Engineering and Technology (ABET) Process . International Journal of Advanced Computer Science and Applications 7 ( 7 ), 123 - 127 ( 2016 ).

8. Alzubaidi , L. : Measurement of Course Learning Outcomes for Data Structure Using the Combination Approach . International Journal of Computer and Network Security 16 ( 1 ), 57 - 61 ( 2016 ).

9. Jenhani , I. , Ghassen , B. B. , Elhassan , A. : Course Learning Outcome Performance Improvement: A Remedial Action Classification Based Approach . In: 15th IEEE International Conference on Machine Learning and Applications (ICMLA) , pp. 123 - 127 ( 2016 ).

10. Najadat , H. , Al-Bdarneh , A. , Qawasmi , H. Accreditation Software for Higher Education Programs . In: 15th. International Conference on Information Technology Based Higher Education and Training (ICHET) , Istanbul, Turkey ( 2016 ).

11. Liu , C. , Chen , L. : An Automatic Course Assessment Tool for Weakness Identification In: Editor, Xiao, X. Proceedings of The 2015 International Conference On Social Science And Higher Education , vol. 28 , pp. 1 - 4 , Sanya, Peoples R. China ( 2015 ).

12. Atılım Üniversitesi Yazılım Mühendsiliği web sayfası , ttp://compe.atilim.edu.tr/academicprogramcourses/view/id/598?lang=tr