Süreç Ontolojisi Oluşturma Yöntemi: Durum Çalışması Özge Gürbüz1, Onur Demirörs1, 1 Enformatik Enstitüsü, Orta Doğu Teknik Üniversitesi, Türkiye {ogurbuz, demirors}@metu.edu.tr Özet. Süreç ontolojileri, alan uzmanlarının bilgileri ve organizasyonun yönetmelik, mevzuat ve kanunlarını kullanılarak oluşturulmaktadır. Bu da ciddi bir çaba ve zaman gerektirmektedir. Bu çalışmada, organizasyon dokümanlarından otomatik süreç ontolojisi oluşturmayı sağlayan Süreç Ontolojisi Oluşturma (Process Ontology Population – PrOnPo) yöntemi ve geliştirilen araç seti tanıtılmaktadır. Bu yöntem hem Türkçe hem de İngilizce dokümanlar üzerinde durum çalışması ile uygulanıp sonuçları karşılaştırılmış ve eksiklikler tartışılmıştır. Doğal dil çözümleme altyapısının, yöntemin araç seti başarısında önemli bir etken olduğu gözlemlenmiştir. Anahtar kelimeler: süreç ontolojisi, ontoloji geliştirme, araç seti, doğal dil işleme Abstract. Process ontologies are developed by the knowledge of the domain experts and organization’s guidelines, regulations and laws. This process requires significant time and effort. In this study, Process Ontology Population (PrOnPo) methodology, which aims to develop process ontology from organizational documents and the supporting semi-automatic tool is presented. This methodology is practiced with case studies for both Turkish and English documents and the results are compared and discussed. It is seen that natural language processing platform has an important effect on the success of the tool. Keywords: process ontology, ontology development, tool set, natural language processsing 1. Giriş Ontoloji, kavram ve kavramlar arasındaki ilişkiyi temsil eden sözlük karşılığı olarak tanımlanmıştır [1]. Alan ontolojisi ise belirli bir alanda oluşturulan kavramsallaştırma olarak ifade edilebilmektedir [2]. Ontoloji geliştirmenin amaçları [3]; kişiler ve yazılımlar arasında, bilginin yapısı hakkında paylaşılan ortak bir anlayışa sahip olmalarının sağlanması, alan bilgisinin yeniden kullanılması, alan varsayımlarının açık hale getirilmesi ve alan bilgisinin analiz edilmesi olarak tanımlanmıştır. “Ontoloji öğrenme” ise metinden bilgi çıkartmayı ifade etmektedir [4]. Düz metinden 696 çıkan bilgiler yapılı veriye dönüştürülmektedir. Bu da yeniden kullanılabilirliği, arama kolaylığını ve bilgi paylaşımını artırmaktadır. Süreç ontolojisi bir organizasyonun roller, aktiviteler, dokümanlar, iş kuralları ve bu elementlerin arasındaki ilişkilerden oluşmaktadır. Süreç ontolojisi, belli bir alanın yapılandırılmış veri sözlüğü olan alan ontolojisi olarak isimlendirilebilir. Bu tür ontolojiler, o alana ait dokümanlardan oluşturulmaktadır. Bu da ciddi zaman ve çaba gerektiren bir iş olarak bilinmektedir [5][6]. Bu çalışmada organizasyon dokümanlarından süreç ontolojisini otomatik olarak çıkartılmasını sağlayan Süreç Ontolojisi Oluşturma (PrOnPo) yöntemi tanıtılmaktadır. Hem Türkçe hem İngilizce dokümanlar kullanılarak yapılan durum çalışması ile sonuçlar karşılaştırılmaktadır. Bu yöntem sayesinde süreç ontolojisi oluşturmak için harcanan çabanın azaltılması ve tanımlanmış bir metot oluşturulması hedeflenmiştir. Ayrıca oluşan süreç ontolojisinin bir sonraki aşamada süreç modelleme için kullanılabileceği not edilmiştir. Bu bildirinin ikinci bölümünde ilgili çalışmalar, üçüncü bölümünde yöntem, dördüncü bölümünde yapılan durum çalışması ve son olarak değerlendirme ve sonuç bölümleri verilmiştir. 2. İlgili Çalışmalar Wong, Liu ve Bennamoun [7] terim, kavram ve ilişkilerin, metinsel bilgiden çıkarılıp ve bunların ontoloji oluşturmak için kullanılmasını metinden ontoloji öğrenmek olarak tanımlamaktadır. Ontoloji geliştirme ve öğrenmenin zahmet gerektiren bir süreç olduğu ifade edilmiştir [6]. Bu konuda çalışan araştırmacılar bu sürecin otomatikleştirilebileceğine inanmıştır. Literatürde, ontoloji öğrenmeyi destekleyen metot ve araçlarla ilgili birçok araştırma yapılmıştır. Ancak, bu araştırmalar, bu sürecin, sınıflandırıcı olmayan ilişkiler çıkarma, yapısız düz yazı metin kullanma ve hem oluşturma hem değerlendirme aşamasında insan etkileşimi gerektiğinden dolayı tamamen otomatikleştirilemeyeceğini göstermiştir [7][8][9][10][11][12]. Gómez-pérez, [8] ontoloji öğrenme için, doğal dil işleme, dil bilimi analizleri, fiil kalıpları, istatistiksel yaklaşımlar, metin madenciliği ve makine öğrenme tekniklerinin kullanılabileceğini ileri sürmüştür. Shamsfard ve Barforoush, [9] şimdiye dek yapılan çalışmaların daha çok sınıflandırıcı ilişkiler (taxonomic) üzerine olduğunu ve sınıflandırıcı olmayan ilişkiler üzerine az çalışma olduğunu vurgulamıştır. Ding ve Foo’nun [10] literatür taraması, yapılan çalışmaların daha çok yapılı veriler için olduğu ve kavramlar arasındaki ilişkilerin belirlenmesinin zor olduğunu göstermektedir. Zhou [11] ise çalışmasında ontoloji öğrenme araçlarında insan etkileşiminin öneminden bahsetmiştir. TERMINAE; B. Biébow ve S. Szulman [13] alan ontolojisi oluşturmak için Javada geliştirmiştir. Ilk olarak terim listesi oluşturup, terim ayıklayarak aday terimler belirlenip, uzman tarafından etkili terimler seçilmektedir. İkinci aşamada her bir terim kavramsallaştırılıp ve tekrar bir uzman tarafından seçilen terimlerin cümledeki kullanımına bakılarak anlamı belirlenmektedir. CRCTOL; Jiang ve Tan [6] diğer araçların yüzeysel doğal dil işleme teknikleri kullandıklarını öne sürerek geliştirdikleri sistem ile daha derin doğal işleme tekniği sağlamaktadırlar. İlk olarak, sisteme yüklenen düz metin üzerinde, doğal dil işleme araçları ile kelime tipleri 697 etiketlenmektedir. Sonrasında, istatistiksel analizlerle kavramlar çıkartılıp, kavramların anlamları belirlenmektedir. Son olarak da anlamsal ilişkiler oluşturulup kavram ve aralarındaki ilişkiler haritaya dökülmektedir. PROTEGE; [14] yazılım için uygun bir eklenti mimarisine sahip ve hem basit hem kompleks ontoloji tabanlı uygulamalar için kullanılan Stanford Universitesi tarafından geliştirilmiş bir araçtır. Kullanıcı arayüzü sayesinde ontoloji ile alan modelleri ve bilgiye dayalı uygulamaları oluşturmak mümkündür. Açık-kaynak kodlu olarak geliştirilmiştir. Oluşturulan ontoloji için editör niteliği taşıyan bir araçtır. Bu çalışmada geliştirilen yöntem ve aracın, diğer ontoloji öğrenme teknik ve araçlarından amaç ve metot açısından farkı bulunmaktadır. Literatürdeki çalışmalar veri sözlüğü oluşturmak için sade ontoloji oluştururken, PrOnPo yöntemindeki amaç süreç ontolojisi oluşturmaktır. Bu yüzden kavram olarak daha çok rol, doküman aktivite ve iş kurallarına yoğunlaşmaktadır. Metot açısından, terim çıkarımı ve doğal dil çözümleme gibi teknikler ortak olsa da, süreç ontolojisi üçlüleri ve kavramlar arasındaki ilişkiler 5N1K soruları cevaplandırılarak oluşturulmaktadır. Ayrıca süreç ontolojisinin süreç modelleme ile birlikte kullanılabilirliğini gösteren çalışmalar da mevcuttur. Leopald [15], Belhajjame [16], Cesare [5], Hepp [17], Koschmider [18] çalışmalarında süreç modellerinden süreç ontolojisi çıkartarak, modelleri semantik anlamlarla bağlamışlardır. Fan [19], ise süreç ontolojisi kullanarak oluşturulan süreç modellerinin daha kaliteli olduğunu savunmaktadır. İki grup arasında yaptığı kontrollü deney ile süreç ontolojisi kullanarak modelleme yapan grubun daha kaliteli süreç modelleri ürettiğini tespit edip bu hipotezini doğrulamıştır. Literatürdeki bu çalışmalar, sektördeki uygulamamız [20] ve yöntemin çıktısı olarak oluşan süreç ontolojisinin, süreçlerle ilişkilendirilmesi ve modellenmesi için kullanılabileceğini göstermesi, organizasyon yönetmeliklerinden süreç ontolojisi oluşturma yöntemi geliştirmemize ilham vermiştir. 3. Yöntem ve Durum Çalışması 3.1 Manuel Yöntemin Belirlenmesi Araştırma Sorusu. Organizasyon yönetmeliklerinden nasıl süreç ontolojisi oluşturulur? Araştırma amaçlı bir durum çalışması yapılarak organizasyonun yönetmelik ve mevzuatlarından manuel olarak süreç ontolojisi nasıl geliştirilebilir araştırılmıştır. Araştırma sorusunun cevabı için Kalkınma Bakanlığı’nın 2014-2016 Dönemi Yatırım Programı Hazırlama Rehberi seçilmiştir. Bu doküman 14 sayfa ve 271 cümleden oluşmaktadır. Yöntem geliştirilmesi için ilk olarak amaç manuel olarak nasıl süreç ontolojisi çıkartılabilir sorusunun cevaplanmasıdır. Bu doğrultuda yapılanlar ana hatlarıyla aşağıda listelenmiştir. Etiket kelimelerin belirlenmesi. İlk olarak yatırım programı alanına ait anahtar kelimeler belirlenmiştir. Bu anahtar kelimelerin yanı sıra, dokümanda geçen büyük harflerle yazılmış kelime ve kelime grupları da işaretlenmiştir. 698 Kavramların bulunması. Etiket kelimeler kullanılarak dokümanda etiket kelimeleri içeren cümleler tespit edilmiştir. Etiket kelimeleri içeren isim tamlamaları kavram olarak işaretlenmiştir. Cümlenin fiilini bularak 5N1K soruları sorulup diğer kavramlar tespit edilmiştir. Aşağıdaki Tablo 1’de bir örnek verilmiştir. İlişkilerin oluşturulması. Cümle fiillerine Ne, Nerede, Ne zaman, Neden, Nasıl ve Kim (5N1K) soruların cevaplarından özne-fiil-nesne üçlüleri çıkartılmıştır. Aşağıdaki Tablo 2’de yukarıdaki örnek için oluşturulan üçlüler verilmiştir. Süreç ontolojisi çıkarma sürecinde yatırım programı rehberi kullanılarak 5N1K Excel dosyası doldurulmuştur. Daha sonra Excel dosyasından üçlüler Protégé’e aktarılmıştır. Kavramların belirlenmesi, 5N1K sorularının cevaplanması ve ilişkilerin kurulması 8 saat sürmüştür. Bu doğrultuda bu sürecin otomatikleştirilmesi için araç geliştirilmiştir. Manuel kullanım için geliştirilen bu yöntem, araca dönüştürülmek üzere iyileştirilmiştir. Tablo 1 Kavramların Çıkarılması Kavram yüksek öğretim kurumları Fiil sunacaklardır Nerede Teknolojik Araştırma Sektörü Kim Kalkınma Bakanlığı Neden Yükseköğretim Kurumları Bilimsel Araştırma Projeleri Hakkında Yönetmeliğin 12’nci maddesi Ne özel ödenekle karşılanacak yatırım nitelikli bilimsel araştırma projeleriyle ilgili teklifleri Tablo 2 Örnek Üçlüler Özne (Kavram) Fiil (İlişki) Nesne (Kavram) Yükseköğretim kurumları neyiSunacaklardır Özel ödenekle karşılanacak yatırım nitelikli bilimsel araştırma projeleriyle ilgili teklifleri Yükseköğretim kurumları neredeSunacaklardır Teknolojik Araştırma Sektörü Yükseköğretim kurumları kimeSunacaklardır Kalkınma Bakanlığı Yükseköğretim kurumları nedenSunacaklardır Yükseköğretim Kurumları Bilimsel Araştırma Projeleri Hakkında Yönetmeliğin 12’nci maddesi 3.2 Yöntemin Otomatikleştirilmesi Süreç ontolojisi oluşturmak için harcanan çaba ve zamanı azaltmak adına Java programlama dilinde araç (PrOnPo) geliştirilmiştir. Düz yazı metninin çözümlenebilmesi için doğal dil işleme eklentileri kullanılmıştır. Araçta, Türkçeyi 699 desteklemesi için Zemberek, İngilizceyi desteklemesi içinse Stanford çözümleyicisi kullanılmıştır. Aracın işleyişini resmeden figür aşağıda Şekil 1’de verilmiştir. Şekil 1 PrOnPo Araç Seti İşleyişi Araç, kullanıcı tarafından belirlenen etiket kelimeleri ve organizasyonun ilgili dokümanlarını girdi olarak alıp süreç ontolojisi üretmektedir. Cümle yapılarının, çıktıların kalitesi üzerinde önemli bir etkisi vardır, bu yüzden eksik oluşan üçlüler için insan müdahalesi gerekebilmektedir. Aynı şekilde 5N1K sorularının cevaplanması esnasında da, şablona uymayan durumlarda insan müdahalesi gerekebilmektedir. Aracın tamamen otomatik olmamasına rağmen aşağıda açıklanacak olan durum çalışmasına göre ciddi çaba ve zaman kazandırdığı gözlemlenmiştir. PrOnPo araç seti aynı zamanda üçlülerin, dokümanda hangi alt başlığın altında olduğu bilgisini ve hangi üçlünün hangi üçlüden önce veya sonra geldiği bilgisini de tutmaktadır. Bu kısım, oluşturulan süreç ontolojisinin daha sonraki aşamada süreç modelleme için kullanılması durumunda kolaylık sağlayacağına inanılmıştır. Sonuç olarak PrOnPo araç seti RDF çıktısı oluşturmaktadır. Aracın işleyişi bir sonraki bölümde durum çalışması ile anlatılmıştır. 3.3 Durum Çalışması Geliştirilen yöntem ve araç setinin işleyişini ve doğrulamasını yapmak üzere hem Türkçe hem de İngilizce dokümanlar kullanılarak durum çalışması yapılmıştır. Araştırma sorusu “Organizasyon yönetmeliklerinden, PrOnPo yöntemi ile süreç ontolojisi nasıl oluşturulur?” olarak belirlenmiştir. Türkçe doküman için hali hazırda manuel süreç ontolojisi oluşturulmuş olan Kalkınma Bakanlığı’na ait 2014-2016 Dönemi Yatırım Programı Hazırlama Rehberi seçilmiştir. İngilizce doküman olarak da, alan bilgisine aşina olunması ve kontrol edilebilir bir boyutta olması nedeniyle ODTÜ’nün Lisansüstü Yönetmeliği’nin İngilizce sürümü seçilmiştir. İngilizce yönetmelik 15 sayfa olup 412 cümleden oluşmaktadır. Araç seti için iyileştirilen yöntemin ana hatları, örnekler ile ilerleyen kısımlarda verilmiştir. Seçilen alan için etiket kelimelerin belirlenmesi. Etiket kelimeler kullanıcı tarafından alana ait roller, dokümanlar, iş kuralları ve aktivitelere göre belirlenmiştir. Etiket kelimelerinin yanına artı olarak kategorileri de eklenmiştir. ODTÜ Lisansüstü Yönetmeliği için belirlenen etiket kelimelerden bazıları frekans ve kategorileri ile şu şekilde verilmiştir: Student (207 - rol), instructor (13 - rol ), advisor (11 - rol), thesis (166 - doküman), EPE (22 - sınav) ve registration (38 - aktivite). 700 Etiket kelimeleri içeren cümlelerin çıkartılması. Doküman, kullanıcının belirlediği etiket kelimeler ile aratılarak, etiket kelimelerden en az bir tanesini içeren cümleler çıkartılmıştır. Türkçe için örnek cümle: “Bilgi ve iletişim teknolojileri projeleri, http://www.bilgitoplumu.gov.tr/yatirim.aspx internet adresinde yer alan Kamu Bilgi ve İletişim Teknolojileri Projeleri Hazırlama Kılavuzu’nda belirtilen esaslara göre hazırlanarak teklif edilecektir.”. İngilizce için örnek cümle: “The GSD chair submits the student’s leave of absence request to the converned GSAB along with the views of both student’s academic advisor/thesis supervisor and the GSD chair.” Çıkartılan cümlelerin çözümlenmesi. Bu aşamada cümleler özne-fiil-nesne olarak bölünüp üçlü hale getirilmektedir. Türkçe için doğal dil çözümleme araçları oldukça kısıtlı sayıdadır. Zemberek, açık kaynak kodlu ve Java dilinde yazılmış olup, yüzeysel çözümleme (shallow parsing) yapabilmektedir. Zemberek kelimelerin etiketlerini kelimenin köküne göre belirlemektedir. Örneğin iletişim kelimesi için çözümleyici sonucu; [Kok:ilet, Tip:FIIL | Ekler:FIIL_KOK,FIIL_BERABERLIK_IS,FIIL_DONUSUM_IM] şeklindedir. Zemberek çözümleyicisinin verdiği sonuçlara göre bazı kurallar yazılmıştır. Kelimenin kökünün fiil olmasına rağmen aldığı eklerden dolayı isim haline dönüşmüş olması eklere bakılması ve çıkarım yapılmasını gerektirmiştir. Ayrıca özneden sonra gelen virgülün de özneyi belirlemesi kural olarak eklenmiştir. Türkçenin yapısı özne, nesne ve fiil şeklinde olması sebebiyle özneyi yakalayıp, tip etiketlerinden fiili bulup geri kalan kelime öğeleri nesne olarak işaretlenmiştir. Örnek cümlenin özne-nesne-fiil ayrımı: “Bilgi ve iletişim teknolojileri projeleri - http://www.bilgitoplumu.gov.tr/yatirim.aspx yer alan Kamu Bilgi ve İletişim Teknolojileri Projeleri Hazırlama Kılavuzu ‘nda belirtilen esaslara göre - teklif edilecektir” şeklinde verilmiştir. Diğer taraftan, açık kaynak kodlu ve Java dilinde yazılmış olmasından dolayı İngilizce çözümleyici için Stanford çözümleyicisi seçilmiştir. Tam çözümleme (full parsing) yaparak çalışan Stanford çözümleyicisi cümledeki her kelime için tip etiketi ekleyip, cümleyi kural belirlemeden özne, fiil ve nesne olarak bölebilmektedir. Üçlülerin süreç ontolojisine dönüştürülmesi. Özne-fiil-nesne olarak oluşturulan üçlüler 5N1K soruları cevaplanarak süreç ontolojisine dönüştürülmektedir. Nesnenin hangi soruya cevap verdiğini bulmak amacıyla hem Türkçe hem de İngilizce için şablonlar (Tablo 3) hazırlanmıştır. Tablo 3’deki ilk satır, Stanford çözümleyicisinin kelimelere ve artikellere verdiği etiketlerine göre hazırlanmıştır. Şablona uymayan üçlülerdeki fiiller, ‘Ne?’ sorusuna cevap verdiği varsayılmıştır. Kullanıcı bu aşamada müdahale ederek, nesneyi doğru soruyla ilişkilendirebilmektedir. Soruların cevaplarından oluşturulan üçlüler süreç ontolojisi olarak kaydedilmiştir (Tablo 4). Oluşturulan örnek ontoloji üçlüleri aşağıda Tablo 5’de verilmiştir. 701 Tablo 3 5N1K Şablonu Ne Nerede Neden Nezaman Kim Nasıl No (PP) only (IN)- on (TO)+(VB) (IN)- (IN)-by (IN)-by+(VBG) (NP) as object (ex: to after, (TO)-to (ex: by applying) obtain) before Role tag (IN)-with Document tags Internet Periods Role tags adverbs address/page Semester Place tags Sadece isim Yer, internet için Tarih Rol ve Göre, tamlaması adresi formatı pozisyon şeklinde kategorileri Tablo 4 5N1K Cevapları Kavram Fiil Ne? Kim? Nasıl? The GSD submits Student’s to the along with the views of both student’s Chair leave of concerned academic advisor/thesis supervisor and absence GSAB GSD Chair. Bilgi ve teklif http://www.bilgitoplumu.gov.tr/yatirim. iletişim edilecektir aspx yer alan Kamu Bilgi ve İletişim teknolojileri Teknolojileri Projeleri Hazırlama projeleri Kılavuzu belirtilen esaslara göre Tablo 5 Örnek Ontoloji Üçlüleri submitsWhat the student’s leave of absence request The GSD chair submitsWho to the concerned GSAB (ROLE) along with the views of both student’s academic submitsHow advisor/thesis supervisor and the GSD chair. Bilgi ve iletişim http://www.bilgitoplumu.gov.tr/yatirim.aspx yer alan nasılTeklifedilecektir teknolojile Kamu Bilgi ve İletişim Teknolojileri Projeleri Hazırlama ri projeleri Kılavuzu belirtilen esaslara göre 4. Değerlendirme Bu durum çalışmasının iki başarı kıstası bulunmaktadır. İlki araştırma sorusunun cevaplanması ve ikincisi sayısal değerlendirmedir. Araştırma sorusu (Organizasyon yönetmeliklerinden PrOnPo yöntemi ile nasıl süreç ontolojisi oluşturulur?) hem Türkçe hem de İngilizce doküman üzerinde yapılan durum çalışmasıyla cevaplanmıştır. Sayısal değerlendirme de ise, doğru pozitif ve yanlış negatif (precision (2) & recall (1)) metrikleri ile yapılmıştır. Doğru pozitif ve yanlış negatif metrikleri bilgi çıkarımı ve doğal dil işleme aktivitelerinde kullanılmaktadır. Doğru olarak oluşturulan üçlüler doğru pozitif, yanlış oluşturulanlar ise yanlış pozitif olarak değerlendirilmektedir. Oluşturulamayan, ama doğru olan üçlüler yanlış negatif olarak kaydedilmektedir. 702 Doğru Pozitif/(Doğru Pozitif + Yanlış Negatif) = Recall. (1) Doğru Pozitif /(Doğru Pozitif + Yanlış Pozitif) = Precision. (2) Türkçe doküman olarak seçilen 2014-2016 Yatırım Programı Hazırlama Rehberi’nden araç seti ile 587 üçlü oluşturulmuştur. Bunların 89 tanesi doğru ve ilgilidir. Manuel olarak oluşturulan üçlü sayısı 274 dür. Ancak doğru üçlü sayısı 330 dur. 241 tane ilgili üçlü bu durumda otomatik olarak, 33 üçlü de manuel olarak oluşturulamamıştır. Sonuç olarak bu yöntem ile %27 (89/330) ilgili üçlü doğru oluşturulabilmekte ve tüm oluşturulan üçlüler arasından %15 (89/587) ilgili üçlü doğru olarak bulunabilmektedir (Tablo 6). Tablo 6 Türkçe Doküman için Precision ve Recall Metrikleri İlgili (89+241=330) İlgisiz Çıkartılan (89+498=587) Doğru pozitif = 89 Yanlış pozitif = 498 Çıkartılmayan Yanlış negatif = 241 - ODTÜ Lisansüstü yönetmeliğinden (İngilizce) hem manuel hem de geliştirilen yöntem aracı kullanılarak süreç ontolojisi oluşturulmuştur. İki süreç ontolojisi karşılaştırıldığında yöntem aracı ile ilgisiz üçlüler arasından %92 (312/339) başarı ile ilgili üçlüleri bulabildiği ve tüm üçlüler arasından %90 (312/348) başarı ile ilgili üçlüleri bulabildiği tespit edilmiştir (Tablo 7). Tablo 7 İngilizce Doküman için Precision ve Recall Metrikleri İlgili (312+36=348) İlgisiz Çıkartılan (312+27=339) Doğru pozitif = 312 Yanlış pozitif = 27 Çıkartılmayan Yanlış negatif = 36 - Türkçe ve İngilizce arasında önemli bir fark olmasının en büyük iki sebebi vardır. Birincisi Zemberek çözümleyicisinin yüzeysel çözümleme yapmasıdır. İkinci sebep ise Türkçe dilinin sondan eklemeli olması, zor gramer ve kelime yapısından kaynaklanmaktadır. Bunların yanı sıra not edilen sorunlar aşağıda listelenmiştir.  Zemberek kelimeleri %100 doğru etiketleyememektedir. Örneğin kökü fiil olmasına rağmen aldığı eklerle isim olan bir kelimeyi fiil olarak etiketleyebilmektedir.  Öznenin fiilde gizli olduğu durumlarda, özneyi bulamamaktadır ve üçlü oluşturamamaktadır.  Cümle içinden özne, nesne ve fiili çıkartabilmek için kurallar tanımlanması gerekmektedir.  Cümleler uzun ve karmaşık olduğu zaman da yazılan kurallar işlenememektedir.  Doğru üçlü oluşturmak için yazılan kurallar olması gerekenden daha fazla üçlü oluşturmasına sebebiyet vermiştir. Bu da doğru pozitifin, doğru ve yanlış pozitiflere oranını düşürmüştür. 703 İngilizce dokümanda ise karşılaşılan sorunlar, cümlelerin uzun ve karmaşık yapısından kaynaklanmaktadır. Stanford çözümleyicisi böyle durumlarda özne, fiil ve nesne ayrımı yapamamaktadır. Ayrıca “/” noktalama işaretini örneğin ve/veya için çözümleyememektedir. Oluşturulamayan doğru üçlüler arasında, cümle içinde geçen harf notları (BB, CC vb.) bulunmaktadır. Çözümleyici de bunu anlayamamıştır. Tüm bunlara rağmen bu yöntem ve araç seti süreç modelleme için harcanan zamanı ciddi oranda azaltmıştır. Yatırım Programı Hazırlama Rehberinin süreç ontolojisi çıkartılması 8 saat sürmüştür. PrOnPo yöntemi ile oluşturma işlemi 2 saatten az zaman almıştır. Doğru üçlüler oluşturamasa bile, manuel süreçte gözden kaçan üçlüleri yakalamıştır ve üçlü arama süresini kısaltmıştır. ODTÜ Lisansüstü Yönetmeliğinden (İngilizce) süreç ontolojisi oluşturma süreci 3 saat sürmüştür. PrOnPo yöntemi ile bu süreç 1 saatten aza indirilmiştir. 5. Sonuç Bu çalışmada organizasyon yönetmeliklerinden süreç ontolojisi oluşturma yöntemi oluşturulup yöntemi otomatikleştirmek adına araç geliştirilmiştir. Yöntem ve aracın doğrulanması bir durum çalışması ile sağlanmıştır. Durum çalışması hem Türkçe hem de İngilizce organizasyon yönetmeliği kullanılarak yapılmıştır. Daha sonra iki dil için de yöntemin sonuçları karşılaştırılmıştır. İngilizce için PrOnPo araç setinin ontoloji üçlülerinden %90’ınını yakalayabildiği ve süreç ontolojisi oluşturma süresinin 3 saatten 1 saate indiği görülmüştür. Türkçe için ise aracın %15 başarılı olduğu ve süreç oluşturma süresini 8 saatten 2 saate indirdiği gözlemlenmiştir. PrOnPo araç setinin, Türkçe ve İngilizce arasındaki başarı farkına sebep olan en büyük etkenlerden biri doğal dil çözümleme eklentilerinin olduğu not edilmiştir. Türkçe doğal dil çözümleme eklentilerinin temel seviyede çözümleme yapması, cümle için de özneyi nesneyi fiili ve kelime tiplerini doğru yakalayamaması, yanlış üçlülerin oluşmasına sebebiyet vermiştir. Türkçe’nin İngilizceye göre daha zor ve karmaşık bir dil olması da diğer önemli etkenlerden biridir. Türkçe için doğal dil işleme araçlarının altyapılarının geliştirilmesi durumunda, PrOnPo yönteminin Türkçe için de en az İngilizce kadar başarılı olacağına inanılmaktadır. Otomatikleştirme sürecine rağmen bu çalışmanın en büyük katkısı, organizasyonun dokümanlarından süreç ontolojisi oluşturma yönteminin geliştirilmesidir. Sadece birer durum çalışması sonucu bu değerlendirmeler yapılmaktadır. Başka durum çalışmalarının yapılması gelecek çalışmalarımızdan bir tanesidir. Ayrıca Türkçe dilli organizasyon yönetmeliklerinden süreç ontolojisi oluşturmak için PrOnPo araç setini, kullanıcıyı yönlendirecek ve gerekli durumlarda müdahale edip öneriler sunabilecek şekilde geliştirilmesi de diğer bir gelecek çalışmamızdır. References 1. Hazman, M., Rafea, A.: A Survey of Ontology Learning Approaches. 22, 36–43 (2011). 2. Gruber, T.R.: A translation approach to portable ontology specifications. Knowl. 704 Acquis. 5, 199–220 (1993). 3. Noy, N.F., McGuinness, D.L.: Ontology Development 101: A Guide to Creating Your First Ontology. Stanford Knowl. Syst. Lab. 25 (2001). 4. Buitelaar, P., Cimiano, P., Magnini, B.: Ontology Learning from Text : An Overview. 1–10 (2004). 5. De Cesare, S., Juric, D., Lycett, M.: Toward the automation of business process ontology generation. Proc. - 16th IEEE Conf. Bus. Informatics, CBI 2014. 1, 70–77 (2014). 6. Jiang, X., Tan, A.: CRCTOL : A Semantic-Based Domain Ontology Learning System. 61, 150–168 (2010). 7. Wong, W., Liu, W., Bennamoun, M.: Ontology learning from text. ACM Comput. Surv. 44, 1–36 (2012). 8. Gómez-pérez, A., Manzano-macho, D.: Deliverable 1 . 5 : A survey of ontology learning methods and techniques OntoWeb Consortium. (2003). 9. Shamsfard, M., Abdollahzadeh Barforoush, A.: The state of the art in ontology learning: a framework for comparison. Knowl. Eng. Rev. 18, 293–316 (2003). 10. Ding, Y., Foo, S.: development . Part 1 – a review of ontology generation. 28, 123– 136 (2002). 11. Zhou, L.: Ontology learning: state of the art and open issues. Inf. Technol. Manag. 8, 241–252 (2007). 12. Laurea, T., Lieto, A.: Manually vs semiautomatic domain specific ontology building. (2008). 13. Bi, B., Szulman, S., Clement, A.J.: TERMINAE : a method and a tool to build a domain ontology. Knowl. Acquis. Model. Manag. 49–66 (1999). 14. Noy, N.F., Sintek, M., Decker, S., Crubézy, M., Fergerson, R.W., Musen, M.A.: Creating semantic web contents with protégé-2000. IEEE Intell. Syst. Their Appl. 16, 60–71 (2001). 15. Leopold, H., Meilicke, C., Fellmann, M., Pittke, F., Stuckenschmidt, H., Mendling, J.: Towards the Automated Annotation of Process Models. Adv. Inf. Syst. Eng. 27th Int. Conf. CAiSE 2015. 401–416 (2015). 16. Belhajjame, K., Brambilla, M.: Ontology-based description and discovery of business processes. Lect. Notes Bus. Inf. Process. 29 LNBIP, 85–98 (2009). 17. Hepp, M., Hepp, M., Roman, D., Roman, D.: An Ontology Framework for Semantic Business Process Management. Wirtschaftsinformatik 2007. 1–18 (2007). 18. Koschmider, A., Oberweis, A.: Ontology based Business Process Description. Proc. CAiSE-05 Work. 321–333 (2005). 19. Fan, S., Hua, Z., Storey, V.C., Zhao, L.: A process ontology based approach to easing semantic ambiguity in business process modeling. Data Knowl. Eng. 102, 57–77 (2016). 20. Coşkunçay, A., Gürbüz, Ö., Demirörs, O.: İş süreç Modellerinden Ontolojiye Dönüşüm: Bir Durum Çalışması. In: Proceedings of the 8th Turkish National Software Engineering Symposium. pp. 233–244 (2014). 705