<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Development of Semantic Web Application Architecture for Natural Language Based Querying</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>t Kom</string-name>
          <email>murat.komesli@yasar.edu.tr</email>
        </contrib>
        <contrib contrib-type="author">
          <string-name>t Osm</string-name>
          <email>murat.osman.unalir@ege.edu.tr</email>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Ege University, Computer Engineering Department Universite Cad.</institution>
          <addr-line>9, 35100, Bornova, Izmir</addr-line>
          ,
          <country country="TR">Turkey</country>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Yasar University, Management Information Systems Department Universite Cad.</institution>
          <addr-line>35, 35100, Bornova, Izmir</addr-line>
          ,
          <country country="TR">Turkey</country>
        </aff>
        <aff id="aff2">
          <label>2</label>
          <institution>Yasar University, Software Engineering Department Universite Cad.</institution>
          <addr-line>35, 35100, Bornova, Izmir</addr-line>
          ,
          <country country="TR">Turkey</country>
        </aff>
      </contrib-group>
      <abstract>
        <p>With the developing technology and increased demand on practical usage of knowledge, users require to interact with systems by using natural language. Researchers discover the necessity of natural language queries should be converted to machine understandable format to meet the requirement of users. The necessity of the conversion triggered the researches on studies on question answering systems that is one of the systems mostly interact with natural language queries. For question answering systems that utilizes structural knowledge sources, understanding user intention accurately consists of the processes of natural language processing, representing the user intention and forming structured query to generate the answer. A technique and an architecture to convert natural language query to ontology query language by utilizing from both linguistic and semantic technologies are proposed in this study. Automatic conversion of an unstructured natural language query to a structured ontology query language SPARQL and process of producing answer over linked data are explained in the proposed technique and architecture. A different approach other than the related studies is followed in terms of defining a “Query Semantization” layer in the proposed architecture and developing a natural language aware ontology for the technique proposed. Contribution to the literature is expected by combining natural language processing technique and semantic web technologies with a different approach.</p>
      </abstract>
      <kwd-group>
        <kwd>Natural Language Processing</kwd>
        <kwd>Ontology Development</kwd>
        <kwd>Semantic Web Application Architecture</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>Özet. Gelişen teknoloji ve giderek artan bilginin pratik kullanım ihtiyacı
doğrultusunda kullanıcıların sistemler ile doğal dil kullanarak etkileşime geçme ihtiyacı
doğmuştur. Bu ihtiyacın karşılanması için doğal dil sorgularının makine
tarafından anlaşılır bir yapıya dönüştürülmesi gerekliliği araştırmacılar tarafından
gözlemlenmiştir. Bu gereklilik doğal dil sorgusu ile en çok etkileşime geçen
sistemlerden biri olan soru cevaplama sistemleri alanındaki birçok araştırmayı
tetiklemiştir. Yapısal bilgi kaynakları kullanan soru cevaplama sistemleri için
kullanıcının bilgi ihtiyacının doğru olarak anlaşılması süreci doğal dil
sorgusunun işlenmesi, kullanıcının bilgi ihtiyacının temsili ve yapısal sorgu üretilerek
cevabın oluşturulması süreçlerini kapsamaktadır. Bu çalışmada doğal dil
sorgusunun, hem dilbilimsel, hem de anlamsal teknolojilerden yararlanılarak
ontoloji sorgu diline çevrilmesi için bir yöntem ile mimari önerilmiştir.
Ontolojilerin bilgi kaynağı olarak kullanıldığı önerilen yöntem ve mimaride, yapısal
olmayan doğal dil sorgusunun otomatik olarak yapısal bir sorgu dili olan
SPARQL’a dönüştürülmesi ve üretilen sorgu ile bağlı veri üzerinden cevap
üretilmesi süreçleri açıklanmıştır. Önerilen mimaride açıklanan “Sorgu
Anlamsallaştırma” katmanı, bu katmanda tanıtılan işlemler ve doğal dil farkında bir
ontoloji geliştirilerek tasarlanan yöntem ile ilgili çalışmalardan farklı bir
yaklaşım izlenmiştir. Doğal dil işleme teknikleri ve anlamsal web teknolojilerinin
birleştirilerek tasarlanan bu farklı yaklaşım ile literatüre katkı hedeflenmektedir.
1</p>
    </sec>
    <sec id="sec-2">
      <title>Giriş</title>
      <p>Teknolojinin hayatımızdaki önemi ve depolanan veri miktarı çoğaldıkça, son
kullanıcılar için bilgiye daha hızlı ve kolay erişim sürekli olarak çözümü iyileştirilmeye
çalışılan bir probleme dönüşmüştür. Kullanıcıların kendilerini en rahat hissettikleri
sorgu tipi günlük hayatta iletişim için kullandıkları doğal dildir. Doğal dille temsil
edilen kullanıcının bilgi ihtiyacının makine tarafından anlaşılır bir forma
dönüştürülmesi gerekmektedir. Bu alanda çalışan araştırmacılar, doğal dilin ayrıştırılması,
her bir öğenin analizi, makine anlaşılır bir temsile çevrilmesi ve otomatik olarak cevap
üretilmesi süreçlerine yoğunlaşmaya başlamışlardır. Bu gelişmeler doğrultusunda
yapay zekânın bir alt birimi olan doğal dil işleme (DDİ) konusu popülerlik kazanmıştır.
DDİ; verilen bir doğal dil sorgusunun bileşenlerine ayrıldığı, her bileşenin ve bileşenler
arası ilişkilerin dilbilimsel olarak analiz edildiği süreçlerin bütünüdür. DDİ, verilen
sorgu ile ilgili detaylı sonuçlar çıkarsa da anlamsal analiz ile ilgili yetersiz kaldığı
noktalar bulunmaktadır. Dilbilimsel analiz sürecini anlama ve uzlaşma konusunda bir üst
seviyeye çıkartabilecek ve onu destekleyecek anlamsal teknolojilere ihtiyaç vardır.</p>
      <p>
        Anlamsal teknolojilerin arkasındaki temel bileşen, belirli bir alanda tanımlanan
kavramlar arasındaki ilişkiler ve taksonomi ile kavramsallaştırmayı temsil eden
ontolojilerdir. Farklı platformlar arasında bilgi paylaşımı ve değişimi yapılabilmesinde
önemli rol oynarlar. Bu sebepten dolayı ontoloji kavramı, sözdizimi, OWL ya da RDF
ile temsil edilmesi ve ontoloji sorgu dilleri olan RDQL, SPARQL konularındaki
çalışmalarda artış görülmektedir [
        <xref ref-type="bibr" rid="ref1">1</xref>
        ]. Anlamsal teknolojilerin yaygınlaşması ile DDİ
alanındaki gelişmeler yeni bir yön kazanmıştır. Araştırmacılar arasında kullanıcıyı
anlamak ve sorularına cevap üretmek için DDİ tekniklerini anlamsal teknolojiler ile
birleştiren melez yöntemler tartışılmaya başlanmıştır. Bu aşamada ilk odaklanılan konu
anlamsal teknolojilerin DDİ yöntemlerini güçlendirmeye nasıl yardımcı olacağı
olmuştur. İkinci önemli konu ise, anlamsal web geliştirmede kullanılan ontoloji
öğrenmesi, ontoloji sorgulama, çok dilli ontoloji eşleştirme yöntemlerinde DDİ’nin hangi
noktalarda katkı sağlayabileceği olmuştur [
        <xref ref-type="bibr" rid="ref2">2</xref>
        ].
      </p>
      <p>
        Cümle anlama, içerisinde temel olarak iki süreç barındırır. Bunlardan ilki morfolojik
olarak incelenmesi, ikincisi ise anlamsal analizdir [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ]. Morfolojik analiz kelimelerin
yapılarıyla ilgilenirken anlamsallığa ulaşmak için kelimeler arası ilişkiler, kelimelerin
POS (“part of speech”, kelime türü) etiketleri (isim, fiil, sıfat, vb.) ve cümle içindeki
görevlerini (özne, yüklem, nesne, vb.) çıktı olarak üretir. Anlamsallık seviyesine
katkıda bulunmak için, varlık ismi tanıma yönteminden faydalanılır. Bu yöntem doğal dil
sorgusunda bulunan varlıkların önceden tanımlanmış kategorilerle (kişi, organizasyon,
tarih, lokasyon, vb.) işaretlenmesini sağlar [
        <xref ref-type="bibr" rid="ref4">4</xref>
        ]. Üretilen bu çıktılar, doğal dil
sorgusunun zenginleştirilmesi için ontolojilerle birleştirilerek kullanılır. Bu yaklaşım özellikle
doğal dil ile sorgulama imkanı sağlayan soru cevaplama sistemleri için ontolojilerin
bilgi kaynağı olarak kullanılmasını sağlar. Doğal dil sorgusu ile temsil edilen bilgi
ihtiyacı ontolojinin sorgu diline dönüştürülür. Kullanıcılar ontoloji sorgu dilini, yapıyı ve
ontoloji sözlüğünü öğrenme ihtiyacı olmaksızın ontolojilerdeki bilgiye ulaşabilirler.
Kullanıcılar ile sistemler arası köprü kuran bu yaklaşım sayesinde ontolojilerin pratik
kullanımı da sağlanmış olmaktadır [
        <xref ref-type="bibr" rid="ref5">5</xref>
        ].
      </p>
      <p>Bu çalışmada DDİ teknikleri ve anlamsal web teknolojilerinin birleştirilmesi
yaklaşımı ile tasarlanan mimari sunulmuştur. Bu bölümde konuya bir giriş yapılarak Bölüm
2’de temel kavramlar açıklanmış ve benzer çalışmalar sunulmuştur. Bölüm 3’de doğal
dil farkında ontoloji geliştirme açıklanmıştır. Bölüm 4’de, doğal dil sorgularının
otomatik olarak anlamsal web sorgularına dönüştürülmesi ve çalışmada önerilen
mimari açıklanmıştır. Son bölümde ise, çalışmanın katkısı, diğer yaklaşımlar ile farkları
ve benzerlikleri, sağlayacağı katkılar ve bu katkıların genişletilerek gelecek çalışmalara
hangi şekilde yol gösterebileceği tartışılmıştır.</p>
    </sec>
    <sec id="sec-3">
      <title>Temel Kavramlar ve İlgili Çalışmalar</title>
      <sec id="sec-3-1">
        <title>Doğal Dil İşleme</title>
        <p>
          Yapay zeka ve hesaplamalı dilbilim konularına ait bir araştırma konusu olan doğal dil
işlemenin temel konusu içeriği çözümleme, kelime yapılarının ve kelimeler arası
ilişkilerin anlaşılması için kelime, cümle ve metin işlemedir. Doğal dil işlemenin temel
prensibi; doğal dil verisinin dilbilim yöntemleri kullanılarak zenginleştirilmesi olarak
özetlenebilir. Doğal dilde kullanılan olası kelime sayısı oldukça fazladır ve verilen bir
kelime için belirli eklerle birleştirilip anlamları birbirinden farklı kelimeler türetilmesi
olasıdır. Bu sebepten dolayı doğal dilde bulunan kelime kümesinin geniş ve karmaşık
olduğu görülmektedir. [
          <xref ref-type="bibr" rid="ref6">6</xref>
          ].
        </p>
        <p>Doğal dil girdisi kabul ederek, makine tarafından anlaşılır çıktıya dönüştüren doğal
dil işleme sistemlerinin blok diyagramı Şekil 1’de gösterilmiştir.</p>
        <p>
          Şekil 1. Bir DDİ sistemi için sistem blok diyagramı [
          <xref ref-type="bibr" rid="ref7">7</xref>
          ].
        </p>
        <p>
          Hayes ve Carbonell [
          <xref ref-type="bibr" rid="ref8">8</xref>
          ], doğal dil işlemeyi, doğal dille iletişim için hesaplama etkili
mekanizmaların formüle edildiği ve araştırıldığı alan olarak tanımlamıştır. Doğal dil
işlemenin temel motivasyonu insan dilinin modellenmesi ve bilgisayar sistemleri
tarafından oluşturulan modellerin verimli ve etkin bir şekilde kullanılması olarak
belirtilmiştir [
          <xref ref-type="bibr" rid="ref8">8</xref>
          ].
        </p>
        <p>
          Liddy [
          <xref ref-type="bibr" rid="ref9">9</xref>
          ], doğal dil işlemeyi bir dizi görev veya uygulama için insan benzeri dil
işlemenin gerçekleşmesi amacıyla metnin bir ya da daha fazla seviyede dilbilimsel
analizi ve temsili için bir dizi teorik hesaplama teknikleri olarak tanımlamıştır. Bu tanımı
yaparken bir dizi hesaplama teknikleri kavramını birden fazla seviyede çeşitli
dilbilimsel analiz tekniklerini temsil etmek adına vurgulamıştır. Her bir dilbilimsel analiz
seviyesi anlama ulaşmak için ayrı bir görev üstlenir. Bu sebepten dolayı sistemlerin
daha doğru ve etkin sonuçlar üretebilmesi için uygulama ihtiyacına göre hangi seviye
ya da seviyelerde analiz yapılması gerektiğinin iyi belirlenmesi gerekmektedir [
          <xref ref-type="bibr" rid="ref9">9</xref>
          ].
        </p>
      </sec>
      <sec id="sec-3-2">
        <title>2.2 Ontoloji Geliştirme</title>
        <p>
          Felsefe bilimi ontolojiyi varoluşun konusu [
          <xref ref-type="bibr" rid="ref10">10</xref>
          ] ve belirli bir alanda geçerli olan
varoluşun kategorize edilmesi [
          <xref ref-type="bibr" rid="ref11">11</xref>
          ] olarak tanımlar. Bilgisayar bilimleri ve bilgi bilimleri
alanında ontolojilerde bilgi, kavramlardan oluşan bir küme ve bu kavramlar arasındaki
ilişki tanımları ile temsil edilir. Bir başka deyişle, belirli bir alanı, kavramların
tanımları, özellikleri ve ilişkileri ile modelleyen ortak bir sözlük paylaşımı ontolojiler
tarafından yapısal bir şekilde sunulur.
        </p>
        <p>
          Gruber’in [
          <xref ref-type="bibr" rid="ref12">12</xref>
          ] tanımında, ontolojiler paylaşılan kavramsallaştırmanın resmi ve açık
tanımlamaları olarak ifade edilir. Kavramsallaştırma; belirli bir amaç doğrultusunda
dünyanın soyut ve sadeleştirilmiş bir görüntüsüdür. Gruber [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ], bir diğer çalışmasında,
kavramsallaştırmanın her bilgi tabanlı sisteminde açık veya kapalı şekilde var olduğuna
değinmiştir. Tanımda kullanılan ikinci önemli ifade olan resmi ve açık tanımlama,
ontolojinin makine tarafından okunur/anlaşılır olabilmesi için tanımlayıcı, açık ve belirli
bir standartlarda temsil edilmesi gerektiğine atıfta bulunmaktadır.
        </p>
        <p>
          Hendler [
          <xref ref-type="bibr" rid="ref14">14</xref>
          ], ontolojiyi sözlük, anlamsal ilişkiler, belirli bir alana özel tanımlı bazı
çıkarsama ve mantık kurallarından ulaşan terimler kümesi olarak tanımlar. Hendler,
mantıksal kurallar ve çıkarsama mekanizması kullanılarak kavramlar arasında anlamsal
tanımlamalar ile bağlantı kurulduğuna dikkat çeker.
        </p>
        <p>
          Kalfoglou’na [
          <xref ref-type="bibr" rid="ref15">15</xref>
          ] göre, ontoloji, bazı ilgi alanlarındaki önemli kavramların ortak
bir anlayışının açık bir temsilidir. Nesnellik kavramı ortak anlayış amacını destekler ve
nesnelliğe ulaşabilmek için açık kavramsal bir yapı kullanıldığını belirtmiştir.
Ontolojinin nesnel olma özelliği, akıllı ajanlar ve uygulamalara bilgi paylaşımı ve tekrar
kullanımı sayesinde anlamsal uyumluluk ve birlikte çalışabilirlik özelliğini sağlamıştır.
        </p>
        <p>
          Noy and McGuinness [
          <xref ref-type="bibr" rid="ref16">16</xref>
          ]’ in ontoloji geliştirme 101’de tanımladığı adımlar ise şu
şekilde sıralanmaktadır:
 Adım 1: Ontoloji alanının ve kapsamının belirlenmesi
 Adım 2: Hâlihazır ontolojilerin yeniden kullanımının gözden geçirilmesi
 Adım 3: Ontolojideki önemli terimlerin belirtilmesi
 Adım 4: Sınıfların ve sınıf hiyerarşisinin tanımlanması
 Adım 5: Sınıfların özelliklerinin tanımlanması
 Adım 6: Özellikler ile ilgili nitelik ve kısıtların belirlenmesi
 Adım 7: Sınıf örneklerinin oluşturulması.
        </p>
        <p>Bölüm 3’de bu adımlar izlenerek doğal dil tabanlı sorgulama için doğal dil farkında
ontoloji geliştirilmesi açıklanmıştır.
2.3</p>
      </sec>
      <sec id="sec-3-3">
        <title>Anlamsal Web Teknolojileri ile Ontoloji Kullanarak Soru Cevaplama</title>
        <p>Bilgisayarlar tarafından doğal dil anlama ve yorumlamanın hayata geçirilmesi için ses
ve dil işleme, insan dili teknolojileri, doğal dil işleme, hesaplamalı dilbilim ve konuşma
tanıma/sentezleme gibi birçok farklı disiplini bir araya getirmek gerekmektedir. Temel
hedef, insan-makine ve insan-insan arasındaki iletişimi iyileştirmek ve metin ya da ses
verisinin kullanışlı bir şekilde işlenebilmesini sağlamaktır. Soru cevaplama sistemleri
ise, doğal dil sorgularını yapısal sorgulara dönüştüren, bu sorgularına cevaplar üreten
ve doğruluk oranları çeşitli metrikler ile ölçülebilen bu hedefe katkı sağlayan
sistemlerdir.</p>
        <p>
          Bir soru cevaplama sistemi 3 temel sürece sahiptir. Bu süreçler doğal dil girdisinin
işlenmesi, kullanıcının bilgi ihtiyacının anlaşılması ve bu doğrultuda cevap üretilmesi
şeklinde sıralanır. Soru cevaplama sistemleri 2 farklı temel yaklaşımda görülmektedir.
Bunlardan ilki bilgi geri getirimi tabanlı soru cevaplamadır, diğeri ise, bilgi tabanına
dayalı soru cevaplamadır [
          <xref ref-type="bibr" rid="ref17">17</xref>
          ]. Cevap üretmek için bilgi geri getirimi tekniklerini
kullanan ilk yaklaşım, metin tabanlı soru cevaplama ya da belge tabanlı soru cevaplama
olarak da bilinir. Verilen bir doğal dil sorgusu için cevabı içerebilecek aday belgelerin
oluşturulması bir arama mekanizması kullanılarak gerçekleştirilir.
        </p>
        <p>
          İkinci yaklaşım olan bilgi tabanlı soru cevaplama sistemlerinde, odak noktası
yapısal olmayan doğal dil sorgularının yapısal olan bir bilgi tabanı sorgu diline
çevrilmesi esas alınmaktadır. Bilgi tabanlı soru cevaplama sistemleri kural tabanlı,
gözetimli ya da yarı gözetimli yöntemler kullanırlar. Kural tabanlı yöntemler sorudan
ilişkileri çıkarmak için tanımlı kurallar ve örüntüler kullanırlar. Gözetimli yöntemler
ise, mantıksal form ile eşleşmiş soru kümelerinden oluşan işaretlenmiş eğitim veri
setlerini kullanan öğrenme algoritmalarından faydalanırlar. Gözetimli öğrenme
algoritmaları genel olarak doğal dil sorgu kavramları ile bilgi kaynaklarında tanımlı kavramların
eşleştirilme süreci için ayrıştırma ağaçlarını kullanırlar [
          <xref ref-type="bibr" rid="ref17">17</xref>
          ].
        </p>
        <p>
          Anlamsal web teknolojilerinin giderek gelişmesi bağlı verinin artışını sağlamıştır.
Bu artış beraberinde gerçek hayat ihtiyacını temsil eden daha geniş bir spektrumda bağlı
veri kullanımı sağlamıştır [
          <xref ref-type="bibr" rid="ref1">1</xref>
          ]. Ayrıca bağlı veri artışı, birbiriyle bağlantılı RDF veri
setlerine sahip olan bağlı veri depolama kaynaklarına erişim ve kullanım ihtiyacını da
arttırmaktadır. Bu ihtiyaç doğrultusunda araştırmacılar arasında kullanıcıların yapısal
bir sorgu dili bilmeden bağlı veri depolayan ontolojilerden nasıl yararlanacakları yeni
bir odak noktası olmuştur [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ]. Anlamsal teknolojilerin arka planındaki karmaşık
rasyonellikten dolayı son kullanıcılar ve bağlı veri arasında bir boşluk bulunmaktadır. Bu
boşluğu kapatacak olan yaklaşım, doğal dil arayüzleridir. Araştırmacılar kullanıcıların
rahatlıkla kullanabileceği, kullanıcı dostu ve pratik arayüz gereksinimi üzerinde
yoğunlaşmışlardır. Bunlara ek olarak, bu arayüzlerin bağlı veri üzerinden soru cevaplama
yapan sistemler için temel bir bileşen olması gerektiğine dikkat çekmişlerdir [
          <xref ref-type="bibr" rid="ref19">19</xref>
          ].
2.4
        </p>
        <p>
          İlgili Çalışmalar
Xu vd. [
          <xref ref-type="bibr" rid="ref20">20</xref>
          ], doğal dil sorgularını SPARQL sorgularını çeviren ve sorguları DBpedia’ya
gönderen Xser adında bir soru cevaplama sistemi geliştirmişlerdir. İki aşamalı olan bu
yöntemin ilk aşamasında cümlede bulunan varlıklar, kategoriler, ilişkiler veya
değişkenler gibi ifadeler tespit edilmiştir. İfadeler arası “predicate argument” ilişkileri
sorgu örüntü yapıları şeklinde temsil edilmesi ve tahminleme yapılması için
kullanılmıştır.
        </p>
        <p>
          Dima [
          <xref ref-type="bibr" rid="ref21">21</xref>
          ] tarafından sunulan çalışmada, kullanıcının bilgi ihtiyacının RDF üçlü
ifadeleri ile eşleşmesi için hem sözdizimsel, hem de anlamsal bilgiyi kullanmaktadır.
Bu sistemin temel amacı, anahtar kelime tabanlı arama için alternatif bir yaklaşım
sunarak, bir cevap yerine bir doküman listesi döndüren bu arama mekanizmasının yarattığı
problemleri çözmektir. Intui3 olarak adlandırılan bu arama yaklaşımı, çok dilli bir soru
cevaplama platformudur. Sistemde varlıklar ve yüklemler endekslenmektedir. Yüklem
endeksinin kaynağı 49,714 yüklem ve varlıktan oluşan DBpedia’dır.
        </p>
        <p>
          He vd.’nin [
          <xref ref-type="bibr" rid="ref22">22</xref>
          ] CASIA@V2 şeklinde adlandırdığı soru cevaplama sistemi,
cevapların bağlı veri üzerinden üretildiği ve DBpedia’nın veri kaynağı olarak
kullanıldığı bir mimari ile tasarlanmıştır. İfadelerin ya da ifade gruplarının tespiti ve
DBpedia ile eşleştirilmesi için ortak öğrenme çerçevesi sunan Markov Mantık Ağları
[
          <xref ref-type="bibr" rid="ref23">23</xref>
          ] yöntemi kullanılmıştır. Doğal dil sorgusunu bileşenlerine ayırmak için sistemdeki
yapılan ilk işlem aday ifadelerin tespit edilmesidir. DBpedia içerisindeki kavramların
aday ifadelerle olan olası eşlemelerini bularak RDF üçlüleri yaratmak için ayrıştırılan
ifadeler ile DBpedia elemanları arasında gruplama yöntemi kullanılır.
        </p>
        <p>
          Park vd. [
          <xref ref-type="bibr" rid="ref24">24</xref>
          ] tarafından ISOFT isimli çalışmada, doğal dil cümlelerinin SPARQL
örüntüleri ile eşleştirilmesi için yararlanılan anlamsal benzerlik yöntemi üzerinde
durulmuştur. Sorguda anlam içeren kelimeler seçilmiş ve ontolojideki kavramların temsil
edildiği tanımlı URI’lar ile eşleştirilmiştir. Anlam içeren kelimeler cümle içerisinde
ipucu içeren ve cevabı üretebilmek amacıyla anlama büyük katkı sağlayan ifadeleri
temsil etmektedir.
        </p>
        <p>
          Usbeck ve Ngomo [
          <xref ref-type="bibr" rid="ref25">25</xref>
          ], HAWK adını verdikleri hibrit bir soru cevaplama platformu
sunmuşlardır. Kelime segmentasyonu, POS etiketlemesi ve geçiş temelli bağlılık
ayrıştırma yöntemlerini kullanarak bir yazılım zinciri geliştirilmiştir. Cümlede
ayrıştırılan her bir öğe daha sonra anlamsal açıklayıcı şeklinde kullanılması için POS
etiketlemesi işleminden geçirilmiştir. Kolektif öğrenme tabanlı bir bilgi çıkarımı
çerçevesi olan FOX [
          <xref ref-type="bibr" rid="ref26">26</xref>
          ] kullanılarak cümledeki varlıklar ve aralarındaki ilişkiler tespit
edilmiştir. Bağlılık analizi ve isim tamlaması bulunması ile anlamsal rol işaretleme
yöntemleri birleştirilerek sözdizimsel ve anlamsal ilişkilerin yakalanması sağlanmıştır.
        </p>
        <p>
          Ruseti vd. [
          <xref ref-type="bibr" rid="ref27">27</xref>
          ], QAnswer adında doğal dil sorgularını DBpedia üzerinden
cevaplayan bir soru cevaplama çerçevesi geliştirmişlerdir. Doğal dilden SPARQL
sorgu diline dönüştürülen sorgular açık kaynak kodlu bir platform olan Virtuoso [
          <xref ref-type="bibr" rid="ref28">28</xref>
          ]
üzerinde geliştirilmiştir. Çalışmalarında gelen sorgu iki aşamalı bir işlemden
geçirilmektedir. İlk aşamada doğal dil sorgusundaki DBpedia varlıkları tespit edilir.
İkinci aşamada ise, yönlü grafik oluşturmak için bu varlıklar birbirleriyle uygun ve
doğru sözdizimsel bağlılık tipi temsil edilecek şekilde bağlanır.
        </p>
        <p>
          Beaumont vd. [
          <xref ref-type="bibr" rid="ref29">29</xref>
          ] tarafından yapılan çalışmada, bilgi tabanlı bir soru cevaplama
sistemi olan SemGraphQA kolay bir erişim ile kullanıcılarının doğal dil kullanarak
ontoloji tabanlı bir platformda sorgulama yapabilmelerine olanak sağlamaktadır.
Çalışmalarındaki odak nokta, doğal dil sorgusunun grafik temsili olarak gösterilmesidir. Doğal
dil sorgusunu olası anlamların temsil edildiği varlıkların düğümler kenarların ise
ilişkileri ile gösterildiği anlamsal çizgelere çevirilir. Soruların anlamsal analizi için
kullanılan bu çizge gösterimi gözetimsiz öğrenme tekniğini kullanır. Oluşan bu çizgeler
içerisinden bir ilgililik sıralama algoritması kullanılarak doğal dil sorgusuna en yakın
olan bulunur ve anlamsal çizge üzerinden SPARQL formüle edilir.
        </p>
        <p>
          Baudis ve Sedivy [
          <xref ref-type="bibr" rid="ref30">30</xref>
          ], YodaQA adını verdikleri çalışmalarında modüler ve açık
kaynak kodlu bir soru cevaplama sistemi sunmuşlardır. DDİ işleme teknikleri
kullanılarak doğal dil sorgusu üzerinden üç adet soru cevaplama özelliği aranır.
Bunlardan ilki ipuçları olarak adlandırdıkları sorgunun kapsamını belirlemede önemli bir
rol oynayan ifadelerdir. İkincisi ise, cümlenin odak noktası olan, kullanıcının bilgi
ihtiyacını temsil eden odak olarak adlandırdıkları sorgulanan nesnedir. Odak bulunurken
bağlılık analizi yöntemine sezgisellik entegre edilmiştir. Son özellik ise, odaktan
türetilen cevap tipi tanımlamasını içeren sözcük cevap tipidir. Çıkarılan ipuçları olası
cevapları belirlemek için cevap üretilirken kullanılır.
        </p>
        <p>İlgili çalışmalar incelendiğinde, genel olarak DDİ yöntemlerinin doğal dil sorgusu
analizinde kullanıldığı ve analiz çıktılarının çeşitli yöntemler ile birleştirilerek
ontolojide kavramlar ile eşleştirildiği görülmektedir. Önerilen diğer çalışmalarda ontoloji,
mimari bileşen anlamında bir bilgi tabanı olarak kullanılmıştır ve kullanılan ontolojiler
halihazırda geliştirilmiş ontolojilerdir. Bu çalışmada farklı bir yaklaşım üzerinde
durularak ilk nokta olarak doğal dil farkında ontoloji geliştirilmeye dikkat çekilmiştir. Daha
sonra ise DDİ çıktılarının ontoloji üzerindeki karşılıkları ve öğeler arası gizli kalan
ilişkiler bulunarak bir örüntü yardımıyla ontoloji sorgu dili formüle edilmiştir. DDİ
çıktıları üzerine ontolojinin çıkarsama kabiliyetinden de yararlanılmıştır.
3</p>
      </sec>
    </sec>
    <sec id="sec-4">
      <title>Doğal Dil Farkında Ontolojilerin Geliştirilmesi</title>
      <p>
        Doğal dil farkında ontolojilerin geliştirilmesi açıklanmadan önce bu konudaki en
önemli kavram olan “doğal dil farkında ontoloji” ifadesini açıklamak gerekmektedir.
Ontolojiler doğaları gereği belirli bir kapsama, alana hitap etmektedirler. Dolayısıyla
hitap edilen bu alanda hangi doğal dil cümlelerine cevap bulunabileceği ve hangi
kavramların tanımlı olduğu belirlenmektedir. Noy and McGuinness [
        <xref ref-type="bibr" rid="ref16">16</xref>
        ]’ in ontoloji
geliştirme 101’de tanımladığı ilk adım, ontoloji alanının ve kapsamının belirlenmesidir.
Ontolojinin doğal dil farkında olma özelliği için bu adım kritiktir. Noy and McGuinness
[
        <xref ref-type="bibr" rid="ref16">16</xref>
        ] bu adımı şu şekilde tanımlar: Alan ve kapsam belirleyerek ontolojinin sınırlarının
çizildiği ontoloji geliştirmedeki ilk adımdır. Bu adımı başarıyla tasarlayabilmek için
ontoloji geliştiricilerin şu soruları cevaplandırmaları gerekmektedir:
 Ontoloji hangi alanı kapsayacak?
 Ontoloji ne için kullanılacak?
 Ontoloji tarafından hangi tip sorular cevaplanacaktır?
      </p>
      <p>Geliştirilecek ontolojide cevaplanacak kapsama örnek teşkil etmesi açısından örnek
soruların tanımlanması gerekmektedir. Doğal dilde tanımlanan bu örnek sorular
ontolojinin doğal dil farkında olmasına olanak sağlamaktadır. Bu çalışmanın temel
prensibi ontolojinin bu ilk adımı göz önünde bulundurularak örnek sorularda belirtilen doğal
dil ifadeleri ile ontolojideki kavram tanımlamalarının eşleştirilmesidir. Kapsamı
belirleme ve kavramsallaştırma süreçlerinin temeli bu eşleştirme üzerine
konumlandırıldığında gelen doğal dil sorgularının cevaplarının geliştirilen ontolojide
aranması kolaylaşacaktır.</p>
      <p>Ontoloji geliştirme 101’de belirtilen halihazır ontolojilerin yeniden kullanımının
gözden geçirilmesi olan 2. adım yeni bir ontoloji yaratılacağı için atlanmıştır. 3. adım
ise, ontolojideki önemli terimlerin belirlenmesidir. Doğal dil farkında özelliğinin
kazandırılması adımı ile de örtüşmektedir. Bir doğal dil sorgusu içerisindeki önemli
terimler varlıkları, tamlamaları, çeşitli ifadeleri içerebilir ve genellikle sorgu cevabının
oluşturulmasında katkıları büyüktür. Ontoloji için tanımlanan bu önemli kelimelere
örnek soru tanımlamalarında rastlanacaktır. Analiz edilecek doğal dil sorgusunda ise,
ya bir varlık, ya da cümle içerisinde cevabın bulunmasına katkı sağlayan önemli bir öğe
(özne, yüklem ya da nesne) olarak rastlamak mümkündür. Tüm bu kavramların doğal
dil farkında olması ile eşleşmenin ve cevap üretilmesinin daha kolay yapılması
sağlanacaktır.</p>
      <p>Bu önerinin daha anlaşılır olması için birkaç ontoloji örnek sorusu ve doğal dil
sorgusu ile örneklendirmek gerekmektedir. Coğrafya alanında kapsamı mekânsal bir
sentez olarak Türkiye’yi ele alan bir coğrafi ontolojiyi ele alalım. Tanımlanan örnek
sorular:
• Türkiye’deki şehirleri gösterir misin?
• Konya’nın komşularını gösterir misin?
• Bursa ili hangi coğrafi bölgededir?
• Marmara Bölgesi’ndeki şehirlerin nüfusları kaçtır?
• Antalya’nın en yüksek dağı hangisidir?
• Türkiye’ de en fazla yağış alan il hangisidir?</p>
      <p>Bu örnek sorgulardan doğal dilde kavramlar incelenip önemli kelimeleri bir kümeye
koyduğumuzu varsayalım. Elimizdeki kümede {Türkiye, şehir, Konya, komşu, Bursa,
bölge, Marmara Bölgesi, nüfus, Antalya, yükseklik, dağ, yağış, il} elemanları
bulunmaktadır. Geliştirilen ontolojide bu elemanlar ya bir sınıf, ya bir birey ya da bir özelliği
temsil edecektir. Bu aşamada 4. adım olarak sınıfların ve sınıf hiyerarşisinin
tanımlanması ele alınmaktadır. Önemli terimlerin içerisinde genel olan ifade
tanımlamalarından ya da gruplamalarından olası sınıflar ya da alt sınıflar tespit edilir. Örneğin;
verilen örneklerde şehir, bölge, dağ genel tanımlamaları adreslemektedirler.
Dolayısıyla ontoloji içerisinde sınıf tanımlaması olarak kullanılacaklardır. Sınıf
tanımlamaları ve hiyerarşi belirlendikten sonra 5. adım olan sınıfların özelliklerinin
tanımlanması uygulanır. Bulunan terimler içerisinde ontolojideki varlıkların
niteliklerini belirtebilecek ve aralarında ilişki kurmamıza yarayacak olan kavramlar özellikler
olarak tanımlanır. 6. adım, 5. adımın ön koşuludur ve listelenen özelliklerinin nitelik ve
kısıtlarının belirlenmesidir. Örneğin; komşuluk ilişkisine simetrik olması şeklinde bir
nitelik tanımlanabilir. 7. Ve son adım olan sınıf örneklerinin oluşturulması için
ontolojide tanımlı olacak bireyler belirlenir. Örneğin; “şehir” ontoloji içerisinde bir sınıf
olarak ve “Bursa, Konya, Antalya” bu sınıfın bireyleri olarak tanımlanır. Verilen sınıf
örneklerini kapsam genişletmek adına arttırmak ontoloji içerisinde mümkündür. Bu
örnek için diğer şehirler eklenerek olası özellikler kontrol edilerek yeni örnekler
türetilebilir.</p>
      <p>Ontoloji Geliştirme 101’de de belirtildiği üzere sınıflar, alt sınıflar ve özellikler
tanımlandığı zaman artık bu kavramların özellikleri kullanarak birbirine bağlanması yani
anlamlandırılması gerekmektedir. Örneğin; “komşu” şeklinde tanımlanan bir ilişki
“şehir” sınıfının bir örneği olan “Konya” için tanımlanır. Bu ilişkide Konya ile komşu olan
diğer şehirler eklenir. Bu kavramları içeren soruların cevapları artık ontolojide
bulunmaktadır. Ontolojiden bu cevapları döndürebilmek için verilen sorguyu bir SPARQL
sorgusuna dönüştüren bir doğal dil arayüzü gerekmektedir. 4. Bölümde bu dönüştürme
işleminin detayları aktarılmıştır. Bunlara ek olarak, bu önemli elemanlar cümle doğal
dil işleme teknikleri kullanılarak analiz edildiğinde anlama katkı sağlayan öğeler olarak
karşımıza çıkmaktadır. Morfolojik analiz ve belirsizlik giderme, varlık ismi tanıma,
bağlılık analizi gibi doğal dil işleme yöntemleri ile cümlede varlıklar ve kelimeler arası
ilişkiler elde edilip ontolojide bu öğelerin tanımları ve tipleri bulunarak SPARQL
sorgusunun oluşturulması için gerekli altyapı bu çalışmada önerilmiştir.</p>
      <p>Doğal dili tanıyan, formüle edebilecek yetenekte bir ontoloji doğal dilde gelen
sorguların bir arayüz yardımıyla ontoloji sorgu diline çevrilmesi ile cevap üretebilen bir
çerçeve oluşumunu sağlamaktadır. Gelen doğal dil sorgusunun otomatik olarak
SPARQL diline çevrilmesi için önerilen yöntem ve mimari 4. Bölüm’de açıklanmıştır.
4
Önerilen Yöntem ve Mimari: Doğal Dil Sorgularının Otomatik
Olarak Anlamsal Web Sorgularına Dönüştürülmesi
Önerilen anlamsal web uygulaması doğal dilde sorguları kabul eden ve bilgi kaynağı
olarak ontolojiyi kullanan bir platformdur. Ontolojilerin bilgi kaynağı olarak
kullanılmasından dolayı doğal dil sorgusunun bir doğal dil arayüzü yardımıyla SPARQL
sorgusu ile temsil edilmesi sağlanacaktır. Bu bölümde önerilen yöntem ve mimarinin
tasarlanması birbirini besleyen süreçlerdir. Bu bölümün daha anlaşılır olması adına
önerilen yöntem, önerilen mimari bileşenleri üzerinden açıklanmaktadır.</p>
      <p>Doğal dil sorgusunun ilk olarak “Doğal Dil İşleme” katmanı ile bir ön işlemeden
geçirilip daha sonra ise “Sorgu Anlamsallaştırma” katmanında sorguya cevap
üretilmesi şeklinde önerilen sistem mimarisi Şekil 2’de gösterilmiştir.</p>
      <p>Şekil 2. Önerilen sistem mimarisi.</p>
      <p>
        Doğal dil arayüzüne gelen doğal dil girdisi ilk olarak doğal dil işleme teknikleri
kullanılarak işlenir. Morfolojik analiz ve belirsizlik giderme, varlık ismi tanıma ve
bağlılık analizi yöntemlerine sırasıyla başvurulur. Morfolojik analiz ve belirsizlik giderme
cümledeki her kelimenin ayrıştırılıp, kelimelerin morfolojik yapılarının POS etiketleri
ile çıktı olarak temsil edildiği bir DDİ tekniğidir. Kelime kökleri, sözcük türleri (isim,
fiil, sıfat, vb.) ve varsa ekleri detaylı olarak incelenir. Cümlenin bir üst seviye analizi
için çok kritiktir. Diğer DDİ süreçlerinin sonuçlarını etkiler. POS etiketleri dilbilgisi
tanımlayıcıları olarak adlandırılabilirler. Ayrıştırılan her kelimenin POS etiketlerinin
belirlenmesi için çeşitli farklı algoritmalardan yararlanılmaktadır. Cümlenin doğru
yorumlanması ve anlama ulaşılan yolda bir adım öteye taşınması için cümlenin altında
yatan sözdizimsel yapısının çözümlenmesi gerekir [
        <xref ref-type="bibr" rid="ref31">31</xref>
        ].
      </p>
      <p>
        Varlık ismi tanıma yönteminde ayrıştırılan cümle içerisindeki kelimeler kişi, yer,
tarih, organizasyon gibi tanımlayıcılar ya da kategoriler ile etiketlenir. Anlamsal
seviyede analizin ilk aşamaları olduğu düşünülebilir. Cümle içerisinde geçen
söylemler/varlıklar önceden tanımlanmış kategorilere çözümlenir. Bu kategoriler alan
ihtiyacına göre özelleştirilebilir. Uygulamalar tarafından kullanılan çeşitli varlık ismi tanıma
algoritmaları mevcuttur. Bu algoritmalar arasında en popüler yaklaşım öğrenme
algoritmalarından etkin olarak yararlanılmasıdır [
        <xref ref-type="bibr" rid="ref32">32</xref>
        ].
      </p>
      <p>
        Bağlılık analizi, doğal dil cümlelerini belirli yapı tiplerine yani cümleyi öğelerine
ayrıştıran DDİ alanındaki başlıca araştırma alanlarından biridir. Kelimeler arasındaki
çeşitli ilişkileri (özne, yüklem, nesne vb.) bağlılık analizi ile tanımlanır. Kelimeler
arasındaki ilişkiler bağlılık yapıları ile temsil edilir. Bağlılık analizi algoritmaları düğüm
ve ilişkilerden oluşan bağlılık temsili yöntemlerinden faydalanır. Başlangıç düğümü
dışında diğer bütün düğümlerin birbirine bağlı olduğu bir bağlılık yapısında temsil
edilir [
        <xref ref-type="bibr" rid="ref33">33</xref>
        ]. Bir cümlede fiil tipinde sözcükleri bulmak, diğer kelimeler ile aralarındaki
ilişkileri çözümlemek ve diğer terimlerinin sözcük tiplerini, görevlerini çıkarmak kritiktir.
Kelimeler arasındaki ilişkiler anlama giden yolda en doğru yol göstericilerdir. Cümle
içerisinde kimin kime ne yaptığı bilgisi genel anlama ulaşılırken her bir terimin kısmi
olarak rolünü açıklar [
        <xref ref-type="bibr" rid="ref34">34</xref>
        ].
      </p>
      <p>
        Şekil 2’den de anlaşıldığı üzere doğal dil sorgusu sisteme girdi olarak verilir.
Verilen bu sorgu ilk olarak DDİ teknikleri kullanılarak analiz sürecinden geçirilir. Analiz
sonrasında cümlede anlam içerisinde katkı sağlayan terimler belirlenir ve ontoloji
tarafıyla bulunan terimlerin tanımlamaları tekrar kontrol edilir. Bölüm 3’de belirtildiği
üzere doğal dil farkında bir ontoloji yardımıyla anlamsal web uygulaması oluşturmak
mümkündür. Örnek bir cümle analizi konunun daha anlaşılır olmasına katkı
sağlayacaktır. Örneğin; “Marmara Bölgesi’ndeki şehirlerin nüfuslarını göster” cümlesinin ilk
olarak DDİ teknikleriyle işlenmiş çıktıları Tablo 1’ de gösterilmiştir. DDİ analiz ve
çıktılarını göstermek için ITU Türkçe Doğal Dil İşleme Web Servisi’nden [
        <xref ref-type="bibr" rid="ref35">35</xref>
        ]
faydalanılmıştır.
      </p>
      <p>DDİ çıktılarına baktığımızda bağlılık analizinin cümledeki kelimelerin ve ilişkilerin
çıkarılması için kritik olduğu görülmektedir. Doğal dil sorgusunda kullanıcının bilgi
ihtiyacını temsil eden öğenin, hedefin çoğunlukla ya nesne ya özne ya da yüklemde
görüldüğü gözlenmektedir. Önerilen yöntemde bu öğeler bulunduktan sonra doğal dil
farkında ontoloji ile karşılaştırmasının yapılmasının anlamlı olacağı düşünülecektir.
Örnek Sorgu
Morfolojik Analiz
Morfolojik Belirsizlik</p>
      <p>Giderme
Varlık İsmi Tanıma
Bağlılık Analizi
Örneğin bu cümlede nesne (OBJECT) olarak işaretlenen kök kelime “nüfus” iken
yüklem (PREDICATE) olarak işaretlenen kelime kökü “göster” olarak görülmektedir.</p>
      <p>Tablo 1. DDİ çıktıları
“Marmara Bölgesi’ndeki şehirlerin nüfuslarını göster”
Marmara+Noun+Prop+A3sg+Pnon+Nom
bölge+Noun+A3sg+P3sg+Loc^DB+Adj+Rel
bölge+Noun+A3sg+P3sg+Loc^DB+Pron+Rel+A3sg+Pnon+Nom
şehir+Noun+A3pl+Pnon+Gen
şehir+Noun+A3pl+P2sg+Nom
nüfus+Noun+A3pl+P3pl+Acc
nüfus+Noun+A3pl+P2sg+Acc
nüfus+Noun+A3pl+P3sg+Acc
nüfus+Noun+A3sg+P3pl+Acc
göster+Verb+Pos+Imp+A2sg
?+Punc
Marmara Marmara+Noun+Prop+A3sg+Pnon+Nom
Bölgesi'ndeki bölge+Noun+A3sg+P3sg+Loc^DB+Adj+Rel
şehirlerin şehir+Noun+A3pl+Pnon+Gen
nüfuslarını nüfus+Noun+A3pl+P3pl+Acc
göster göster+Verb+Pos+Imp+A2sg
? ?+Punc</p>
      <p>Marmara Marmara+Noun+Prop+A3sg+Pnon+Nom
BLOCATION</p>
      <p>Bölgesi'ndeki bölge+Noun+A3sg+P3sg+Loc^DB+Adj+Rel
ILOCATION
şehirlerin şehir+Noun+A3pl+Pnon+Gen O
nüfuslarını nüfus+Noun+A3pl+P3pl+Acc O
göster göster+Verb+Pos+Imp+A2sg O
? ?+Punc
1 Marmara Marmara Noun Noun Prop|A3sg|Pnon|Nom _ 2
POSSESSOR
2 Bölgesi'ndeki bölge Noun Noun A3sg|P3sg|Loc^DB|Adj|Rel _
5 MODIFIER
3 şehirlerinşehir Noun Noun A3pl|Pnon|Gen _ 4 POSSESSOR
4 nüfuslarını nüfus Noun Noun A3pl|P3pl|Acc _ 5 OBJECT
5 göstergösterVerb Verb Pos|Imp|A2sg _ 0 PREDICATE
6 ? ? Punc Punc _ _ 5 PUNCTUATION</p>
      <p>Cümlede herhangi bir öğe özne (SUBJECT) olarak işaretlenmemiştir. Her iki öğe
için doğal dil farkında ontoloji üzerinde tanımlamaları kontrol edilir ve “nüfus” için
şehirler ve bölgelerde tanımlı bir özellik tanımı döndürülür. Bunlara ek olarak, varlık
ismi tanıma yöntemi “Marmara Bölgesi” ifadesini lokasyon (LOCATION) olarak
işaretlemiştir. Ontoloji üzerinden bu birey bulunur ve bu bireyin ait olduğu sınıf
döndürülür. SPARQL formulasyonunda bu elemanların hepsi bir örüntü üzerine oturtulup
SPARQL sorgusunun son haline ulaşılacaktır. Eğer sadece ontoloji tabanlı bir yaklaşım
ile bakılırsa sorgu Marmara Bölgesi’nin nüfusunu hedeflemiştir olarak algılanabilirdi.
Bu noktada DDİ teknikleri yardıma koşmaktadır. Cümlenin nesnesi ile bağlı olan
herhangi bir öğenin var olup olmadığının kontrol edilmesi gerekir. 3 numaralı “şehir” öğesi
cümlenin nesnesine aitlik (POSSESSOR) ilişkisi ile bağlıdır. Bu ilişki yardımıyla
kullanıcının bilgi ihtiyacının şehir-nüfus ilişkisi şeklinde temsil edildiği elde
edilebilmektedir.</p>
      <p>Bir sonraki adımda mimaride sorgu örüntüsü doğrulama olarak gösterilen adım için,
cümlenin öğeleri ile ontolojide tanımlı kavramlar arasında ek bir eşleme kontrolü
olacaktır. Cümlede ve ontolojide tanımlı ortak kavramlar arasında olası başka ilişkilerin
temsil edilip edilmediğine bakılacaktır. Bu kontrol sonrası verilen örnek için her şehrin
bir bölgede konumlanmış olduğu ilişkisi ontolojide tanımlı “konumVar” ilişkisi ile
temsil edilmektedir. Bölge ile şehir sınıfları arasında temsil edilen bu özellik o sadece
o bölgede bulunan şehirlerin elde edilmesini sağlayacaktır. Dolayısıyla bu ilişkinin
şehir ve bölge sınıfları arasında SPARQL sorgusuna eklenmesi gerekmektedir. Aşağıda
gösterilen örnek bir SPARQL örüntüsünde SPARQL üretmek için ihtiyacımız olan
öğeler gösterilmektedir. Sorgu örüntüsü örneklendirme işlemi sayesinde sorgu
elemanları örüntüdeki doğrulanmış eşleme doğrultusunda konumlandırılır.</p>
      <p>SELECT ?y</p>
      <sec id="sec-4-1">
        <title>WHERE { ?x rdf:type ontoloji_ismi: varlık-ismi-sınıfı. ?y rdf:type ontoloji_ismi: hedef-sınıfı. ?y özellik: özellik-adı ?x</title>
        <p>FILTER(regex(str(?x),"varlık ismi","i")) }
Örnek cümlemizden elde ettiğimiz SPARQL sorgusu aşağıdaki şekilde olacaktır:</p>
        <p>SELECT ?x ? nufus-miktari
WHERE { ?x rdf:type geo_turkce:Bolge .</p>
        <p>?y rdf:type geo_turkce:Sehir .</p>
        <p>?x ins:konumVar ?y .</p>
        <p>?y ins:nufus ?nufus-miktari .</p>
        <p>FILTER(regex(str(?x),"Marmara Bolgesi","i")) }</p>
        <p>Uygulama içerisinde 2 temel katman bulunmaktadır. Bunlardan ilk olanı DDİ
yöntemlerini sırasıyla uygulayan “Doğal Dil İşleme” katmanıdır. DDİ çoğu soru cevaplama
sisteminde de bulunur. Bu çalışmanın temel katkısı “Sorgu Anlamsallaştırma” katmanı
olarak temsil edilmiştir. Bir üst katmandan DDİ çıktıları mimarideki sorgu örüntüsü
eşleme adımı için kullanılır. Örüntü için gereken sorgu elemanları DDİ çıktıları
yorumlanarak elde edilir. Daha sonra, mimaride gösterilen sorgu örüntüsü doğrulama
adımı için bulunan varlık isimleri, varlık ismi ve hedef sınıfları ve ilişkiler ontoloji
üzerinden tekrar kontrol edilir. Çıkarsama mekanizması sayesinde varlıklar arası olası
diğer ilişkiler de tespit edilir. Mimarideki bir sonraki adım olan sorgu örüntüsü
örneklendirme sürecinde elde edilen sorgu elemanları ile sorgu formüle edilir. Sorgu
cevabı oluşturulması adımı için sorgu motoru kullanılarak ontoloji üzerinde sorgu
koşturularak cevap üretilir.
5</p>
      </sec>
    </sec>
    <sec id="sec-5">
      <title>Değerlendirme ve Gelecek Çalışmalar</title>
      <p>Çalışma kapsamında doğal dil sorgularının, kullanıcının bilgi ihtiyacını karşılamak için
makine anlaşılır bir şekle dönüştürülmesi problemine çözüm aranmıştır. Dilbilimsel
analize yardımcı anlamsal teknolojilerin kullanımı için hibrit bir yaklaşım tanıtılmıştır.
Yapısal olmayan doğal dil formundaki sorgulara otomatik olarak yapısal bir form
kazandırılarak ontoloji sorgu diline dönüştürüldüğü bir anlamsal web mimarisi
önerilmiştir. Ontoloji geliştirme sürecinde üretilen örnek sorulardan ile deneysel bir test
çalışması yapılmıştır. Sisteme gönderilen 100 adet örnek doğal dil sorgusundan 78
adedine cevap dönülmüş ve bu cevaplar içerisinden 60 adedi doğru cevap olarak
işaretlenmiştir. Deneysel sonuçlar kesinlik değeri (precision), hassasiyet değeri (recall)
ve F- ölçüsü değerleri cinsinden %76.92, %60 ve %67.41 olarak hesaplanmıştır.</p>
      <p>İlgili çalışmalardan farklı olarak tasarlanan ve katkı sağlanan noktalar ise, mimaride
“Sorgu Anlamsallaştırma” katmanında tanıtılan işlemler ve doğal dil farkında bir
ontoloji geliştirilerek tasarlanılan yöntem ve mimarideki bileşen kullanımından doğan
farklılıklardır. İlgili çalışmalarda bilgi kaynağı olarak ontoloji, mimari bileşeni olarak
tanıtılmıştır. Bilgi kaynağı olarak kullanılan ontolojiler Freebase, DBpedia gibi
halihazırda geliştirilmiş ontolojilerdir. Bu çalışmada, doğal dil farkında bir ontoloji
geliştirilerek, geliştirilen ontolojinin DDİ yöntemleri ve anlamsal analiz yöntemleriyle
uyumlu çalışması tasarlanan algoritmalar sayesinde mümkün kılınmıştır. İlgili
çalışmalardan farklı olarak geliştirilen doğal dil farkında ontoloji sayesinde, DDİ çıktılarının
yorumlanması ve sorgu öğeleri arasındaki gizli kalmış ilişkilerin çıkarılarak sorgu
örüntüsüyle eşleştirilip ontoloji sorgu dilinin formüle edilmesi sağlanmıştır. Bunlara ek
olarak, ontolojinin doğal dil farkında olması bu algoritmaların kapsam alanlarının
genişletilebilmesi ve sonuçlarının iyileştirilmesine olanak sağlamıştır. Gelecek
çalışmalar için aynı mimari kullanılarak tasarlanacak sistemde doğal dil farkında yeni
ontolojiler geliştirilerek doğal dil tabanlı sorgulamanın dilden bağımsız hale
dönüştürülmesi fikri önerilmektedir. Bu yaklaşım, birden fazla ontolojinin kullanıldığı bir
platformda aynı mimarinin geçerli olması imkanını da sağlayacaktır. Farklı alanlarda
doğal dil farkında geliştirilmiş ontolojiler ile doğal dil sorgularına cevap üreten
sistemlerin tasarlanması fikri, gelecek çalışmalara yön verebilir.</p>
      <p>
        Önerilen mimaride doğal dil işleme süreçleri için ITU Türkçe Doğal Dil İşleme
Web Servisi’nden [
        <xref ref-type="bibr" rid="ref35">35</xref>
        ] faydalanılmıştır. Araştırma çalışmaları için ücretsiz kullanılan
bu servis, ticari kullanım için lisans gereksinimini beraberinde getirecektir.
      </p>
      <p>Halihazır yöntemin içerisinde tek tip olarak kullanılan sorgu örüntüsünün daha
karmaşık doğal dil sorgularını cevaplayabilmesi için yeni örüntüler eklenerek
geliştirilmesi ihtiyacı doğacaktır. İçeriğinde birden fazla varlık, karşılaştırmalı ifade ya
da uzun tamlamalar bulunduran sorgular için yöntemin makina öğrenmesi yaklaşımı ile
iyileştirilmesi ve örüntü tiplerinin genişletilmesine başvurmak gerekecektir. Gelecek
çalışmaların hedefine, bu ihtiyaç da dahil edilebilir. Bu çalışmanın bir diğer önemli
katkısı ise, doğal dil farkında ontolojiler geliştirilerek çok dilli soru cevaplama
platformu oluşturma imkanı tanımasıdır. Birden fazla dilde geliştirilmiş olan her bir
ontolojinin doğal dil farkında olması çok dilli soru cevaplama imkanının sağlanması için
kritiktir.</p>
    </sec>
    <sec id="sec-6">
      <title>Kaynaklar</title>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Berners-Lee</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hendler</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lassila</surname>
            ,
            <given-names>O.</given-names>
          </string-name>
          :
          <article-title>The semantic web</article-title>
          .
          <source>Scientific American</source>
          <volume>284</volume>
          (
          <issue>5</issue>
          ),
          <fpage>34</fpage>
          -
          <lpage>43</lpage>
          (
          <year>2001</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Guo</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ren</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          :
          <article-title>Towards the relationship between Semantic Web and NLP</article-title>
          .
          <source>In: 2009 IEEE International Conference on Natural Language Processing and Knowledge Engineering</source>
          . pp.
          <fpage>1</fpage>
          -
          <lpage>8</lpage>
          . IEEE,
          <string-name>
            <surname>China</surname>
          </string-name>
          (
          <year>2009</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Guo</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Li</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Shao</surname>
            ,
            <given-names>Z.</given-names>
          </string-name>
          :
          <article-title>A semantic processing model for sentence understanding based on cognitive learning</article-title>
          .
          <source>In: 2011 IEEE 3rd International Conference on Communication Software and Networks</source>
          . pp.
          <fpage>106</fpage>
          -
          <lpage>110</lpage>
          , IEEE,
          <string-name>
            <surname>China</surname>
          </string-name>
          (
          <year>2011</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Collobert</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Weston</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bottou</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Karlen</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kavukcuoglu</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kuksa</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          :
          <article-title>Natural language processing (almost) from scratch</article-title>
          .
          <source>Journal of Machine Learning Research</source>
          ,
          <volume>12</volume>
          ,
          <fpage>2493</fpage>
          -
          <lpage>2537</lpage>
          (
          <year>2011</year>
          ). https://doi.org/10.1.1.231.4614
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Bernstein</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kaufmann</surname>
          </string-name>
          , E.,
          <string-name>
            <surname>Göhring</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kiefer</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          :
          <article-title>Querying ontologies: A controlled English interface for end-users</article-title>
          . In: International Semantic Web Conference. pp.
          <fpage>112</fpage>
          -
          <lpage>126</lpage>
          . Springer, Berlin, Heidelberg. (
          <year>2005</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Hoque</surname>
            ,
            <given-names>M. M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rahman</surname>
            ,
            <given-names>M. J.</given-names>
          </string-name>
          , KumarDhar, P.:
          <article-title>Lexical semantics: A new approach to analyze the Bangla sentence with semantic features</article-title>
          .
          <source>In: 2007 International Conference on Information and Communication Technology</source>
          . pp.
          <fpage>87</fpage>
          -
          <lpage>91</lpage>
          , IEEE, US (
          <year>2007</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Kumar</surname>
          </string-name>
          , E.:
          <article-title>Natural language processing</article-title>
          .
          <source>IK International Publishing House. India</source>
          (
          <year>2011</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Hayes</surname>
            ,
            <given-names>P. J.</given-names>
          </string-name>
          , Carbonell, J. G.:
          <article-title>A tutorial on techniques and applications for natural language processing</article-title>
          . Carnegie- Mellon University, (
          <year>1983</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Liddy</surname>
          </string-name>
          , E. D.:
          <article-title>Natural language processing</article-title>
          .
          <source>Encyclopedia of Library and Information Science. 2nd edn. Marcel Dekker</source>
          , NY (
          <year>2001</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Gaševic</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Djuric</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Devedžic</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          :
          <article-title>Model driven architecture and ontology development</article-title>
          .
          <source>1st edn</source>
          . Springer, Berlin, Heidelberg (
          <year>2006</year>
          ). https://doi.org/10.1007/3-540-32182-9
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Sowa</surname>
            ,
            <given-names>J. F.</given-names>
          </string-name>
          :
          <article-title>Ontology, metadata, and semiotics</article-title>
          .
          <source>In: International Conference on Conceptual Structures</source>
          . pp.
          <fpage>55</fpage>
          -
          <lpage>81</lpage>
          , Springer, Berlin, Heidelberg, Germany (
          <year>2000</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Gruber</surname>
            ,
            <given-names>T. R.:</given-names>
          </string-name>
          <article-title>A translation approach to portable ontology specifications</article-title>
          .
          <source>Knowledge Acquisition</source>
          ,
          <volume>5</volume>
          (
          <issue>2</issue>
          ),
          <fpage>199</fpage>
          -
          <lpage>220</lpage>
          (
          <year>1993</year>
          ). https://doi.org/10.1006/knac.
          <year>1993</year>
          .1008
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Gruber</surname>
            ,
            <given-names>T. R.</given-names>
          </string-name>
          :
          <article-title>Toward principles for the design of ontologies used for knowledge sharing</article-title>
          .
          <source>International Journal of Human-Computer Studies</source>
          ,
          <volume>43</volume>
          (
          <issue>5-6</issue>
          ),
          <fpage>907</fpage>
          -
          <lpage>928</lpage>
          (
          <year>1995</year>
          ). https://doi.org/10.1006/ijhc.
          <year>1995</year>
          .1081
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>Hendler</surname>
          </string-name>
          , J.:
          <article-title>Agents and the semantic web</article-title>
          .
          <source>IEEE Intelligent Systems</source>
          ,
          <volume>16</volume>
          (
          <issue>2</issue>
          ),
          <fpage>30</fpage>
          -
          <lpage>37</lpage>
          (
          <year>2001</year>
          ). https://doi.org/10.1109/5254.920597
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          15.
          <string-name>
            <surname>Kalfoglou</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          :
          <article-title>Exploring ontologies</article-title>
          .
          <source>In Handbook of Software Engineering and Knowledge Engineering</source>
          , Volume I: Fundamentals,
          <fpage>863</fpage>
          -
          <lpage>887</lpage>
          (
          <year>2001</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          16.
          <string-name>
            <surname>Noy</surname>
            ,
            <given-names>N. F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>McGuinness</surname>
            ,
            <given-names>D. L.</given-names>
          </string-name>
          :
          <article-title>Ontology development 101: A guide to creating your first ontology</article-title>
          .
          <source>Stanford Knowledge Systems Laboratory</source>
          . (
          <year>2001</year>
          ). https://doi.org/10.1016/j.artmed.
          <year>2004</year>
          .
          <volume>01</volume>
          .014
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          17.
          <string-name>
            <surname>Jurafsky</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Martin</surname>
            ,
            <given-names>J. H.</given-names>
          </string-name>
          :
          <article-title>Speech and language processing</article-title>
          .
          <source>2nd edn. Pearson</source>
          , New Jersey (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          18.
          <string-name>
            <surname>Unger</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Freitas</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Cimiano</surname>
            ,
            <given-names>P.:</given-names>
          </string-name>
          <article-title>An introduction to question answering over linked data</article-title>
          .
          <source>In: Reasoning Web International Summer School</source>
          . pp.
          <fpage>100</fpage>
          -
          <lpage>140</lpage>
          , Springer, Cham (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          19.
          <string-name>
            <surname>Lopez</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Uren</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sabou</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Motta</surname>
          </string-name>
          , E.:
          <article-title>Is question answering fit for the semantic web?: a survey</article-title>
          .
          <source>Semantic Web</source>
          ,
          <volume>2</volume>
          (
          <issue>2</issue>
          ),
          <fpage>125</fpage>
          -
          <lpage>155</lpage>
          (
          <year>2011</year>
          ). https://doi.org/10.3233/SW-2011-0041
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          20.
          <string-name>
            <surname>Xu</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Feng</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zhao</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          :
          <article-title>Xser@ qald-4: Answering natural language questions via phrasal semantic parsing</article-title>
          .
          <source>In: Working Notes for CLEF 2014 Conference</source>
          . pp.
          <fpage>15</fpage>
          -
          <lpage>18</lpage>
          , (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          21.
          <string-name>
            <surname>Dima</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          :
          <article-title>Answering natural language questions with Intui3</article-title>
          .
          <source>In: Working Notes for CLEF 2014 Conference</source>
          . pp.
          <fpage>1201</fpage>
          -
          <lpage>1211</lpage>
          , (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          22.
          <string-name>
            <surname>He</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          , Zhang,
          <string-name>
            <given-names>Y.</given-names>
            ,
            <surname>Liu</surname>
          </string-name>
          ,
          <string-name>
            <given-names>K.</given-names>
            ,
            <surname>Zhao</surname>
          </string-name>
          ,
          <string-name>
            <surname>J.:</surname>
          </string-name>
          <article-title>CASIA@ V2: A MLN-based question answering system over linked data</article-title>
          .
          <source>In: Working Notes for CLEF 2014 Conference</source>
          . pp.
          <fpage>1249</fpage>
          -
          <lpage>1259</lpage>
          , (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          23.
          <string-name>
            <surname>Richardson</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Domingos</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          :
          <article-title>Markov logic networks</article-title>
          .
          <source>Machine Learning</source>
          ,
          <volume>62</volume>
          (
          <issue>1-2</issue>
          ),
          <fpage>107</fpage>
          -
          <lpage>136</lpage>
          (
          <year>2006</year>
          ). https://doi.org/10.1007/s10994-006-5833-1
        </mixed-citation>
      </ref>
      <ref id="ref24">
        <mixed-citation>
          24.
          <string-name>
            <surname>Park</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kwon</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kim</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lee</surname>
            ,
            <given-names>G. G.</given-names>
          </string-name>
          :
          <article-title>ISOFT at QALD-5: Hybrid question answering system over linked data and text data</article-title>
          .
          <source>In: Working Notes for CLEF 2015 Conference</source>
          . (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref25">
        <mixed-citation>
          25.
          <string-name>
            <surname>Usbeck</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ngomo</surname>
            ,
            <given-names>A. C. N.:</given-names>
          </string-name>
          <article-title>HAWK@ QALD5-Trying to answer hybrid questions with various simple ranking techniques</article-title>
          .
          <source>In: Working Notes for CLEF 2015 Conference</source>
          . (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref26">
        <mixed-citation>
          26.
          <string-name>
            <surname>Speck</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ngomo</surname>
            ,
            <given-names>A. C. N.</given-names>
          </string-name>
          :
          <article-title>Ensemble learning for named entity recognition</article-title>
          .
          <source>In: International Semantic Web Conference</source>
          . pp.
          <fpage>519</fpage>
          -
          <lpage>534</lpage>
          , Springer, Cham (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref27">
        <mixed-citation>
          27.
          <string-name>
            <surname>Ruseti</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mirea</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rebedea</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Trausan-Matu</surname>
            ,
            <given-names>S.:</given-names>
          </string-name>
          <article-title>QAnswer-Enhanced entity matching for question answering over linked data</article-title>
          .
          <source>In: Working Notes for CLEF 2015 Conference</source>
          . (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref28">
        <mixed-citation>
          28.
          <string-name>
            <surname>Dolan-Gavitt</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Leek</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zhivich</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Giffin</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lee</surname>
            ,
            <given-names>W.</given-names>
          </string-name>
          :
          <article-title>Virtuoso: Narrowing the semantic gap in virtual machine introspection</article-title>
          .
          <source>In: IEEE Symposium on Security &amp; Privacy</source>
          <year>2011</year>
          . pp.
          <fpage>297</fpage>
          -
          <lpage>312</lpage>
          , IEEE, U.S. (
          <year>2011</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref29">
        <mixed-citation>
          29.
          <string-name>
            <surname>Beaumont</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Grau</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ligozat</surname>
            ,
            <given-names>A. L.</given-names>
          </string-name>
          :
          <article-title>SemGraphQA@ QALD5: LIMSI participation at QALD5@ CLEF</article-title>
          . In: Working Notes for CLEF 2015 Conference. (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref30">
        <mixed-citation>
          30.
          <string-name>
            <surname>Baudiš</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Šedivý</surname>
          </string-name>
          , J.:
          <article-title>Biomedical question answering using the YodaQA system: Prototype notes</article-title>
          .
          <source>In: Working Notes for CLEF 2015 Conference</source>
          . (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref31">
        <mixed-citation>
          31.
          <string-name>
            <surname>Indurkhya</surname>
            ,
            <given-names>N.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Damerau</surname>
            ,
            <given-names>F. J.:</given-names>
          </string-name>
          <article-title>Handbook of natural language processing</article-title>
          . 2nd edn CRC Press, U.S. (
          <year>2010</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref32">
        <mixed-citation>
          32.
          <string-name>
            <surname>Celikkaya</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Torunoglu</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Eryigit</surname>
          </string-name>
          , G.:
          <article-title>Named entity recognition on real data: a preliminary investigation for Turkish</article-title>
          .
          <source>In: The 7th International Conference on Application of Information and Communication Technologies</source>
          . pp.
          <fpage>1</fpage>
          -
          <lpage>5</lpage>
          , IEEE. Azerbaijan (
          <year>2013</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref33">
        <mixed-citation>
          33.
          <string-name>
            <surname>Nivre</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          <article-title>Dependency parsing</article-title>
          .
          <source>Language and Linguistics Compass</source>
          ,
          <volume>4</volume>
          (
          <issue>3</issue>
          ),
          <fpage>138</fpage>
          -
          <lpage>152</lpage>
          (
          <year>2010</year>
          ). https://doi.org/10.1111/j.
          <fpage>1749</fpage>
          -
          <lpage>818X</lpage>
          .
          <year>2010</year>
          .
          <volume>00187</volume>
          .x
        </mixed-citation>
      </ref>
      <ref id="ref34">
        <mixed-citation>
          34.
          <string-name>
            <surname>Shehata</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Karray</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kamel</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          :
          <article-title>Enhancing search engine quality using concept-based text retrieval</article-title>
          .
          <source>In: International Conference on Web Intelligence</source>
          . pp.
          <fpage>26</fpage>
          -
          <lpage>32</lpage>
          , IEEE Computer Society. (
          <year>2007</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref35">
        <mixed-citation>
          35.
          <string-name>
            <surname>Eryiğit</surname>
          </string-name>
          , G.:
          <article-title>ITU Turkish NLP web service</article-title>
          .
          <source>In: Proceedings of the Demonstrations at the 14th Conference of the European Chapter of the Association for Computational Linguistics</source>
          . pp.
          <fpage>1</fpage>
          -
          <lpage>4</lpage>
          ,
          <string-name>
            <surname>Sweden</surname>
          </string-name>
          (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>