Detection and correction of phonological retardation is important for the development of the negative effect of individuals on personality and integration into social life. Speakers in pronunciation disorders often misrepresent some sounds or groups of sounds, although they can normally speak. In this study, we implement a mobile application to determine the level of impairment of some isolated sounds (r, s-ş, z) and a number of listening exercises are proposed according to the level of the person's impairment (beginning, middle, advanced). At the end of the relevant stages, the sound will be taken again and the quality will be assessed according to the actual necessity, and if it is improved, it will be raised to the upper level (from the beginning to the middle level). Thus, it is aimed to provide the development of individuals with impaired pronunciation.
Pronunciation Disorders
Artikülasyon (telaffuz etme), nefesin gırtlaktan çıktıktan sonra yutak, ağız ve
burundan oluşan üçüncü küme organlarında (dil, diş, damak, dudak) konuşma
dilimizin geleneksel seslerine dönüşüp biçimlenmesidir. Artikülasyon bozukluğu ise
bireyin yaşına ve konuşma gelişimi dönemine uygun olarak beklenen şekilde ana
dilinin bağımsız ya da bileşik seslerini doğru ve anlaşılır biçimde çıkaramaması ve
birbirine gereği gibi ulayamaması şeklindedir. Konuşma üretiminde birbirleri ile ilgili
dört süreç vardır [
Seslenim (Fonasyon): Vokal kasların titreşimi ile seslerin üretilmesidir. Solunum (Respirasyon): Konuşma için motive edici gücü sağlar.
Yankılama (Rezonasyon): Kişinin sesinin niteliğini etkileyen konuşma sesinin farkında önemli rol oynayan bir süreçtir.
SöylemeEklemleme (Artikülasyon): Bireysel konuşma seslerinin dil, çene, dudaklar ve yumuşak damağın yardımıyla ses tonu ve nefes akışının çıkarılmasında üretilen ve bu yolla sesin yankılanmasını da içeren bir süreçtir. Konuşma seslerinin etkilenmesine göre her artikülasyon bozukluğuna özel bir terim verilmiştir: aRotasizm (r sesi bozukluğu), bSigmatizm (s ve z sesi bozukluğu), cGamatizm (g sesi bozukluğu), dKapasizm (k sesi bozukluğu). Artikülasyon bozukluğu çocuklarda dört değişik türde görülebilmektedir. Sesin düşürülmesi veya atlanması, (omissions) bir sözcüğü oluşturan seslerin tümü çıkarılmadan sözcüğün söylenmeye çalışılması durumunda ortaya çıkmaktadır (hayırayır gibi). Ses eklenmesi (addittions) sözcükte olmayan başka seslerin eklenmesi durumunda ortaya çıkmaktadır (Recepirecep). Sesin değiştirilmesi (substitülions), sözcük içinde çıkarılması güç gelen bir sesin çıkarılması kolay gelen bir sesle değiştirilmesi durumunda ortaya çıkar. Değiştirmeler bazen sözcüğün başındaki seste, bazen de ortasındaki seslerde olur. Bazen değiştirmeler, sözcük içindeki seslerin yerleri değiştirilerek de yapılabilir (SüleymanSümeylan, yüzükyüsük gibi). Sesin bozulması (disturtions), bu üç duruma uymayan durumlar da olabilir. Burada sözcük oluşturulurken esas çıkarılması gereken ses, olduğundan başka ses çıkarılarak konuşulur. Bu da konuşmayı engelli hale getirir (KaragözKaxgözKağagöz gibi). Biz bu çalışmada sesin değiştirilmesi durumuyla ilgileneceğiz. Konuşmanın anlaşılmasının zorluğu artikülasyon bozukluğunun derecesi ile ilgilidir.
Yukarıda bahsi geçen bozukların birtakım farklı nedenleri olabilir: Yapısal
(organik) nedenler konuşma organlarındaki özellikle üçüncü küme organlarındaki
(dudak, diş, damak, dil vs.) bir ya da birkaç organik bozukluktan ötürü artikülasyon
bozukluğu olabilir. İşitme engelli ya da işitme duyarlılığındaki yetersizlik
artikülasyonu olumsuz yönde etkilemektedir. Evde konuşulan dil, çocuğun konuşma
şevkinin kırılması, konuşmanın engellenmesi, konuşmayı pekiştirmeye olanak
vermeyen ortam artikülasyon bozukluğuna neden olan etmenlerdir. Bazı durumlarda
konuşma bozuklukları duygusal çatışmaya bağlı olarak gelişebilir. Sonuç olarak ne
sebeple olursa olsun artikülasyon engeli türleri (düşürme, ekleme, değiştirme, bozma)
erken yaşlarda saptanmalı ve artikülasyon derecesine göre önlemler alınmalıdır [
Bu güne kadar konuşmacı ve ses tanıma üzerine pek çok çalışma yapılmış ve
günümüzde artık çok başarılı sonuçlar elde edilmektedir. Son yıllarda Türkçe sesler
üzerine yapılan çalışmalarda belirgin bir artış görülmektedir. Yörüklü ve Koçal [
Bu çalışmanın geri kalanı şu şekilde organize edilmiştir. İkinci bölümde rotasizm ve sigmatizmin derecesinin saptanması ve iyileştirilmesine yönelik geliştirilen mimari açıklanmıştır. Üçüncü bölümde geliştirilen mobil uygulamaya ait arayüzler verilmiştir. Son kısımda ise gerçekleştirilen birtakım testler ve analizler verilip sonuçlar değerlendirilecek ve gelecek çalışmalardan bahsedilmiştir.
Bazı seslere ait artikülasyon bozukluklarının tespiti ve işlemi için önerilen sistemin bileşenlerine ilişkin detaylı açıklama ve önerilen sistemde kullanılacak materyaller takip eden alt bölümlerde verilmiştir. 2.1 Konuşma Örneklerinden Oluşan Veri Setinin Oluşturulması Konuşma seslerinin etkilenmesine göre her artikülasyon bozukluğuna (r, sş, z) sahip erkek ve kadınlardan örnekler alınmıştır. Bu örnekler ilgili harflerin ve bu harfleri içeren kelimelerin (izole edilmiş) en az 10’ar kere tekrar edilmesinden oluşmaktadır. Aynı harf ve kelimeleri sağlıklı şekilde telaffuz eden erkek ve kadınlara ait örnekler de veri setinde yer almaktadır. Artikülasyon bozukluğunun ilerleme seviyelerine göre aynı kişilerden aynı harf ve kelimelerle setin genişletilmesi de düşünülmektedir. Veri seti, eğitim ve test için kullanılmaktadır.
Ses tanımada en önemli şey, konuşma sinyalinden özellikleri çıkaran özellik çıkarımıdır. Özellik özütleme, girdi verisini özellik kümesine dönüştüren ve öznitelik çıkarma denilen bir işlemdir. Öznitelik çıkarımı sırasında bir hoparlörün ayırt edici özelliğini korurken giriş vektörünün boyutunu küçültür. Günümüzde en çok kullanılan özellik cepstral katsayısıdır. Yaygın kullanılan iki tip cepstral katsayısı Linear predictive cepstral coefficient (LPCC) ve Mel frequency cepstral coefficient (MFCC) dir. Aşağıda özellik çıkarımı ile ilgili alt adımlar verilmiştir.
Konuşma kaynağı olarak akıllı telefonlardan yararlanılacaktır. Konuşma tanıma uygulamalarında ses işareti frekans dönüşümüne uğramadan önce bazı ön işlemlerden geçirilmektedir. Uygulanan ön işlemler aşağıda belirtilmiştir.
Normalizasyon: Ses veri değerlerinin belirli bir aralığa çekilmesi Ön vurgulama (Preemphasis): Yüksek frekanslı bölgelerin güçlendirilmesi Dither: Giriş işaretinde büyük miktarda sıfır içermesi durumunda azaltma
Telaffuz bozukluğu olan ilgili harfin tespitinde çerçeve üretimi yapılması gerekmektedir. Ses verisinin tamamı değil kısa harflere karşılık düşecek küçük parçaları ile işletilir. Bu nedenle ön işlemeden geçirilmiş konuşma işareti “çerçeve” adı verilen sabit uzunluklu parçalara bölünür. (Pencereleme işlemi ile) örtüşmüş çerçeveler üretilir. Yani ses işareti üzerinde 25ms uzunluğundaki bir pencerenin belirli bir süre mesafesince kaydırılması ile çerçeveler üretilir.
Ayrık Fourier dönüşümü ile zaman düzlemindeki işaretlerin frekans düzlemindeki
karşılıkları elde edilebilir. Her çerçeve için bu işlemin yapılması gerektiğinden bu
dönüşümü hızlı şekilde hesaplayan Hızlı Fourier Dönüşümü (FFT) kullanılmıştır. Mel
süzgeci ile FFT sonucunda ortaya çıkan enerji değerlerinin farklı frekans
bantlarındaki toplam değerleri hesaplanır [
Sınıflandırma yöntemi olarak gizli markov modeli (GMM) temelli bir sınıflandırıcı kullanılmıştır. GMM, ses sinyallerinin istatistiksel olarak modelleyen bir metottur. SMM, en başarılı konuşma tanıma metotlarından biri olmuştur. Çünkü, GMM, ses sinyallerini çok uygun bir şekilde matematiksel olarak karakterize etme özelliğe sahiptir. Mobil platformda ses tanıma işlemlerini gerçekleştirmek için pocketsphinx android kütüphanesinden yararlanılmıştır.
Kullanıcı sisteme ilk kayıt esnasında birtakım kişisel bilgilerini ve zayıf olduğu karakterleri/kursları seçer (Şekil 1a). Daha sonraki oturumlarda alıştırma sekmesine gelerek kayıt esnasında seçilen karekterle alıştırma yapabilir. Bunun için alıştırma yapılması istenilen harfi seçtikten sonra “start” butonuna basarak ses kaydını başlatır ve alıştırma harfini söyler (Şekil 1b). Yapılan alıştırmalara göre kullanıcı puanı hesaplanır ve bu puanlar göz önüne alınarak belirli aralıklarla alıştırma yapılması için kullanıcılara bildirim gönderilir. Puanlar ve diğer bilgiler profil sekmesinden görüntülenebilir (Şekil 1c).
(a)
(b) Şekil 1 Mobil uygulama arayüz görüntüleri (c) Geliştirilen sistemde r,s,z harfleri için bay ve bayanlardan çeşitli seviyelerde (düşük,orta ve yüksek) örnekler alınmış ve bu örnekler ile uygulama eğitilmiştir. Test aşamasında ise rotasizm ve sigmatismli kişiler üzerinde test edilmiş ve sonuçları Tablo 1'de gösterildiği gibidir. Elde edilen sonuçlara göre kesinlik ve recall değerleri sırası ile %68.18, %65.20'dır. Tablo 1. Karışıklık Matrisi
15 7
8 10
Artikülasyon bozukluğuna sahip bireyleri topluma kazandırabilmek, eğitim hayatına daha iyi adaptasyon sağlayabilmeleri için mobil tabanlı olarak kullanıcıların sesleri alınarak izole olmuş bazı seslerin (r, s-ş, z) telaffuzlarındaki bozukluk seviyesi tespit edilmiş ve iyileştirilmesi sağlanmıştır. İleriki çalışmalarda daha fazla kişiden örnek alınarak veriseti genişletilecek ve YSA, SVM gibi farklı sınıflandırıcılar ile performans karşılaştırması yapılacaktır.
Teşekkür
Bu çalışma, TÜBİTAK tarafından 1919B011602169 nolu proje ile desteklenmektedir. Desteklerinden dolayı TÜBİTAK’a teşekkür ederiz.