=Paper=
{{Paper
|id=Vol-2045/Bilisim_paper_32
|storemode=property
|title= Nesnelerin Interneti Tabanli Bebek Uyku Takip Sistemi ( IOT-based Sleep Tracking System for Babies)
|pdfUrl=https://ceur-ws.org/Vol-2045/14_Bilisim_2017_paper_32.pdf
|volume=Vol-2045
|authors=Eray Erken,Oguzhan Urhan
}}
== Nesnelerin Interneti Tabanli Bebek Uyku Takip Sistemi ( IOT-based Sleep Tracking System for Babies)==
https://ceur-ws.org/Vol-2045/14_Bilisim_2017_paper_32.pdf
Nesnelerin İnterneti Tabanlı
Bebek Uyku Takip Sistemi
Eray ERKEN Oğuzhan URHAN
Kocaeli Üniversitesi Kocaeli Üniversitesi
Umuttepe Kampüsü, Elektronik ve Umuttepe Kampüsü, Elektronik ve
Haberleşme Mühendisliği Bölümü, 41380, Haberleşme Mühendisliği Bölümü, 41380,
İzmit-Kocaeli erkene@kocaeli.edu.tr İzmit-Kocaeli erkene@kocaeli.edu.tr
ÖZET
Yüksek performanslı hesaplama birimlerinin ve haber- ile görmek için hazırlanan sistem, Nesnelerin İnterneti
leşme maliyetlerinin gün geçtikçe ucuzlaması ile Nes- kavramının ilk adımları olarak kabul edilmiştir [2].
nelerin İnterneti, giderek hayatımızda daha çok yer Nesnelerin İnterneti günümüzde de beyaz eşyalardan,
almaktadır. Bebeklerin gerek güvenlik gerekse sağlık otomobillere, akıllı ev sistemlerinden şirketlerin ürün-
gibi nedenlerle sürekli gözlem altında tutulma gereksi- leri ve lojistik sistemleri ile kurdukları geniş tabanlı
nimi araştırmalar için de motivasyon kaynağı haline ağlara kadar pek çok alanda yaygın olarak kullanıl-
gelmiştir. Bu çalışmada günümüzün bu iki güncel maktadır.
araştırma alanı birlikte ele alınarak Nesnelerin İnterne-
ti konseptinde çalışan bir bebek uyku takip sistemi İnternetin kablosuz olarak yaygınlaşması, hız ve kapa-
geliştirilmiştir. Sistem oldukça düşük maliyetli bir sitesinin artması, internete bağlanan sistemlerin yay-
platform üzerinde çalışmakta olup bebeklerin uyanma gınlaşması, maliyetlerinin düşmesi ve boyutlarının
veya aşırı hareketliliğinin tespitini görüntü işleme ile Nesnelerin İnterneti konseptine uyumlu olarak küçül-
gerçek zamanlı olarak gerçekleştirmektedir. mesi, kişi ve kurumları bu konuda araştırma ve ince-
lemeye yöneltmektedir.
Anahtar Kelimeler
Günümüzde insanlar, dokunmatik yönetim cihazları
Nesnelerin İnterneti; Hareket Tespiti; Görüntü İşleme;
kullanarak evlerinde aydınlatma, ısıtma ve soğutma
Video Akışı
gibi temel işlevleri kontrol etmek istemektedirler [3].
Bu kapsamda akıllı evler, akıllı binalar ve akıllı şehir-
ABSTRACT
With the reducing cost of high-performance computing ler gibi birçok kavram Nesnelerin İnterneti çerçevesin-
de incelenmektedir. Akıllı bebek monitörleri akıllı ev
modules and communication expenses day by day, the
sistemlerinin bir eklenti olarak ele alınabilir. Gelenek-
Internet of Things is increasingly taking place in our
sel bebek monitörleri sadece ses temelli çalışmakta ve
lives. The need to constantly monitor infants for safety
bebeğin belirli bir seviyeden yüksek ses çıkarması
and health reasons has also become a source of moti-
durumunda ebeveynleri uyarmaktadır. Yakın geçmişte
vation for research. In this study, we have developed a
geliştirilmeye başlanan sistemlerde ise ses bilgisine ek
baby sleep monitoring system that works in the con-
cept of Internet of Things by taking these two current olarak görüntü bilgisinin de aktarılmasına başlanmıştır
[4][5]. Böylelikle ebeveynler bebeklerin uyku sırasın-
research fields together. The system works on a very
low-cost platform and carries out the detection of wak- daki aktivitelerini izleyebilmektedir. Öte yandan sade-
ing or hyper-activity of babies by image processing in ce görüntü aktarma yeteneğine sahip pasif bir izleme
real-time. sistemi ebeveynin sürekli olarak görüntüyü takip etme-
sini gerektirmektedir.
Keywords Bu çalışmada geliştirilen sistem ile oldukça düşük
Internet of Things; Motion Detection; Image maliyetli bir donanım ile alınan bebek odası görüntüle-
Processing, Video Streaming. ri yine bu donanım üzerinde gerçek zamanlı olarak
işlenmekte ve aşırı aktivite tespit edilmesi durumunda
GİRİŞ ebeveynin mobil cihazına uyarı gönderilmekte ve
Günlük hayatımızda kullandığımız elektronik cihazla- bebek odasından video akışı başlatılmaktadır. Böyle-
rın İnternete bağlanma, veri gönderme ve alma becerisi likle gerçek zamanlı görüntü işleme yeteneğine sahip
olarak tanımlanan Nesnelerin İnterneti [1], İngilizce bir bebek monitörü Nesnelerin İnterneti konseptine
karşılığının kısaltmasıyla IoT, kavram ve uygulama uygun şekilde geliştirilmiştir. Yapılan deneysel siste-
olarak hayatımızda her geçen gün daha fazla yer edin- min bebek hareketlerini tespit etmekte başarılı olduğu-
mektedir. 1991 yılında Cambridge Üniversitesi'nde on nu göstermiştir.
beş akademisyen tarafından kahve makinesini kamera
GELİŞTİRİLEN SİSTEM ile bebek hareketlerini analiz ederek uyanma tespiti
Bu çalışmada geliştirilen sistem temel olarak bir gö- yapmakta, ikinci kısım ise uyanma tespiti sonrasında
rüntü sensörü, alınan görüntüyü işleyip kablosuz ola- ebeveyne uyarı mesajı yollayıp video akışını sağla-
rak veri aktarma yeteneğine sahip bir işlem birimi ve maktadır.
kablosuz olarak aktarılan verileri gösterme yeteneğine
Uyanma Tespiti
sahip bir mobil cihazdan oluşmaktadır. Sistemin blok
Geliştirilen sistemde uyanma tespiti 3 aşamalı bir
diyagramı Şekil-1’de gösterilmektedir.
mekanizma kullanılarak gerçekleştirilmiştir. İlk aşa-
mada ardışık olarak alınan görüntü çerçeveleri (image
frame) örtüşmeyen (non-overlapping) bloklara ayrıla-
rak blok temelli olarak incelenmiştir. Bu aşamada
bloklar için hareketli veya hareketsiz kararı verilmiştir.
Sonraki aşamada hareketin görüntü içerisinde kapladı-
ğı alan değerlendirilerek hareket büyük/küçük olarak
sınıflandırılmıştır. Son aşamada ise görüntü çerçeve-
sinde belirli büyüklükteki olan hareketin sürekliliği
incelenmiştir. Görüş alanı içerisinde belirli büyüklük-
teki bir hareketin belirli bir süre boyunca olması du-
rumunda bebeğin hareketlendiği ve/veya uyandığı
kararı verilmiştir.
Hareketin tespiti aşamasında ardışık görüntü çerçeve-
leri arasında blok bazlı mutlak fark toplamları (MFT)
hesabı yapılmıştır.
Şekil 1. Geliştirilen Sistemin Blok Diyagramı
(1)
Sistem Donanımı
Donanımın ana bileşeni olarak, çalışmanın amacı ve Bu eşitlikte o anki görüntü çerçevesinin blo-
Nesnelerin İnterneti konseptine uygun olarak küçük ğunu gösterirken, bir önceki görüntü çerçevesin-
boyutlarına oranla düşük maliyetli ve yüksek perfor- de aynı konma denk gelen bloğu göstermektedir. M ve
manslı bilgisayar olan Raspberry Pi Zero W ve Pi N ise ilgili bloğun yatay ve düşey eksendeki piksel
kamera modülü kullanılmıştır. Şekil 2’de 2017 yılı sayısına karşılık gelmektedir.
içerisinde piyasaya sunulan 65mm × 30mm × 5mm
fiziksel boyutlarında, üzerinde 1GHz frekansında çalı- Her bir blok için (1)’de verilen şekilde MTF hesabı
şan bir ARM11 işlemci, 512MB RAM’in yanı sıra Wi- yapıldıktan sonra ilgili bloğun hareketli olup olmadı-
Fi, Bluetooth (4.1 ve BLE destekli) ve CSI (Camera ğını belirlemek için bu değer sabit bir eşik değeri ile
Serial Interface) arayüzlerine sahip Raspberry Pi Zero karşılaştırılmıştır. Eşik değerinden büyük MFT’ye
W’nun görünümü verilmiştir. sahip olan bloklar hareketli olarak, diğerleri ise hare-
ketsiz olarak sınıflandırılmıştır. Şekil 3’te örnek test
görüntü üzerinden hesaplanan blok bazlı farklar ve
farkların eşik değer ile karşılaştırılması sonrası hare-
ketli olarak sınıflanan bloklar gösterilmektedir.
Şekil 2. Raspberry Pi Zero W kartı
10USD maliyete sahip olan bir tek kart bilgisayar (a) Blok farkları (b) Hareketli bloklar
üzerinde Raspbian isimli bir Linux dağıtımı çalıştırıl-
maktadır. Bu tek kart bilgisayara sağ tarafındaki kame- Şekil 3. Ardışık Görüntü Çerçeveleri Üzerinden Hareket-
ra konnektörü aracılığı ile Raspberry ekosistemi için li Blokların Tespiti
geliştirilen kamera modülleri uygun bir FFC (Flat Flex Tespit edilen hareketin küçük veya büyük olarak sınıf-
Cable) ile bağlanabilmektedir. landırılması aşamasında ise çerçeve içerisinde kaç adet
bloğun hareketli olarak sınıflandırıldığı incelenmiştir.
Sistem Yazılımı Hareketli olarak sınıflandırılan blokların sayısının bir
Sistemin çalışmasını sağlayan yazılımın iki temel eşik değeri aşması olması durumunda bu hareket bü-
kısımdan oluşmaktadır. Birinci kısım görüntü işleme
yük bir hareket olarak değerlendirilmekte aksi duru- SİSTEM İLE YAPILAN DENEMELER
munda bu hareket küçük olarak kabul edilmektedir. Tasarlanan sistemin ilk aşamasında donanım ve yazı-
lımın kontrolü maksadıyla bir test ortamı hazırlanmış-
Son aşamada ise; büyük hareketin devamlılığı belir- tır. Test ortamında Raspberry Pi Zero, kamera modülü
lenmektedir. Bu kapsamda hareketli blok sayısının ve oyuncak bebek kullanılmıştır. Deney ortamında
zamana göre değişimi incelenmektedir. Bu amaçla kamera modülünün bakış açısı Şekil 5’te gösterilmek-
(2)’de verilen formül ile hareketli blok sayısı zamana tedir. Testler esnasında hareket eden bölge siyah çer-
bağlı olarak takip edilmektedir. çeve içine alınmıştır.
(2)
Bu eşitlikte , t. çerçevedeki eşik değeri geçen blok
sayısını; H, hedef cismin hareketli kabul edildiği eşik
değeri; , t anında depolanmış blok sayısını; k ise bir
normalizasyon katsayısını göstermektedir.
Eşik değeri geçen blok sayısı H katsayısından büyükse
D değeri artmaktadır. D değeri belirli bir seviyeye
geldiğinde büyük hareketin devamlı olduğu kabul
edilmektedir. Büyük hareket oluşmuş ancak kısa süre Şekil 5. Deney Ortamında Kamera Modülünün Bakış
Açısı
devam etmişse D belirli bir süre artacak ancak zamanla
sönümlenecektir. Eşik değeri geçen blok sayısı ile Test kapsamında oda ışığının az ve normal olduğu
zamanla artan/azalan depo (D) arasındaki ilişkinin ortamda, model bebek hareketsiz ve hareketli olarak
gösterildiği örnek Şekil 4'te sunulmuştur. Grafikten toplam altı farklı test yapılmıştır. Elde edilen hareketli
blok sayısının (s) belirli bir adedin üzerinde ve devam- blok tespit sonuçları görsel olarak Şekil 6’da verilmiş-
lı olması durumunda depo (d) değerinin arttığı, aksi tir. Şekil 6(a) incelendiğinde cisim hareketsizken bazı
durumda azaldığı görülmektedir. blokların hareketli olarak sınıflandığı görülmektedir.
(b) Az Işıklı Ortamda Cisim
(a) Cisim Hareketsiz Hareketli
Şekil 4. Örnek Bir Görüntü Dizisi İçin Hareketli Blok
Devamlılığın Tespiti
Devamlılığın belirli bir seviyenin üzerine çıkması
netice- sinde, sistem uyanmanın gerçekleşmiş olduğu-
nu kabul ederek görüntü işlemeyi kesmekte ve video
akışına geçmektedir. (c) Normal Işıklı Ortamda (d) Normal Işıklı Ortamda
Cisim Hareketli-1 Cisim Hareketli-2
Video Akışı (Streamıng)
Video akışı kamera modülünden alınan görüntülerin Şekil 6- Deneysel Sonuçlar
‘mpeg' formatında gönderilmesiyle sağlanmaktadır.
Kullanıcının videoyu yerel ağ üzerinde seyredebilmesi Bunun temel nedeni hareketli blokların kaçırılmaması
için HTML dilinde arayüz hazırlanmıştır. Kullanıcı için bu aşamada kullanılan eşik değerin küçük tutul-
Raspberry Pi yerel IP adresi ve belirlenen port üzerin- masıdır. Cisim hareket etmeye başladığında hareketli
den Raspberry Pi sunucusuna bağlanarak kamera mo- blok sayısı artmaktadır. Öte yandan bu blokların birbi-
dülünün sağladığı görüntüyü takip edebilmektedir. rine komşu olması da önemli bir noktadır. Bu aşamada
tek blokluk bu tip hataların giderilmesi için ikili mor-
folojik işlemlerden (binary morphology) faydalanılabi- [3] A.B.Gökbayrak, S. Kılıvan, S. Akın, A. Çelebi, O.
lir. Örneğin blok verisi üzerinden morfolojik açma Urhan, “Wireless Sensor Network Based Extension to
(opening) işlemi yapılması sonucunda bu tip tek blok- KNX Home Automation System,” Turkish Journal of
luk bozucular etkin şekilde elemine edilmiştir. Morfo- Electrical Engineering & Computer Sciences, Vol. 24,
lojik açma işlemi sonrası elde edilen sonuçlar No. 5, pp. 3652-3663, June 2016.
Şekil-7’de gösterilmiştir.
[4] C. Y. Fang, C. S. Lo, S. H. Ho, S. H. Chuang and
S. W. Chen, "A Vision-Based Infant Monitoring
System Using PT IP Camera," 2016 International
Symposium on Computer, Consumer and Control
(IS3C), Xi'an, 2016, pp. 279-282.
[5] D. M. Tveit, K. Engan, I. Austvoll and Ø. Meinich-
Bache, "Motion based detection of respiration rate in
infants using video," 2016 IEEE International
Conference on Image Processing (ICIP), Phoenix, AZ,
(a) Morfolojik Açma Öncesi (b) Morfolojik Açma Sonrası 2016, pp. 1225-1229.
Şekil 7- Morfolojik Açma İşlemi
Diğer deneysel sonuçlar incelendiğinde görüntünün ÖZGEÇMİŞLER
ortasına denk gelen bebeğin hareketleri gerek az ay-
dınlatılmış gerekse normal aydınlatılmış ortamda etkin Eray ERKEN
şekilde tespit edilebilmektedir. Sistemin çok az aydın-
2003 yılında Deniz Harp Okulu
lık veya karanlık ortamda da çalışabilmesi için kızılö-
Elektronik ve Haberleşme bö-
tesi aydınlatma kullanımı mümkündür. Kullanılan
lümünden mezun olmuştur.
kamera modülü kızılötesi bölgeye de hassas olduğun-
Halen Kocaeli Üniversitesi
dan görüntü işleme yönteminde bir değişikliğe gerek
Elektronik ve Haberleşme
kalmadan sistemin bütün koşullarda çalıştırılması
Mühendisliği Bölümünde
sağlanabilecektir.
Lisansüstü eğitimine devam
etmektedir.
SONUÇ
Bebek uyanma tespit ve izleme sisteminde ana hedef
doğrultusunda; bebeğin uyurken ve uyanma sürecin- Oğuzhan URHAN
deki hareketleri oldukça ucuz bir tek kart bilgisayar
olan Raspberry Pi Zero W ve ve kamera modülü ile Lisans, yüksek lisans ve doktora
gerçek zamanlı olarak analiz edilebilmiş ve sistemin derecelerini sırasıyla 2001, 2003
hareketi tespit ettiği durumda otomatik olarak video ve 2006 yıllarında Kocaeli
akış moduna geçmesi sağlanmıştır. Çalışmanın ilerle- Üniversitesi, Elektronik ve
yen aşamalarında kullanıcıya cep telefonu/tablet vb. Haberleşme Mühendisliği
uygulama tabanlı cihazlar ile sistemi kontrol etme Bölümünden almıştır. Lisansüstü
imkânı sağlanması ve sistemin çok az ışık / karanlık öğrenimi sırasında aynı bölümde
ortamında bile doğru çalışması için kızıl ötesi ışık ile araştırma görevlisi olarak
donatılması, hedeflenmektedir. çalışmıştır. 2006-2007 yılları
arasında Güney Kore’de buluna Chung-Ang
KAYNAKÇA Üniversitesinde misafir öğretim üyesi olarak görev
[1] Garcia M. JA., Pinedo-Farusto E., “An yapmıştır. 2009 yılında doçent unvanı alıp, 2015 yılı
Experimental Analysis of Zigbee Networks”, IEEE, itibari Kocaeli Üniversitesi Elektronik ve Haberleşme
33rd IEEE Conference ,(2008) 723- 729. Mühendisliği Bölümünde profesör kadrosuna
atanmıştır. Kocaeli Üniversitesi Gömülü Sistemler ve
[2] Liu Y., Zhou G., “Key Technologies and Görüntüleme Teknolojileri Laboratuvarının (KULE)
Applications of Internet of Things”, IEEE, Fifth kurucusu ve koordinatörüdür. İlgi alanları sayısal
International Conference on Intelligent Computation
işaret, görüntü, video işleme ile gömülü sistemlerdir
Technology and Automation, (2012) 197-200.