In recent years, there has been an increasing interest in the use of assisted living environments, and these environments should include computational services that can recognize the activities performed by residents and support them when necessary. Thinking about this, this work aims at the design of a model capable of providing the activities recognition performed in a smart environment, being designed based on an ontology. The proposed model, called EXEHDA-AR, was evaluated through a case study using a database of an intelligent house, with an average accuracy of 94.89% in the activities recognition. These results indicate that the proposed model is a viable alternative, thus stimulating the continuity of research efforts. Resumo. Nos u´ltimos anos, pode-se notar um aumento no interesse do uso de ambientes de viveˆncia assistida, sendo que estes ambientes devera˜o contemplar servic¸os computacionais que possam reconhecer as atividades realizadas por moradores e auxilia´-los quando necessa´rio. Pensando nisso, o objetivo deste trabalho e´ a concepc¸ a˜o de um modelo capaz de prover o reconhecimento de atividades executadas em um ambiente inteligente, sendo este modelo concebido com base em uma ontologia. O modelo proposto, denominado EXEHDA-AR, foi avaliado por meio de um estudo de caso utilizando uma base de dados de uma casa inteligente, tendo sido obtida uma acura´cia me´dia de 94.89% no reconhecimento das atividades. Estes resultados apontam que o modelo proposto e´ uma alternativa via´vel, estimulando assim a continuidade dos esforc¸os de pesquisa.
modo, com a evoluc¸a˜o dos ambientes inteligentes e com o emprego de me´todos adequados, o Reconhecimento de Atividades vem gradualmente se consolidando em diferentes a´reas [Al-Shaqi et al. 2016].
Nesta perspectiva, nota-se um aumento na utilizac¸a˜o de casas inteligentes que
proporcionem um ambiente assistido de viveˆncia no contexto da sau´de. Nestas resideˆncias,
devem ser contemplados servic¸os computacionais que possam auxiliar as pessoas nas suas
pra´ticas dia´rias, da forma mais transparente poss´ıvel [
Pensando nisso, o objetivo deste trabalho e´ a concepc¸a˜o de um modelo, chamado
aqui de EXEHDA-AR (Execution Environment for Highly Distributed
ApplicationsActivity Recognition), para o reconhecimento de atividades realizadas por moradores
em um ambiente de viveˆncia assistida. Este trabalho esta´ integrado com o middleware
EXEHDA [
Para tanto, e´ concebido um mo´dulo de Pre´-processamento para se comunicar com a aquisic¸a˜o dos dados realizada pelo middleware, bem como um modelo ontolo´gico capaz de reconhecer atividades realizadas por um morador em uma casa inteligente. Um dos diferenciais do modelo proposto, quando comparado com os trabalhos relacionados, e´ a explorac¸a˜o do potencial do middleware para reconhecimento na˜o intrusivo de atividades em intervalos de tempo pro´ximos ao momento em que as rotinas esta˜o sendo observadas.
O restante deste artigo esta´ organizado da seguinte forma. A Sec¸a˜o 2 descreve as principais caracter´ısticas do middleware EXEHDA. Na Sec¸a˜o 3 e´ apresentado o modelo ontolo´gico para reconhecimento de atividade proposto. Ja´ na quarta Sec¸a˜o, e´ discutida a avaliac¸a˜o da proposta, explorando cena´rios de uso. A Sec¸ a˜o 5 revisa alguns trabalhos relacionados. Finalmente, a Sec¸a˜o 6 apresenta as considerac¸o˜es finais e trabalhos futuros.
O EXEHDA consiste de um middleware adaptativo ao contexto baseado em servic¸os,
o qual visa criar e gerenciar ambientes de computac¸a˜o ub´ıqua, como os providos
pela Internet das Coisas, bem como promover a execuc¸ a˜o de aplicac¸o˜es sobre ele
[
Uma visa˜o geral da arquitetura do Servidor de Contexto e´ apresentada na Figura 1, na qual e´ caracterizada a relac¸a˜o com: (i) Servidores de Borda; (ii) outros servic¸os do middleware EXEHDA; (iii) outros Servidores de Contexto remotos; e (iv) aplicac¸ o˜es de usua´rios e administradores. Os mo´dulos presentes na Arquitetura do servidor de Contexto sa˜o:
Aquisic¸a˜o - fornece suporte para a captura de informac¸o˜es contextuais, coletadas por servidores de borda, por meio de interfaces de software e/ou sensores de hardware; Atuac¸a˜o - e´ responsa´vel pelo controle dos atuadores (ativac¸a˜o, desativac¸a˜o e configurac¸ a˜o), apo´s ser notificado por outros mo´dulos do servidor de contexto; Processamento - processa informac¸o˜es contextuais baseadas em contextos de interesse das aplicac¸o˜es. Este mo´dulo mante´m um Reposito´rio de Contexto que emprega um modelo relacional para a representac¸a˜o de contexto; Notificac¸a˜o - trata de notificar o resultado do processamento de contexto realizado pelo mo´dulo de Processamento. O notificador recebe todas as deciso˜es de atuac¸a˜o, resultantes da manipulac¸a˜o das regras de contexto; Comunicac¸a˜o - usado por servidores de contexto remotos e/ou aplicativos para solicitar dados contextuais e/ou acionar atuadores. Este mo´dulo fornece a disseminac¸a˜o de informac¸o˜es de contexto para outros servic¸os do middleware, assim como pode enviar mensagens para aplicativos do usua´rio.
Com a inclusa˜o do modelo proposto ao middleware EXEHDA, tornou-se necessa´ria a concepc¸a˜o de um mo´dulo de Pre´-processamento. Este modulo e´ responsa´vel por comunicar-se com o componente de aquisic¸a˜o do middleware e receber os dados coletados do ambiente de viveˆncia assistida monitorado, realizando a interpretac¸ a˜o e a agregac¸a˜o das informac¸o˜es contextuais.
O mo´dulo de Pre´-processamento realiza a agregac¸a˜o das informac¸o˜es relacionadas aos sensores, onde sa˜o combinados os dados de hora´rio de in´ıcio e fim e a identificac¸a˜o da janela em que foi coletado o evento. Outra abstrac¸ a˜o provida por este componente e´ a normalizac¸ a˜o no formato da data coletado, cujas informac¸o˜es sa˜o convertidas para milissegundos, com intuito de serem utilizadas na construc¸a˜o das regras.
Ale´m disso, este mo´dulo emprega o conceito de janela de tempo finita para realizar a coleta dos dados, permitindo assim agrupar as informac¸ o˜es coletadas, sendo poss´ıvel aumentar ou diminuir a janela de tempo de acordo com perfil do morador do ambiente de viveˆncia assistida. O tamanho da janela de tempo empregada varia de 60 segundos ate´ 1 hora.
Apo´s o janelamento de tempo, os eventos coletados sa˜o repassados para o
modelo ontolo´gico para realizar o reconhecimento de atividade. A ontologia concebida
e´ apresentada na Figura 2, a qual utilizou como base a ontologia do projeto
PalSPOT [
Foram herdadas da ontologia original as classes Activity, Location, Artifact, Time e Person, com seus atributos e relacionamentos. Com base nessas classes, foram criadas subclasses e a classe Windows, a qual possui a finalidade de receber as informac¸o˜es do mo´dulo de Pre´-processamento.
A ontologia proposta conte´m 258 axiomas, 51 classes, 6 objetos de propriedades e 11 propriedades de dados. Uma visa˜o parcial da ontologia pode ser visto na Figura 3. No modelo proposto, quando uma atividade e´ reconhecida e´ criada uma nova instaˆncia na classe Activity, relacionando-a com as demais classes para agregar informac¸o˜es relevantes como localizac¸a˜o, objeto, segmento do dia e a janela em que a atividade foi reconhecida.
A classe Activity tem subclasses com as atividades que deseja-se reconhecer, como Sleeping, Working, EnterHome, LeaveHome e BedToToilet. Cada vez que uma atividade e´ reconhecida, o EXEHDA-AR cria uma instaˆncia na classe correspondente com as informac¸o˜es do tempo inicial e final da janela, objetos, localizac¸a˜o, indiv´ıduo e sensores.
As propriedades de dados recebem os valores oriundos dos sensores. Como exemplo, hasStatusSensor recebe o valor “dt”quando ha´ eventos detectados. Devido a utilizac¸a˜o da idempoteˆncia e do janelamento dos eventos de sensores, sa˜o inseridos somente o tempo do primeiro e do u´ltimo evento na janela corrente.
Para realizar o processamento dos dados e o reconhecimento de atividades,
foram constru´ıdas regras usando a linguagem SWRL (Semantic Web Rule Language)
utilizando os conceitos propostos por [
Apo´s o processamento da ontologia e o poss´ıvel reconhecimento de atividades,
os dados sa˜o enviados para o Reposito´rio de Contexto do EXEHDA, no qual foi inserido
o modelo de triplas. Com o armazenamento no modelo de triplas, e´ poss´ıvel oferecer
um modelo mais eficiente, por exemplo, que um modelo relacional [
Para realizar a avaliac¸a˜o do modelo proposto, foi selecionada uma base de dados
pertencente ao grupo de pesquisa CASAS da Universidade de Washington [
Com o intuito de realizar o reconhecimento das atividades presentes na base de dados, foram concebidas regras utilizando a linguagem SWRL, sendo estas concebidas utilizando a relac¸a˜o entre localidade, objeto e tempo. Na Figura 4 e´ apresentada a distribuic¸ a˜o dos sensores na casa Aruba, os quais tera˜o seus valores coletados e analisados pelo modelo proposto. A moradora da casa na˜o tem seu nome revelado por questo˜es de privacidade, atribuiu-se, portanto, o pseudo nome de Maria a ser utilizado na descric¸a˜o dos cena´rios.
Fonte: [
Nesta atividade a moradora Maria dirige-se para o quarto de dormir, passa pela porta do quarto, e deita-se na cama. Apo´s observar a distribuic¸a˜o dos sensores pelo quarto, foi definido que o contexto de interesse esta´ associado a detecc¸a˜o de presenc¸a pelo sensor M003 (cama), e a interac¸a˜o da pessoa com objeto deve ser maior que 120000 milissegundos. Por sua vez, os sensores M004 (banheiro), M005 (corredor), M006 (porta do quarto) na˜o devem detectar presenc¸a, assim indicando que a pessoa permanece na cama. Na Figura 5 e´ apresentada a regra SWRL elaborada para reconhecer a atividade “dormir”.
Neste cena´rio, Maria acorda no meio da noite e sai da cama para banheiro. Para detecc¸ a˜o dessa atividade, foram selecionados os sensores M003 (cama) e M004 (banheiro).
Foi necessa´rio fazer uma sequeˆncia temporal dos eventos dos sensores. Para isso, foram feitas comparac¸o˜es entre os tempos de cada sensor envolvido no contexto de interesse. O tempo inicial da ativac¸a˜o do sensor do banheiro precisa ser maior que o tempo final do sensor da cama, assim pode-se constatar que Maria saiu da cama para o banheiro. A regra SWRL desenvolvida para realizar o reconhecimento da atividade “deslocamento da cama para o banheiro” e´ apresentada na Figura 6.
Neste cena´rio Maria esta´ chegando em casa. Ela abre a porta da garagem e passa pelo corredor em direc¸a˜o a` sala de estar. Nessa atividade, considera-se como contexto de interesse os sensores D004 (porta da casa), M030 (em cima da porta), M022 e M021 (presentes no hall de acesso a`s outras dependeˆncias da casa).
A regra SWRL desenvolvida para realizar o reconhecimento da atividade “entrar em casa” e´ apresentada na Figura 7.
Maria resolve sair de casa para fazer compras. Para isso, ela dirige-se ao corredor da casa que da´ acesso a` porta da garagem. Na atividade “sair de casa”, foi elaborada uma regra empregando como contexto de interesse o sensor M022 (hall de acesso a´ outras dependeˆncias da casa) como evento inicial. Na sequeˆncia de eventos, os sensores M021 (hall de acesso), M030 (em cima da porta) e D004 (porta da casa) sa˜o empregados para indicar a atividade.
A regra SWRL concebida para realizar o reconhecimento da atividade “sair de casa” e´ apresentada na Figura 8.
Maria decide trabalhar no computador, localizado no escrit o´rio. Nesse cena´rio, utilizouse a seguinte sequeˆncia de eventos de sensores. O sensor M028 (porta do escrit o´rio) que representa o evento inicial, o qual ira´ indicar se Maria esta´ entrando na localizac¸a˜o de interesse da casa que e´ escrit o´rio. O sensor M026 que representa o objeto de interesse (mesa do computador). Para realizar a detecc¸ a˜o dessa atividade optou-se por especificar a necessidade de uma interac¸a˜o superior a 600000 milissegundos com o objeto de interesse.
A regra SWRL elaborada para realizar o reconhecimento da atividade “trabalhar no escrit o´rio” e´ apresentada na Figura 9.
A verificac¸ a˜o da acura´cia do modelo ontol o´gico proposto foi baseada na me´trica de
precisa˜o, que e´ a proporc¸ a˜o de instaˆncias classificadas corretamente. O uso dessa me´trica e´
justificado pelo fato de a mesma ser amplamente empregada para avaliar a qualidade dos
resultados em diversas pesquisas [
Aplicou-se como me´todo para avaliac¸ a˜o da acura´cia o desenvolvido por
[
Dormir Deslocamento
Entrar
Sair Trabalhar
Dormir 398
Deslocamento 154
Entrar 400
Sair 405
Trabalhar 150 [Al Machot and Mayr 2016]. A tabela 1 apresenta a matriz de confusa˜o com a acura´cia obtida pelo modelo proposto nos cena´rios realizados.
Conforme pode ser visualizado na tabela 1, a acura´cia obtida variou entre os diferentes cena´rios, mas de forma geral se manteve com uma taxa de acertos considerada satisfato´ria. O nu´mero de ocorreˆncias analisadas para cada atividade e a respectiva acura´cia foram: dormir: acertou 398 atividades de 401 presentes na base de dados, obtendo uma acura´cia de 99,25%; deslocamento da cama para o banheiro: acertou 154 atividades de 157 presentes na base de dados, obtendo uma acura´cia de 98,08%; entrar em casa: acertou 400 atividades de 431 presentes na base de dados, obtendo uma acura´cia de 92,80%; sair de casa: acertou 405 atividades de 431 presentes na base de dados, obtendo uma acura´cia de 93,96%; trabalhar no escrito´rio: acertou 150 atividades de 171 presentes na base de dados, obtendo uma acura´cia de 87,71%.
O modelo proposto acertou ao total 1507 de 1588 atividades, alcanc¸ando uma acura´cia me´dia de 94.89%. Dentre as atividades, “dormir”teve o melhor resultado, enquanto que a atividade “trabalhar no escrito´rio”o pior. Os resultados obtidos mostraram que o modelo proposto alcanc¸ou resultados promissores para ser empregado no reconhecimento de atividades em ambientes de viveˆncia assistida.
Em [
O trabalho de [
Em [
O trabalho de [
A Tabela 2 mostra uma comparac¸ a˜o entre os trabalhos relacionados e o modelo ontolo´gico proposto EXEHDA-AR. Para esta comparac¸ a˜o, foram considerados os seguintes crite´rios: (i) utilizac¸a˜o de base de dados na avaliac¸ a˜o do modelo; (ii) verificac¸a˜o da acura´cia; (iii) explorac¸a˜o de conceitos de objeto e localizac¸a˜o; e (iv) tipo de regra empregado para o reconhecimento de atividades.
Trabalhos Relacionados
[
EXEHDA-AR
Utiliza Base de
Dados Na˜o Na˜o Na˜o Na˜o Sim
Verifica a Acura´cia
Na˜o Na˜o Na˜o Na˜o Sim
Explora Objeto e
Localizac¸a˜o Parcialmente Parcialmente
Utiliza Utiliza Utiliza
Linguagem das
Regras SWRL JENA Axioma Axioma SWRL
O modelo proposto foi avaliado utilizando uma base de dados pu´blica para
avaliar sua proposta, com dados de contextos coletados em um ambiente real,
enquanto os outros trabalhos simulam as atividades a serem reconhecidas. O trabalho
[
Outro diferencial do modelo proposto em relac¸a˜o aos trabalhos relacionados e´ que neste trabalho e´ realizada a verificac¸ a˜o da acura´cia com relac¸a˜o ao reconhecimento de atividades dia´rias. A ana´lise desta medida representa a qualidade do modelo ontolo´gico frente aos desafios no reconhecimento de atividades humanas por meio de sensores na˜o intrusivos.
A principal contribuic¸a˜o deste trabalho e´ a concepc¸a˜o de um modelo ontolo´gico responsa´vel pelo reconhecimento de atividades realizadas por um morador em uma casa inteligente. A ontologia proposta utiliza regras SWRL para realizar o processamento das informac¸o˜es coletadas em um ambiente. Ale´m disso, a proposta possui um mo´dulo de Pre´-processamento que emprega o conceito de janela deslizante, permitindo combinar dados coletados em um determinado intervalo de tempo.
As contribuic¸ o˜es do modelo proposto foram introduzidas nos mo´dulos de Aquisic¸a˜o e Processamento do middleware EXEHDA, introduzindo um mo´dulo de Pre´processamento que se comunica com o mo´dulo de aquisic¸a˜o adicionando novas funcionalidades para realizar a coleta dos dados. No mo´dulo de Processamento e´ inclu´ıda a possibilidade de processar os dados por meio de um modelo ontolo´gico, permitindo um processamento semaˆntico dos dados de contexto coletados. Essa caracter´ıstica mostrouse oportuna para a detecc¸a˜o de atividades realizadas em uma casa inteligente, permitindo ao usua´rio na˜o se envolver de forma direta com o procedimento de monitoramento das suas atividades, empregando assim uma abordagem na˜o intrusiva.
O modelo ontolo´gico foi avaliado por meio de um estudo de caso utilizando a base de dados CASA, a qual proveˆ dados reais de uma casa inteligente. Nos testes realizados, foi poss´ıvel reconhecer diferentes atividades executadas por um morador, as quais sa˜o: (i) dormir; (ii) deslocamento da cama para o banheiro; (iii) entrando em casa; (iv) saindo de casa; (v) trabalhar no escrito´rio. A ontologia proposta alcanc¸ou uma acura´cia me´dia de 94.89% no reconhecimento das atividades presentes na base de dados. Os resultados obtidos foram promissores, estimulando a continuidade da pesquisa.
Dentre os aspectos levantados para continuidade do trabalho, destacam-se: (i) melhorar as regras criadas para trabalhar com outros dados, tornando-as mais gene´ricas; (ii) desenvolver um racioc´ınio h´ıbrido para reconhecimento de atividades, empregando ale´m do modelo ontolo´gico te´cnicas baseadas em aprendizagem de ma´quina; e (iii) realizar novos testes, utilizando para isso outras bases de dados.
O presente trabalho foi realizado com apoio da Coordenac¸a˜o de Aperfeic¸oamento de Pessoal de N´ıvel Superior - Brasil (CAPES) - Co´digo de Financiamento 001 e da FAPERGS (Programa Pesquisador Gau´cho - PqG). Roger S. Machado e´ Bolsista FAPERGS/CAPES - BRASIL, n´ıvel doutorado.
Al Machot, F. and Mayr, H. C. (2016). Improving human activity recognition by smart windowing and spatio-temporal feature analysis. In 9th ACM International Conference on PErvasive Technologies Related to Assistive Environments, page 56. Al-Shaqi, R., Mourshed, M., and Rezgui, Y. (2016). Progress in ambient assisted systems for independent living by the elderly. SpringerPlus, 5(1):624.