<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta>
      <journal-title-group>
        <journal-title>Vitória, Brazil, October</journal-title>
      </journal-title-group>
    </journal-meta>
    <article-meta>
      <title-group>
        <article-title>Visualização exploratória de grafos de conhecimento: proposta de processo metodológico</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Rafael Rocha</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Gercina Ângela de Lima</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Universidade Federal de Minas Gerais</institution>
          ,
          <addr-line>Escola de Ciência da Informação, Belo Horizonte, MG</addr-line>
          ,
          <country country="BR">Brasil</country>
        </aff>
      </contrib-group>
      <pub-date>
        <year>2024</year>
      </pub-date>
      <volume>0</volume>
      <fpage>7</fpage>
      <lpage>10</lpage>
      <abstract>
        <p>Knowledge graphs are a data representation that maintains semantics through a structure with subject, predicate and object. With the advent of Big Data, greater storage brings several challenges to knowledge graphs. One of these challenges is extracting value from massive volume. In this context, interactive visual exploration is an efective approach. However, the problem is that, in the scientific literature, there are several methods. In this context, a methodological process is proposed with the help of Design Research Science (DSR) and the review of scientific literature.</p>
      </abstract>
      <kwd-group>
        <kwd>eol&gt;Knowledge graph</kwd>
        <kwd>Big data</kwd>
        <kwd>Visualization</kwd>
        <kwd>Exploratory visualization</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>1. Introduction</title>
      <p>
        Os estudos científicos sobre as representações em forma de grafo iniciaram na década de 1970, no
entanto, o termo grafo de conhecimento ganhou maior projeção com a adoção da Google em seus produtos
[
        <xref ref-type="bibr" rid="ref1 ref2">1, 2</xref>
        ]. Esta decisão foi seguida por outras empresas de tecnologia, que reconheceram o modelo de dados
baseado em grafos como sendo mais vantajoso para determinadas aplicações.
      </p>
      <p>
        Os grafos de conhecimento constituem-se de nós, que correspondem aos sujeitos e objetos, enquanto
as arestas são os predicados [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ]. O sujeito representa o conceito sobre uma declaração; o predicado
explicita o tipo de relação e, por sua vez, o objeto é o valor da afirmação. Esta abordagem semântica é
superior a outras abordagens, pois há mais flexibilidade na representação de coisas na realidade. Além
disso, ela pode ter suporte, ou não, de uma ontologia que provê um metamodelo para desambiguação
conceptual [
        <xref ref-type="bibr" rid="ref4">4</xref>
        ]. Por representar uma maior quantidade de dados, a superioridade semântica dos grafos
de conhecimento contribui para colocar a engenharia de conhecimento em outro patamar.
      </p>
      <p>
        Com o advento das tecnologias de Big Data, tornou-se possível armazenar dados em volumes não
praticados anteriormente [
        <xref ref-type="bibr" rid="ref5">5</xref>
        ]. A maioria destas tecnologias possuem uma “semântica fraca”, ao passo
que, os grafos de conhecimento possuem uma “semântica forte”, ou seja, já trazem embutidos em si
suas partes intencional e extensional, isto amplia as vantagens em sua adoção[
        <xref ref-type="bibr" rid="ref6">6</xref>
        ]. Em outras palavras, a
parte intencional é um modelo ad hoc, ou uma ontologia, e a parte extensional são os dados.
      </p>
      <p>
        Entretanto, extrair valor de um volume massivo de dados é um problema recorrente apontado na
literatura. Por outro lado, a exploração visual interativa permite ao usuário obter informação dinâmica
e gradualmente [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ]. Nessa perspectiva, os grafos de conhecimento contribuem para a integração em um
número maior de dados ao conjunto, tornando a visualização mais viável. No entanto, o problema é que
diversas técnicas de visualização exploratória de grafos de conhecimento são apresentadas de forma
isolada na literatura, sem considerar adequadamente a jornada do usuário. Este estudo busca identificar
e integrar os meios necessários para aperfeiçoar a ergonomia da visualização interativa desses grafos.
      </p>
      <p>Neste contexto, este trabalho parte do pressuposto que integrar técnicas de visualização exploratória
de grafos de conhecimento em um processo metodológico que considera a jornada do usuário resultará
em uma ergonomia melhorada, facilitando a interação e a obtenção de insights pelos usuários. Assim
busca-se responder: Quais são as técnicas e métodos mais eficazes para melhorar a ergonomia da
visualização exploratória interativa de grafos de conhecimento, considerando as necessidades dos
usuários?</p>
    </sec>
    <sec id="sec-2">
      <title>2. Trabalhos relacionados</title>
      <p>O processo exploratório visual permite ao usuário um caminho conciso para alcançar os objetivos nos
conjuntos de dados em análise. Isto se materializa em passos a serem seguidos, mas que não limitam as
ações do usuário em seu estudo. Neste contexto, a literatura científica traz trabalhos que apresentam
propostas relacionadas a esta abordagem.</p>
      <p>
        Em [
        <xref ref-type="bibr" rid="ref8">8</xref>
        ], os autores afirmam que os grafos de conhecimentos são representados por meio de nodos
conectados para traduzir algumas métricas ou estéticas. Grafos esteticamente apresentados são mais
fáceis de serem compreendidos, no entanto, os autores reiteram que algumas escolhas são subjetivas,
enquanto outras são empiricamente testadas. Os autores propõem uma abordagem bem fundamentada
em teorias cognitivas e guias de desenho, e culminam apresentando seis categorias de questões para
orientar a visualização exploratória. Em sequência, estabelecem princípios cognitivos de design iniciais,
além de disponibilizarem recursos interativos para adaptar a exploração.
      </p>
      <p>
        Já em [
        <xref ref-type="bibr" rid="ref9">9</xref>
        ], a proposta é dividida em três partes: (i) sem interação e personalização: neste nível não
são requeridos conhecimento de domínio e visão geral de alto nivel; (ii) na interatividade média-alta
requer-se um alto nível de necessidade de informação, além de uma visão geral de aspectos específicos;
(iii) na última etapa, a alta interatividade e personalização, exige-se uma amostra detalhada ou uma
consulta para respostas precisas. Ou seja, a heterogeneidade dos dados e as necessidades imprecisas
dos usuários necessitam de uma abordagem adaptativa. Isto se resume, principalmente, em suporte
a métodos exploratórios baseados em exemplos e similaridades, além de uma maior interatividade e
personalização.
      </p>
      <p>Ambos os trabalhos segmentam a forma como as interações na visualização devem ocorrer; no
entanto, falta definir o processo ou a ordem que trará os melhores benefícios. Existem outros trabalhos
relacionados, mas, para não extrapolar os requisitos de formatação do evento, optou-se por apresentar
as duas produções consideradas mais relevantes para a proposta deste estudo.</p>
    </sec>
    <sec id="sec-3">
      <title>3. Metodologia</title>
      <p>
        Esta pesquisa utiliza o Design Science Research (DSR), um arcabouço metodológico paradigmático, para
conduzir pesquisas [
        <xref ref-type="bibr" rid="ref10">10</xref>
        ]. Esta metodologia se diferencia de outros métodos por focar em artefatos de
entrega que devem ser avaliados para atingir determinados objetivos. Além disso, pressupõe-se uma
questão prática, que precisa ser abordada por meio da busca de uma solução para um problema. Para
isso, há um processo interativo no qual cada etapa interage com outras para criar uma solução cíclica.
Segundo [
        <xref ref-type="bibr" rid="ref10">10</xref>
        ], o ciclo é (i) investigação do problema, (ii) desenho da solução, (iii) validação do desenho,
(iv) implementação da solução e (v) avaliação da implementação.
      </p>
      <p>A etapa DSR (i) é definida na Seção 1, enquanto que, para a etapa (ii), utiliza-se a Revisão Sistemática
da Literatura (RSL) científica para a identificação de abordagens e ferramentas de visualização. Para
a pesquisa, foram selecionados os repositórios Web of Science (WoS) e Scopus. Os trabalhos foram
recuperados por meio das strings dividida em dois campos de pesquisa: (i) a string “visual exploration”
OR “visuali?ation” 1 aplicado ao campo título; (ii) a string “knowledge graph” OR “causality graph” OR
1Foi utilizado interrogação para diferenciar visualization (inglês americano) e visualisation (inglês britânico)
“semantic network” OR “semantic graph” OR “ontology” aplicada a todos os campos. Os estudos seguem
critérios de inclusão para elegibilidade à revisão; isto é, (i) publicação entre 2018 e 2022, (ii) disponível
online, (iii) foco principal em KG, (iv) mostrar uma ferramenta para visualizar KG, (v) conter uma
abordagem ou método para visualizar KG. Os critérios de exclusão, além do não cumprimento dos
critérios de inclusão, são: (i) estudos duplicados (será utilizado apenas um); (ii) artigos curtos (iguais ou
inferiores a seis páginas); (iii) e trabalhos redundantes (será considerada a versão completa); (iv) estudos
não escritos em inglês, português ou espanhol. Foram recuperados 497 trabalhos, no total, ao se aplicar
a busca nas plataformas. Na condução da revisão, foram selecionados 35 trabalhos contendo abordagens
ou métodos para visualização exploratória (Seção 4.1); e 43 trabalhos com ferramentas (Seção 4.2).</p>
      <p>A etapa (iii) da DSR será realizada com especialistas da área e alunos de pós-graduação. Nesse estágio,
serão conduzidas entrevistas semi-estruturadas, tantas quantas forem necessárias, para a validação das
propostas, com duração determinada. Em seguida, na etapa (iv) da DSR, ocorrerá a implementação
da solução com o auxílio de especialistas da área, que atuarão como alpha-testers, desempenhando
um papel crucial na detecção das principais inconsistências. Além disso, serão coletadas métricas de
utilização para melhorias. Por fim, na etapa (v), será realizada a avaliação da solução.</p>
      <p>Na seção seguinte, são apresentados os resultados preliminares.</p>
    </sec>
    <sec id="sec-4">
      <title>4. Resultados preliminares</title>
      <sec id="sec-4-1">
        <title>4.1. Abordagens</title>
        <p>Após análise da literatura, foram selecionados 35 trabalhos de 497 recuperados que tratam das abordagens
principais da pesquisa. Realizou-se uma análise nos 35 trabalhos utilizando-se seis categorias, que foram
extraídas a partir dos termos mais enfatizados nos conteúdos dos artigos, conforme apresentados a
seguir.</p>
        <p>
          (i) Função de expansão de nó [
          <xref ref-type="bibr" rid="ref11 ref12 ref13">11, 12, 13</xref>
          ].Este recurso permite aos usuários explorar o gráfico de
conhecimento clicando duas vezes ou clicando no botão de opção de expansão de ícone ao redor do nó
selecionado. O sistema exibe todos os nós conectados diretamente e seus relacionamentos, com um
máximo de nós por consulta para evitar superlotação da tela;
        </p>
        <p>
          (ii) As informações do nó ocorrem quando um nó é selecionado e a informação é exibida em algum
lugar da tela [
          <xref ref-type="bibr" rid="ref11 ref12 ref13 ref14 ref15 ref16">11, 12, 14, 13, 15, 16</xref>
          ]. A função “Mostrar/Ocultar” reduz a carga cognitiva dos usuários
para descrições mais longas.
        </p>
        <p>
          (iii) Construção de uma lista de conceitos em forma de glossário [
          <xref ref-type="bibr" rid="ref11 ref14 ref15 ref17 ref18">17, 18, 11, 14, 15</xref>
          ] ou mesmo
mostrando um diagrama de árvore [
          <xref ref-type="bibr" rid="ref14">14, 19</xref>
          ]. Essas abordagens ajudam os usuários a localizar rapidamente,
proporcionando alta disponibilidade e eficácia da ferramenta.
        </p>
        <p>
          (iv) Cronologia [
          <xref ref-type="bibr" rid="ref14">14</xref>
          ]. No domínio das ferramentas de visualização, a cronologia não é apenas uma
sequência estática, mas uma estrutura dinâmica moldada pelo fazer e pelo refazer, uma ferramenta
que transcende as restrições lineares, reconhecendo a natureza interativa do conhecimento humano.
As ações iniciais envolvem coletar e organizar informações, mas o valor está na busca incessante por
melhorias por meio do refazer. Este processo, que abrange a revisão e o refinamento, reflete insights
e avanços em evolução. Neste contexto, a cronologia catalisa a melhoria contínua, capacitando os
utilizadores a navegar em conhecimento responsivo, adaptável e em constante evolução.
        </p>
        <p>
          (v) As Métricas e estatísticas [
          <xref ref-type="bibr" rid="ref13 ref14">20, 14, 13, 21</xref>
          ] nas ferramentas de visualização servem como base para
extrair insights significativos dos dados. As métricas fornecem medidas quantificáveis, enquanto as
técnicas estatísticas revelam padrões e tendências nas informações. Estas abordagens permitem que os
utilizadores tomem decisões informadas, identifiquem correlações e avaliem o desempenho, aumentando
a sua utilidade na análise científica e na tomada de decisões baseada em dados.
        </p>
        <p>
          (vi) Usar um mapa de calor ou tela de fundo para ajudar os usuários a saber em qual cluster os nós
estão localizados [
          <xref ref-type="bibr" rid="ref16">22, 16</xref>
          ]. A metáfora da imagem de fundo ajudou-os a compreender melhor o grafo.
        </p>
        <p>
          Além dessas seis categorias, duas abordagens atípicas foram citadas: (i) [23] introdução de uma
ferramenta de visualização de ontologias que é amigável e fácil de entender para especialistas e não
especialistas em ontologias. Com a técnica de interação de busca “inteligente”, a ferramenta extrai e
exibe, de forma eficaz, uma visão ontológica contendo componentes relevantes para as necessidades do
usuário. (ii) [
          <xref ref-type="bibr" rid="ref12">12</xref>
          ] apresentação de uma abordagem “tutorial”, na qual criam-se tutoriais interativos para
ajudar os usuários a aprender rapidamente novos recursos. O tutorial “uma breve introdução” aparece
primeiro e apresenta a barra de pesquisa e as caixas de informações do nó. Os usuários podem acessar
novamente os tutoriais a qualquer momento usando um ícone.
        </p>
        <p>Enfatiza-se, no entanto, que os resultados preliminares não foram esgotados, podendo ser ampliados
em estudos futuros. A seção a seguir apresenta resumidamente os resultados sobre as ferramentas de
visualização.</p>
      </sec>
      <sec id="sec-4-2">
        <title>4.2. Ferramentas</title>
        <p>Após análise da literatura, foram selecionados 42 trabalhos dos 497 recuperados que citam ferramentas
de visualização. Os artigos que contêm ferramentas de visualização foram inicialmente selecionados a
partir da verificação da existência, ou não, de link para alguma ferramenta ou para o host do código-fonte.
Se encontrado o link no documento, a ferramenta é, também, classificada e marcada como ativa.</p>
        <p>Como resultado, a pesquisa, em desenvolvimento, identificou 36 ferramentas de visualização. No
entanto, 13 ferramentas não possuíam link, enquanto 3 demonstraram estar descontinuadas. Desta
forma, apenas 20 ferramentas foram consideradas ativas e continuarão a ser analisadas neste estudo.</p>
        <p>Atualmente, essa pesquisa está sendo realizada com foco dedicado à análise dos resultados obtidos. À
medida que a investigação se aprofunda em suas complexidades, com um exame meticuloso dos dados,
os resultados podem atingir os esforços atuais e o objetivo proposto. Já em relação às ferramentas, apesar
de não terem obtido grande avanço na classificação, já foram encontradas em quantidade suficiente para
o prosseguimento da pesquisa. Esta combinação dinâmica de investigação em progresso e do avanço a
partir das etapas definidas da nossa metodologia destaca a natureza abrangente do trabalho atual.</p>
      </sec>
      <sec id="sec-4-3">
        <title>4.3. Discussão</title>
        <p>O objetivo da pesquisa é uma proposta de processo metodológico para auxiliar na visualização
exploratória, recorrendo à revisão da literatura científica, que trouxe insumos suficientes para prosseguimento
das fases seguintes do DSR.</p>
        <p>Na literatura científica foram identificadas 8 abordagens que auxiliam na exploração dos grafos de
conhecimento, além de 20 ferramentas que têm pré-requisitos para avançar na investigação. Estes
achados, juntamente com os trabalhos relacionados, auxiliam na resposta para a pergunta apresentada
na introdução.</p>
        <p>Os resultados alcançados até o momento trazem robustez para a pesquisa, no entanto, estão em
progresso.</p>
      </sec>
    </sec>
    <sec id="sec-5">
      <title>5. Considerações finais</title>
      <p>Esta pesquisa iniciou identificando uma dificuldade na exploração visual interativa de grafos de
conhecimento, por não haver processo metodológico consolidado, a obtenção de informação pelo usuário
é prejudicada. Sabe-se que os grafos de conhecimento tem como pressuposto modelar a forma como
os humanos organizam e processam o conhecimento. Nesse contexto, as contribuições advindas da
ciências cognitivas, podem auxiliar no processo de compreensão da rede de associações que ocorre no
cérebro humano durante os processos cognitivos tanto na representação dessa estrutura quanto no uso
de informações de maneira eficiente, facilitando a recuperação.</p>
      <p>Neste contexto, esta pesquisa tem como objetivo analisar a fundamentação teórica da exploração
visual interativa dos grafos de conhecimento. Assim, propor um processo metodológico compilando
técnicas e abordagens da literatura científica. Parte-se do pressuposto que esta integração trará melhores
resultados aos usuários.</p>
      <p>A metodologia DSR possui uma dinâmica interativa de construção, resultando em entregas
pragmáticas mais eficientes. A pesquisa em andamento trouxe diversos métodos e ferramentas para exploração
visual que contribuirá para a primeira versão da proposta. Os próximos passos serão a construção do
primeiro esboço e rodadas de entrevistas semi-estruturadas.</p>
      <p>Os resultados desta pesquisa contribuirão para diversas áreas que utilizem os grafos de conhecimento,
além disso inova ao aplicar a DSR para checar no constructo final. Assim, expandindo as abordagens já
existentes resolvendo o problema da visualização exploratória interativa.
N. Sharonova, V. Lytvyn, O. Cherednichenko, Y. Kupriianov, O. Kanishcheva, T. Hamon, N. Grabar,
V. Vysotska, A. Kowalska-Styczen, I. Jonek-Kowalska (Eds.), Proceedings of the 5th International
Conference on Computational Linguistics and Intelligent Systems (COLINS 2021). Volume I: Main
Conference, Lviv, Ukraine, April 22-23, 2021, volume 2870 of CEUR Workshop Proceedings,
CEURWS.org, 2021, pp. 528–540.
[19] S. Sheng, P. Zhou, X. Wu, Cepv: A tree structure information extraction and visualization tool for
big knowledge graph, in: 2019 IEEE International Conference on Big Knowledge (ICBK), 2019, pp.
221–228.
[20] F. Desimoni, N. Bikakis, L. Po, G. Papastefanatos, A comparative study of state-of-the-art linked
data visualization tools, in: CEUR WORKSHOP PROCEEDINGS, volume 2778, CEUR-WS, 2020,
pp. 1–13.
[21] J. Zhu, Q. Zhao, E. Katsevich, C. Sabatti, Exploratory gene ontology analysis with interactive
visualization, Scientific Reports 9 (2019) 7793.
[22] H. Ha, H. Han, S. S. Mun, S. Bae, J. Lee, K. Lee, An Improved Study of Multilevel Semantic Network
Visualization for Analyzing Sentiment Word of Movie Review Data, Applied Sciences 9 (2019)
2419.
[23] M. Neji, F. Ghorbel, B. Gargouri, A smart search-based ontology visualization tool using sparql
patterns, in: C. Douligeris, D. Karagiannis, D. Apostolou (Eds.), Knowledge Science, Engineering
and Management, Springer International Publishing, Cham, 2019, pp. 33–44.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          [1]
          <string-name>
            <given-names>A.</given-names>
            <surname>Hogan</surname>
          </string-name>
          , E. Blomqvist,
          <string-name>
            <given-names>M.</given-names>
            <surname>Cochez</surname>
          </string-name>
          ,
          <string-name>
            <surname>C.</surname>
          </string-name>
          <article-title>D'amato</article-title>
          , G. D.
          <string-name>
            <surname>Melo</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          <string-name>
            <surname>Gutierrez</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          <string-name>
            <surname>Kirrane</surname>
            ,
            <given-names>J. E. L.</given-names>
          </string-name>
          <string-name>
            <surname>Gayo</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          <string-name>
            <surname>Navigli</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          <string-name>
            <surname>Neumaier</surname>
            ,
            <given-names>A.-C. N.</given-names>
          </string-name>
          <string-name>
            <surname>Ngomo</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          <string-name>
            <surname>Polleres</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          <string-name>
            <surname>Rashid</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          <string-name>
            <surname>Rula</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          <string-name>
            <surname>Schmelzeisen</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          <string-name>
            <surname>Sequeda</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          <string-name>
            <surname>Staab</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          <string-name>
            <surname>Zimmermann</surname>
          </string-name>
          ,
          <article-title>Knowledge graphs</article-title>
          ,
          <source>ACM Comput. Surv</source>
          .
          <volume>54</volume>
          (
          <year>2021</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          [2]
          <string-name>
            <given-names>J. P.</given-names>
            <surname>McCusker</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Erickson</surname>
          </string-name>
          ,
          <string-name>
            <given-names>K.</given-names>
            <surname>Chastain</surname>
          </string-name>
          ,
          <string-name>
            <given-names>S.</given-names>
            <surname>Rashid</surname>
          </string-name>
          ,
          <string-name>
            <given-names>R.</given-names>
            <surname>Weerawarana</surname>
          </string-name>
          ,
          <string-name>
            <surname>D. McGuinness</surname>
          </string-name>
          ,
          <article-title>What is a knowledge graph</article-title>
          ,
          <source>Semantic Web Journal</source>
          (
          <year>2018</year>
          )
          <fpage>2</fpage>
          -
          <lpage>14</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          [3]
          <string-name>
            <given-names>S.</given-names>
            <surname>Shin</surname>
          </string-name>
          ,
          <string-name>
            <given-names>X.</given-names>
            <surname>Jin</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Jung</surname>
          </string-name>
          ,
          <string-name>
            <given-names>K.-H.</given-names>
            <surname>Lee</surname>
          </string-name>
          ,
          <article-title>Predicate constraints based question answering over knowledge graph</article-title>
          ,
          <source>Information Processing &amp; Management</source>
          <volume>56</volume>
          (
          <year>2019</year>
          )
          <fpage>445</fpage>
          -
          <lpage>462</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          [4]
          <string-name>
            <given-names>M. B.</given-names>
            <surname>Almeida</surname>
          </string-name>
          ,
          <article-title>Revisiting ontologies: A necessary clarification</article-title>
          ,
          <source>Journal of the American Society for Information Science and Technology</source>
          <volume>64</volume>
          (
          <year>2013</year>
          )
          <fpage>1682</fpage>
          -
          <lpage>1693</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          [5]
          <string-name>
            <given-names>G.</given-names>
            <surname>Chen</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Hou</surname>
          </string-name>
          , C. Liu,
          <string-name>
            <given-names>K.</given-names>
            <surname>Hu</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Wang</surname>
          </string-name>
          ,
          <article-title>Visualization analysis of cross research between big data and construction industry based on knowledge graph</article-title>
          ,
          <source>Buildings</source>
          <volume>12</volume>
          (
          <year>2022</year>
          )
          <year>1812</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          [6]
          <string-name>
            <given-names>K.</given-names>
            <surname>Wang</surname>
          </string-name>
          ,
          <string-name>
            <given-names>G.</given-names>
            <surname>Qi</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Chen</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Y.</given-names>
            <surname>Huang</surname>
          </string-name>
          , T. Wu,
          <article-title>Embedding ontologies via incorporating extensional and intensional knowledge</article-title>
          ,
          <year>2024</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          [7]
          <string-name>
            <given-names>D. J.</given-names>
            <surname>Janvrin</surname>
          </string-name>
          ,
          <string-name>
            <given-names>R. L.</given-names>
            <surname>Raschke</surname>
          </string-name>
          ,
          <string-name>
            <given-names>W. N.</given-names>
            <surname>Dilla</surname>
          </string-name>
          ,
          <article-title>Making sense of complex data using interactive data visualization</article-title>
          ,
          <source>Journal of Accounting Education</source>
          <volume>32</volume>
          (
          <year>2014</year>
          )
          <fpage>31</fpage>
          -
          <lpage>48</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          [8]
          <string-name>
            <given-names>W.</given-names>
            <surname>Huang</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Luo</surname>
          </string-name>
          ,
          <string-name>
            <given-names>T.</given-names>
            <surname>Bednarz</surname>
          </string-name>
          ,
          <string-name>
            <given-names>H.</given-names>
            <surname>Duh</surname>
          </string-name>
          ,
          <article-title>Making graph visualization a user-centered process</article-title>
          ,
          <source>Journal of Visual Languages &amp; Computing</source>
          <volume>48</volume>
          (
          <year>2018</year>
          )
          <fpage>1</fpage>
          -
          <lpage>8</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          [9]
          <string-name>
            <given-names>M.</given-names>
            <surname>Lissandrini</surname>
          </string-name>
          , T. B.
          <string-name>
            <surname>Pedersen</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          <string-name>
            <surname>Hose</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          <string-name>
            <surname>Mottin</surname>
          </string-name>
          ,
          <article-title>Knowledge graph exploration: where are we and where are we going?</article-title>
          ,
          <source>ACM SIGWEB Newsletter</source>
          (
          <year>2020</year>
          )
          <fpage>1</fpage>
          -
          <lpage>8</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          [10]
          <string-name>
            <given-names>R.</given-names>
            <surname>Wieringa</surname>
          </string-name>
          ,
          <article-title>Design science as nested problem solving</article-title>
          ,
          <source>in: Proceedings of the 4th international conference on design science research in information systems and technology, ACM</source>
          ,
          <year>2009</year>
          , p.
          <fpage>8</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          [11]
          <string-name>
            <given-names>J.</given-names>
            <surname>Demelo</surname>
          </string-name>
          ,
          <string-name>
            <given-names>K.</given-names>
            <surname>Sedig</surname>
          </string-name>
          ,
          <article-title>Forming cognitive maps of ontologies using interactive visualizations</article-title>
          ,
          <source>Multimodal Technologies and Interaction</source>
          <volume>5</volume>
          (
          <year>2021</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          [12]
          <string-name>
            <given-names>X.</given-names>
            <surname>He</surname>
          </string-name>
          ,
          <string-name>
            <given-names>R.</given-names>
            <surname>Zhang</surname>
          </string-name>
          ,
          <string-name>
            <given-names>R.</given-names>
            <surname>Rizvi</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Vasilakes</surname>
          </string-name>
          ,
          <string-name>
            <given-names>X.</given-names>
            <surname>Yang</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Y.</given-names>
            <surname>Guo</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Z.</given-names>
            <surname>He</surname>
          </string-name>
          ,
          <string-name>
            <given-names>M.</given-names>
            <surname>Prosperi</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Huo</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Alpert</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Bian</surname>
          </string-name>
          ,
          <article-title>Aloha: developing an interactive graph-based visualization for dietary supplement knowledge graph through user-centered design</article-title>
          ,
          <source>BMC Medical Informatics and Decision Making</source>
          <volume>19</volume>
          (
          <year>2019</year>
          )
          <fpage>150</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          [13]
          <string-name>
            <given-names>M.</given-names>
            <surname>Nečaský</surname>
          </string-name>
          , Štěpán Stenchlák,
          <article-title>Interactive and iterative visual exploration of knowledge graphs based on shareable and reusable visual configurations</article-title>
          ,
          <source>Journal of Web Semantics</source>
          <volume>73</volume>
          (
          <year>2022</year>
          )
          <fpage>100713</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          [14]
          <string-name>
            <given-names>A.</given-names>
            <surname>Kleebaum</surname>
          </string-name>
          ,
          <string-name>
            <given-names>B.</given-names>
            <surname>Paech</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J. O.</given-names>
            <surname>Johanssen</surname>
          </string-name>
          ,
          <string-name>
            <given-names>B.</given-names>
            <surname>Bruegge</surname>
          </string-name>
          ,
          <article-title>Continuous rationale visualization</article-title>
          ,
          <source>in: 2021 Working Conference on Software Visualization (VISSOFT)</source>
          ,
          <year>2021</year>
          , pp.
          <fpage>33</fpage>
          -
          <lpage>43</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          [15]
          <string-name>
            <given-names>J.</given-names>
            <surname>Peng</surname>
          </string-name>
          ,
          <string-name>
            <given-names>D.</given-names>
            <surname>Xu</surname>
          </string-name>
          ,
          <string-name>
            <given-names>R.</given-names>
            <surname>Lee</surname>
          </string-name>
          ,
          <string-name>
            <given-names>S.</given-names>
            <surname>Xu</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Y.</given-names>
            <surname>Zhou</surname>
          </string-name>
          ,
          <string-name>
            <given-names>K.</given-names>
            <surname>Wang</surname>
          </string-name>
          ,
          <article-title>Expediting knowledge acquisition by a web framework for knowledge graph exploration and visualization (kgev): case studies on covid-19 and human phenotype ontology</article-title>
          ,
          <source>BMC Medical Informatics and Decision Making</source>
          <volume>22</volume>
          (
          <year>2022</year>
          )
          <fpage>147</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          [16]
          <string-name>
            <given-names>V.</given-names>
            <surname>Wiens</surname>
          </string-name>
          ,
          <string-name>
            <given-names>S.</given-names>
            <surname>Lohmann</surname>
          </string-name>
          ,
          <string-name>
            <given-names>S.</given-names>
            <surname>Auer</surname>
          </string-name>
          ,
          <article-title>Gizmo - a customizable representation model for graph-based visualizations of ontologies</article-title>
          .,
          <source>in: Proceedings of the 10th International Conference on Knowledge Capture - K-CAP '19</source>
          , ACM Press,
          <year>2019</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          [17]
          <string-name>
            <given-names>S.</given-names>
            <surname>Alter</surname>
          </string-name>
          ,
          <article-title>Extending a work system metamodel using a knowledge graph to support IS visualization and development</article-title>
          , in: S. Link,
          <string-name>
            <given-names>I.</given-names>
            <surname>Reinhartz-Berger</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Zdravkovic</surname>
          </string-name>
          ,
          <string-name>
            <given-names>D.</given-names>
            <surname>Bork</surname>
          </string-name>
          , S. Srinivasa (Eds.),
          <source>Proceedings of the ER Forum and PhD Symposium</source>
          <year>2022</year>
          co
          <article-title>-located with 41st International Conference on Conceptual Modeling (ER</article-title>
          <year>2022</year>
          ), Virtual Event, Hyderabad, India, October
          <volume>17</volume>
          ,
          <year>2022</year>
          , volume
          <volume>3211</volume>
          <source>of CEUR Workshop Proceedings, CEUR-WS.org</source>
          ,
          <year>2022</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          [18]
          <string-name>
            <given-names>T.</given-names>
            <surname>Basyuk</surname>
          </string-name>
          ,
          <string-name>
            <given-names>A.</given-names>
            <surname>Vasyliuk</surname>
          </string-name>
          ,
          <article-title>Approach to a subject area ontology visualization system creating</article-title>
          , in:
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>