Resumo Este artigo apresenta uma proposta metodológica para analisar de que forma modelos de inteligência artificial generativa podem ser empregados na representação de imagens de valor histórico e cultural. A pesquisa articula três elementos centrais: o método iconográfico de Erwin Panofsky, ontologias estruturadas aplicadas à organização do conhecimento e a avaliação dos resultados gerados pela inteligência artificial com base em métricas de similaridade semântica e concordância entre termos. Os experimentos realizados com diferentes versões de modelos de linguagem, como ChatGPT e Gemini, demonstram que, embora os sistemas de inteligência artificial sejam capazes de produzir descrições com sentido próximo às elaboradas por especialistas humanos, ainda apresentam dificuldades em adotar a mesma terminologia técnica utilizada por profissionais da área. Esse resultado reforça a relevância da curadoria humana nos processos de representação e indexação, sobretudo em contextos que demandam precisão conceitual. A proposta destaca o uso articulado de ferramentas tecnológicas e conhecimento especializado, apontando caminhos para uma aplicação mais responsável e eficiente da inteligência artificial na organização de acervos visuais.
Keywords Knowledge organization, ontologies, thematic representation of images, generative artificial intelligence, iconographic method, human curation
A representação temática de imagens constitui um dos desafios mais complexos para a Ciência da Informação (CI), sobretudo quando se trata de representar acervos de relevância histórico-cultural. Fotografias de pinturas e esculturas, amplamente disseminadas em repositórios digitais, exemplificam documentos iconográficos que demandam múltiplos níveis de interpretação: desde a descrição de elementos visuais básicos até a compreensão de símbolos, contextos sociais e valores culturais. Tradicionalmente, o método iconográfico de Erwin Panofsky tem sido referência para tal tarefa, ao estruturar a análise em três níveis progressivos: pré-iconográfico, iconográfico e iconológico, permitindo capturar camadas de significado que extrapolam a superfície visível.
No entanto, a crescente escala dos acervos digitais e a diversidade de contextos de uso tornam a indexação manual insuficiente para atender demandas de volume, precisão, consistência e recuperação ampliada. Nesse cenário, tecnologias baseadas em Inteligência Artificial (IA), especialmente Modelos Largos de Linguagem (LLM) com capacidade generativa, surgem como alternativas para automatizar parte do processo de descrição. Ainda assim, a IA, isoladamente, carece de arcabouço interpretativo para alcançar profundidade iconográfica e iconológica de forma fidedigna.
Para preencher essa lacuna, este estudo propõe integrar ontologias do contexto históricocultural, o Conceptual Reference Model of the International Committee for Documentation of the International Council of Museums (CIDOC CRM); o Sistema de Classificação Iconográfica criado por Henri van de Waal para organizar e descrever imagens de obras de arte e outros materiais visuais (Iconclass) (vocabulário iconográfico estruturado em SKOS) e oArt & Architecture Thesaurus (Getty Research Institute) (Getty AAT) (tesauro em SKOS/ISO 25964), em complemento à ontologia CIDOC CRM. Esse conjunto fornece suporte semântico capaz de ampliar a consistência e a precisão conceitual das descrições geradas por IA. Assim, o objetivo central deste trabalho é avaliar a capacidade da inteligência artificial na representação temática de imagens, utilizando o método iconográfico de Erwin Panofsky, articulado ao uso de ontologias histórico-culturais para o enriquecimento semântico da representação.
Diante desse contexto, a questão de pesquisa que orienta este estudo é: em que medida a combinação de Inteligência Artificial Generativa (IAG) e ontologias do contexto histórico-cultural pode enriquecer a representação temática de imagens com base no método iconográfico de Erwin Panofsky, considerando as limitações da IAG na interpretação de significados simbólicos e a necessidade de curadoria humana para garantir a fidedignidade semântica? Assim, propõe-se que apenas a combinação entre IAG, ontologias estruturadas e curadoria humana seja capaz de garantir fidedignidade semântica na representação temática de imagens complexas
Esta seção apresenta os fundamentos teóricos que alicerçam esta pesquisa e trata sobre a representação temática de imagens, a utilização do método iconográfico de Erwin Panofsky e da inteligência artificial assim como o uso de ontologias do contexto histórico-cultural para esta indexação.
Na literatura da CI foi observado que não há consenso conceitual entre representação temática e indexação, ainda que indícios de diferenciação tenham sido apresentados por autores como Fujita (1999), Guimarães (2003, 2008, 2009) e Lancaster (2004). A representação temática foi compreendida como atividade interpretativa de identificação dos temas centrais de um documento, enquanto a indexação foi definida como etapa descritiva, fundamentada nos resultados dessa interpretação, em que termos e categorias são atribuídos a partir de vocabulários controlados, tesauros ou ontologias.
A representação temática de imagens foi caracterizada como processo analítico que busca identificar, interpretar e expressar os temas centrais de recursos visuais, distinguindo-se da indexação por corresponder a uma fase cognitiva anterior, voltada à leitura e abstração de significados. A indexação, em contrapartida, foi descrita como atribuição formal de termos ou códigos em sistemas documentários, com vistas à organização e recuperação da informação (MAIMONE; GRACIOSO, 2007).
Foi ressaltado que a indexação de imagens permanece como desafio, devido à complexidade dos
atributos visuais e à diversidade de interpretações possíveis. Nesse cenário, a fotografia foi
destacada como tipologia documental dotada de linguagem própria, assumindo múltiplas funções
em contextos de informação, memória, arte e comunicação
Como síntese, foi enfatizado que a representação temática constitui um macroprocesso dividido em análise conceitual (interpretação e identificação de temas e relações) e tradução (seleção e normalização em vocabulários). A indexação correspondeu a esse segundo momento, no qual os descritores materializam a representação nos sistemas, evitando sobreposições terminológicas e permitindo a avaliação de resultados de Inteligência Artificial em estudos da área.
A necessidade de mitigar a subjetividade dos indexadores e de aprimorar a eficiência da indexação
foi apontada como razão para a adoção de metodologias específicas na representação de
documentos iconográficos, devido às diferenças em relação aos documentos textuais
A metodologia foi estruturada em três níveis: o pré-iconográfico, voltado à identificação de elementos formais básicos; o iconográfico, dedicado ao reconhecimento de temas e motivos mediante conhecimento cultural; e o iconológico, destinado à interpretação de significados simbólicos e contextuais mais profundos, fundamentados em pesquisa histórica, social e cultural (SILVA; DIAS, 2018). Apesar das críticas relativas à sua rigidez metodológica (GOMBRICH, 1986), o método permanece como referência para a indexação semântica de acervos histórico-culturais e para a área da CI.2.3
A presença da IA tem sido ampliada em diversos setores da sociedade, sendo observado que atividades relacionadas à representação da informação também passaram a ser impactadas. Nesse contexto, a IAG foi destacada como vertente em rápida expansão, ao possibilitar a produção de textos e imagens por sistemas computacionais, redefinindo formas de análise e representação de objetos visuais. Desde o surgimento, no final de 2022, dos primeiros modelos de IAG baseados em Large Language Models (LLM), sua aplicação em diferentes áreas foi constatada, com ênfase para a CI, em função do interesse pela forma como o conhecimento é representado nesses sistemas. Ressaltou-se, ainda, a importância dos elementos semânticos estruturados nos Sistemas de Organização do Conhecimento (SOC) para a representação temática (SILVA; DIAS, 2024).
Foi evidenciado que os LLM se configuram como tecnologias proeminentes por sua capacidade
de processar e gerar linguagem natural e imagens, podendo apoiar significativamente a
representação de fotografias e sua descrição temática. Tais modelos, treinados com grandes
volumes de dados e baseados em redes neurais profundas, operam por inferências estatísticas para
gerar textos contextualizados
Modelos como o ChatGPT, da OpenAI, e o Gemini, do Google, foram reconhecidos como
recursos promissores na mediação informacional, ao integrarem visão computacional e
processamento de linguagem natural para o reconhecimento de padrões visuais e a inferência de
significados. Foi apontado que avanços relevantes vêm sendo obtidos na qualidade da
representação de dados e metadados, com reflexos positivos na catalogação de acervos digitais
Ontologias como a CIDOC CRM, reconhecido como padrão internacional ISO 21127:2006,
desenvolvido pelo ICOM (International Council of Museums), e vocabulários controlados como
Getty AAT e Iconclass são reconhecidas internacionalmente por modelar conhecimento em
museus, bibliotecas e arquivos. Sua integração com IA visa garantir precisão, interoperabilidade e
consistência terminológica (DOERR, 2003). Tais instrumentos de modelagem conceitual vêm sendo
adotados na Ciência da Informação para a representação descritiva, a organização do conhecimento
e a interoperabilidade entre sistemas, ao permitir a formalização de entidades, propriedades e
relações (SILVA; SOUZA, 2014). Foi observado que esses modelos podem superar limitações de
sistemas baseados apenas em palavras-chave, ao possibilitar recuperação contextualizada
Destaca-se que a atribuição de semântica à informação é realizada por meio de metadados, que descrevem elementos em documentos textuais e características técnicas e semânticas em documentos multimídia (GILLILAND-SWETLAND, 2000; SILVA; SOUZA, 2014). No campo do patrimônio cultural, o CIDOC CRM foi descrito como ontologia de referência, projetada para representar entidades, eventos, objetos e relações, possibilitando a contextualização de objetos culturais e a realização de inferências a partir de dados complexos (SILVA; SOUZA, 2014). De forma complementar, vocabulários controlados como Getty AAT e Iconclass foram utilizados para descrever conceitos artísticos e iconográficos, assegurando granularidade e padronização terminológica. Também foi destacada a utilização da Wikidata como ambiente de interligação semântica e publicação de dados culturais em acesso aberto (MARCONDES, 2016).
No contexto europeu, o Europeana Data Model (EDM) foi desenvolvido como estrutura semântica para promover interoperabilidade entre instituições culturais, fundamentado em padrões da Web Semântica como RDF(S), SKOS, OAI-ORE e Dublin Core (DOERR et al., 2010). Esse modelo adota abordagens centradas em objetos e eventos, permitindo associações mais ricas e maior contextualização de dados (CARRASCO; VIDOTTI, 2018), além de viabilizar a publicação de metadados como Linked Open Data, conectando informações culturais a outros recursos na Web (HASLHOFER; ISAAC, 2011).
Este estudo adota uma abordagem exploratória, pois visa compreender um campo ainda recente na CI, que é o uso IAG no processo de indexação de imagens utilizando um método já consolidado, que é o proposto por Panofsky. Essa aplicação foi articulada com o uso de ontologias e vocabulários controlados. A pesquisa é considerada de natureza qualitativa, pois tem o objetivo de compreender o fenômeno do uso da IAG no processo de indexação, que até então, era realizada majoritariamente por humanos. Também se aplica a análise quantitativa ao comparar a capacidade da IAG elaborar termos relevantes em relação ao Modelo Referencial Colaborativo de Indexação (MRCI). Dessa forma, aplicou-se métricas estatísticas, como o coeficiente Kappa de Cohen e a similaridade de cosseno baseada em embeddings semânticos. A partir disso, comparou-se a proximidade entre a indexação realizada por humanos e as que foram geradas por IAG.
A escolha do método iconográfico de Panofsky justifica-se por sua robustez conceitual e sua tradição consolidada tanto na História da Arte quanto na CI. Diferentemente de abordagens baseadas apenas em descritores formais ou metadados técnicos, Panofsky organiza a leitura em três níveis complementares, ideal para testar em que medida a IAG consegue avançar da leitura factual automatizada para níveis de interpretação mais profundos, mediada por ontologias e curadoria humana.
A IAG, representada pelo ChatGPT e pelo Gemini, foi escolhida por sua comprovada capacidade de gerar texto coeso a partir de insumos visuais, por sua base multimodal robusta e por sua acessibilidade para aplicações acadêmicas. Entretanto, reconhece-se que modelos generalistas não foram treinados especificamente para interpretação iconográfica, o que torna este teste pioneiro em demonstrar potenciais e lacunas.
Para enriquecer semanticamente a descrição, as saídas geradas pela IAG serão mapeadas e refinadas por meio de SOC reconhecidos no campo do patrimônio cultural: a ontologia CIDOC CRM e os vocabulários controlados (em SKOS) Iconclass, Getty AAT, Wikidata e EDM. Esta seleção baseia-se em referencial teórico que aponta sua robustez em capturar relações conceituais, hierarquias e vocabulário controlado no contexto histórico-cultural, fundamentais para representar as imagens deste contexto e nos níveis iconográfico e iconológico do modelo de Panofsky. Nesse contexto, as ontologias e os vocabulários controlados histórico-culturais selecionados cumprem o papel de suporte semântico estruturado, oferecendo controle de vocabulário, relações conceituais e contexto histórico necessários para enriquecer a descrição automática e reduzir ambiguidades.
O corpus foi composto por imagens fotográficas de duas tipologias distintas de obras de arte: uma pintura (Mona Lisa) e um conjunto de esculturas em madeira e pedra do Aleijadinho (A Última Ceia), conforme apresentado no quadro 1.
Amostra de imagens usadas para a indexação
Imagem 1
Imagem 2 Pintura: Mona Lisa (1503-1506) Esculturas: A Última Ceia Pintor: Leonardo da Vinci Escultor: Antônio Francisco Lisboa, o Aleijadinho Fotografia: C2RMF: Galerie de tableaux en (1730- 1814) très haute définition Fotógrafa: Lila Cruz Fonte:Wikimedia Commons https://w.wiki/6C2o Fonte: elaborado pelos autores (2025).
A seleção destas obras se fundamenta em quatro critérios principais: 1) Contexto comum: cenário histórico-cultural; 2) Consagração cultural: são objetos de estudo amplamente referenciados, o que facilita a validação das interpretações automatizadas com descrições especializadas já consolidadas; 3) Contraste técnico e material: pintura e escultura apresentam diferenças na técnica de execução, materialidade, cor, forma e textura, o que permite analisar se tais variações impactam o desempenho da IAG; e 4) Unificação documental: ambas as obras são representadas no experimento por fotografias digitais, igualando o formato de entrada para os modelos de IA. Além disso, se baseia em Panofsky (1986) quando destaca que o uso de obras canônicas favorece a validação, pois apresentam interpretações iconográficas consolidadas, o que permite contrastar os resultados com leituras já reconhecidas.
Foram conduzidos dois testes distintos para cada imagem analisada. O Teste 1 (T1) consistiu na aplicação do método de Panofsky a partir de um único prompt, no qual se solicitava a geração de três listas correspondentes aos níveis pré-iconográfico, iconográfico e iconológico. As instruções determinavam o uso de termos e códigos de vocabulários controlados (Iconclass, Getty AAT, CIDOC CRM), com a exigência de indicar “sem correspondência” quando não houvesse alinhamento direto. O Teste 2 (T2) adotou uma estratégia encadeada de prompts. Nesse caso, o modelo recebia instruções sucessivas: (i) listar apenas elementos visuais observáveis (nível préiconográfico), (ii) identificar temas/motivos (nível iconográfico) e (iii) interpretar significados e valores culturais (nível iconológico). Após essa sequência, aplicou-se um quarto prompt idêntico ao T1, de modo a gerar uma saída consolidada e permitir a comparação entre os dois desenhos experimentais. A engenharia de prompts é sintetizada no quadro 2.
Esquema de Testes e Instruções segundo os Níveis de Panofsky
Teste
T1 T2a T2b T2c T2d
Exemplo de instrução “Leia a imagem X e produza três listas correspondentes aos níveis de Panofsky (pré-iconográfico, iconográfico e iconológico). Sempre que possível, utilize termos/códigos de Iconclass, AAT e CIDOC CRM; quando não houver correspondência, indique explicitamente ‘sem
correspondência’.” “Liste apenas os elementos visuais observáveis (formas, cores, personagens), mapeando-os para termos do AAT e Iconclass quando
aplicável.” “Identifique os temas/motivos presentes na imagem, utilizando códigos
do Iconclass.” “Explique os significados e valores culturais subjacentes, registrando termos de AAT ou CIDOC CRM quando disponíveis.”
(idêntico ao T1) Fonte: elaborado pelos autores (2025).
Objetivo Avaliar desempenho em um
único prompt Pré-iconográfico
Iconográfico
Iconológico Consolidação para comparação
Diversas iterações foram realizadas até a definição final dosprompts. Todos os experimentos foram conduzidos em ambiente anônimo, sem memória de conversas anteriores e com os parâmetros padrão dos modelos, sem calibragem adicional de temperature, top-p ou limite de tokens. Essa padronização assegura que as diferenças nos resultados decorrem do comportamento intrínseco dos modelos, e não de ajustes externos.
Importante destacar que os modelos de IAG não apresentam comportamento determinístico: a
geração textual é um processo probabilístico, resultando em múltiplas saídas possíveis para o
mesmo input
O experimento segue cinco etapas articuladas: 1) Seleção e padronização do corpus de imagens, garantindo qualidade técnica e contexto histórico homogêneo; 2) Anotação manual por especialistas com base no método de Panofsky, categorizando cada imagem nos três níveis (préiconográfico, iconográfico e iconológico); 3) Apresentação do MRCI. O MRCI foi construído por 5 especialistas da área de Biblioteconomia e CI, que realizaram anotações independentes das imagens segundo os três níveis de Panofsky, utilizando como referência os vocabulários controlados (AAT, Iconclass) e a ontologia CIDOC CRM. Em seguida, aplicou-se um processo de consenso: discrepâncias foram discutidas coletivamente, registrando-se as decisões de inclusão ou exclusão de termos, com preferência por rótulos prefLabel em SKOS. O resultado final foi consolidado em listas estruturadas por nível, contendo rótulos e códigos correspondentes sempre que disponíveis. O MRCI constitui o padrão humano de referência para comparação com as saídas das IAGs; 4) Geração de descrições automáticas utilizando ChatGPT e Gemini, com prompts ajustados para leitura nos três níveis de Panofsky e com a orientação de recorrer aos SOC selecionados (CIDOC CRM, AAT, Iconclass, EDM, Wikidata); 5) Validação e comparação dos resultados. As saídas das IAG foram verificadas quanto a inconsistências, lacunas e imprecisões, sendo confrontadas com o MRCI. Essa comparação permitiu mensurar o grau de alinhamento entre indexação humana e automática.
A análise integrará dimensões qualitativas e quantitativas. No aspecto qualitativo, serão avaliadas coerência, profundidade interpretativa e consistência entre os níveis de Panofsky nas descrições geradas e conformidade com as ontologias utilizadas.
No aspecto quantitativo, a avaliação será baseada em métricas estatísticas utilizadas para mensurar a concordância entre classificadores, incluindo o coeficiente Kappa de Cohen e a similaridade de cosseno (COHEN, 1960). O coeficiente Kappa será aplicado para quantificar a concordância entre as categorias atribuídas pelo Modelo Referencial Colaborativo de Indexação (MRCI) e pelas IA, considerando a influência de concordâncias ocorridas ao acaso. Para isso, as descrições serão organizadas em matriz de contingência, a partir da qual serão calculadas as proporções de concordância observada (P₀) e esperada ao acaso (Pₑ), segundo a equação k =( P0 - Pe ) / ( 1 - Pe ), em que valores próximos de 1 indicam alta concordância, e valores inferiores a 0,40, baixa correspondência.
A similaridade de cosseno será utilizada para examinar a proximidade semântica entre descritores humanos e aqueles gerados pelas IA. As descrições textuais serão convertidas em representações vetoriais por meio do modelo BERTimbau, que captura relações semânticas entre palavras e expressões (SOUZA; NOGUEIRA; LOTUFO, 2020). A equação cos(θ) = ( A · B ) / ( |A| · | B| ) permitirá avaliar se a IA interpreta corretamente não apenas os elementos descritivos explícitos, mas também os significados subjacentes nas análises iconográficas, sendo valores próximos de 1 indicativos de alta semelhança semântica, e valores inferiores a 0,5, de baixa correlação.
A avaliação da indexação foi conduzida por meio de uma abordagem comparativa entre a atividade realizada por especialistas humanos e a gerada por inteligência artificial. O objetivo principal desta análise foi determinar a eficiência e as limitações dos modelos de IA empregados, verificando sua capacidade de replicar estruturas interpretativas estabelecidas por metodologias tradicionais e com o uso de ontologias e tesauros.
Os principais aspectos considerados na avaliação incluem: 1) Precisão da indexação: Grau de concordância entre os descritores atribuídos pela IA e aqueles definidos por especialistas; 2) Capacidade de abstração: Identificação de padrões semânticos e contextuais em diferentes níveis de interpretação iconográfica; 3) Consistência na categorização: Uniformidade dos descritores gerados ao longo do conjunto de dados;4) Identificação de limitações: Diagnóstico de possíveis falhas do modelo, como dificuldades na interpretação de simbolismos culturais ou presença de viés algorítmico.
Após a realização das indexações das duas imagens da amostra - Mona Lisa e A Última Ceia - pelas ferramentas de IAG (ChatGPT e Gemini) utilizando dois testes (T1 e T2), os resultados obtidos foram tratados, tendo alguns exemplos expostos no quadro 2.
Os testes foram realizados com duas versões do ChatGPT (ChatGPT 4o e ChatGPT 4o-mini) e duas versões do Gemini (Gemini Flash 2.5 e Gemini Flash Pro). O quadro 3 apresenta apenas uma seleção dos resultados: o teste T1 realizado com o Gemini Flash Pro, o teste T2 com o ChatGPT, além do MRCI. De modo geral, observou-se que os resultados variaram entre as versões, e que cada uma também produziu respostas distintas nos dois tipos de teste (T1 e T2). No primeiro, foi utilizado um único prompt; no segundo, adotou-se uma sequência de prompts interdependentes, com o objetivo de fornecer maior contexto à IAG. Após essa construção de contexto, aplicou-se o mesmo prompt final utilizado no T1. O MRCI apresentado, foi o padrão utilizado para as análises quantitativas apresentadas na próxima seção.
Resultados das indexações da imagem da Mona Lisa realizadas pelas IAG e por profissionais da CI
IA ou Profissional Gemini Flash
Pro (T1) ChatGPT 4o
(T2) Profissional humano (Modelo Referencial Colaborativo de Indexação)
1 - Préiconográfico Dress, Landscape, ManMade Object, Oil paint, Painting (visual work), Portrait of a woman, Sitting, Woman Oil painting, Panel painting, Physical ManMade Stuff, Physical Thing, Portraits of individuals Background Landscape, Dark Dress, Frontal View, Half-Length, Hands One Over the Other, Painting, Portrait, Seated Woman, Soft Lighting (Sfumato), Woman Fonte: elaborado pelos autores (2025).
2 - Iconográfico
3 - Iconológico Creation, Leonardo da Vinci, Lisa Gherardini, Louvre Museum, Mona Lisa, Portrait, Portrait of historical personage, 'LISA DEL GIOCONDO' Lisa del Giocondo, Mona Lisa, Portrait, Portrait of a woman, Renaissance 15th-16th Century Painting Technique, Enigmatic Smile, Harmony Between Figure and Background Nature, Leonardo da Vinci, Lisa Gherardini, Louvre Museum, Mona Lisa, Oil Painting on Wood, Renaissance, Renaissance Portrait
Aerial perspective, Beauty, 'Venustas'; 'Bellezza' (Ripa), Propositional Object, High Renaissance, Humanism, Idealism, providedCHO (Provided Cultural Heritage Object), Sfumato Actor, Time-Span, Place, Recurso Cultural Provido, Sfumato, Mystery, Landscape A aplicação do coeficiente Kappa de Cohen e da medida de similaridade semântica obtida a partir dos vetores gerados pelo modelo BERTimbau permitiu avaliar, com critérios complementares, a correspondência entre os resultados produzidos pelas IAG e o Modelo Referencial Colaborativo de Indexação, considerando tanto a concordância terminológica quanto a proximidade de sentido entre os termos utilizados.
Os resultados de similaridades das indexações das IAG referente à imagem da Mona Lisa frente ao MRCI são apresentados no quadro 4 e mostram alta similaridade semântica contrapondo à baixa similaridade de termos (leve ou pobre).
Resultados de similaridades das indexações da imagem da Mona Lisa realizadas pelas IAG e por profissionais da CI.
Avaliador 2 Similaridade (Profissionais da BERTimbau
CI)
MRCI 0.81
Os dados revelam um padrão recorrente: embora todos os modelos de IAG tenham alcançado altos índices de similaridade semântica — com valores variando de 0.81 a 0.95 nas métricas obtidas via modelo BERTimbau —, os valores do coeficiente Kappa de Cohen permaneceram consistentemente baixos, oscilando entre 0.00 e -0.10, indicando leve ou pobre concordância em termos exatos utilizados. Esse contraste evidencia que, apesar de os modelos conseguirem captar o sentido geral ou semântico das indexações humanas, eles não reproduzem com precisão os mesmos termos escolhidos pelos profissionais que elaboraram o MRCI. Ou seja, há convergência de sentido, mas divergência na escolha lexical ou terminológica, o que é particularmente relevante em contextos de representação do conhecimento e organização da informação, onde a terminologia controlada é fundamental.
Destaca-se que os testes T2, que envolveram a aplicação de prompts em sequência para construção de contexto, não resultaram em ganhos na concordância terminológica em comparação aos testes do tipo T1, que utilizaram apenas um prompt. Isso indica que a introdução de mais contexto semântico não foi suficiente para alinhar a linguagem das IAGs à terminologia especializada usada por indexadores humanos. Observa-se, ainda, que entre os modelos avaliados, o Gemini Flash Pro (T2) foi o único a apresentar um coeficiente Kappa negativo (-0.10), classificado como "pobre", sugerindo uma tendência à discordância terminológica mesmo quando há entendimento semântico global.
O quadro 5 apresenta os resultados de similaridades das indexações das IAG referente à imagem de A Última Ceia frente ao MRCI. Da mesma maneira que ocorreu com os resultados da Mona Lisa, os resultados mostraram alta similaridade semântica contrapondo à baixa similaridade de termos (leve ou pobre).
Resultados de similaridades das indexações da imagem de A Última Ceia realizadas pelas IAG e por profissionais da CI
Avaliador 2 (Profissionais da CI) MRCI
Similaridade
BERTimbau
Os resultados obtidos para a imagem A Última Ceia mantêm o padrão identificado anteriormente, mas adicionam nuances importantes à interpretação geral sobre o desempenho das IAG em tarefas de indexação. Embora os índices de similaridade semântica permaneçam elevados em todas as combinações de modelo e tipo de teste, observa-se uma ligeira ampliação na variação dos coeficientes Kappa, com destaque para dois casos de concordância classificada como pobre, ambos registrados nos teste T1 dos modelos Gemini Flash 2.5 e Gemini Flash Pro. A presença desses coeficientes negativos sugere não apenas uma baixa sobreposição de termos, mas também uma tendência à divergência sistemática em relação à terminologia adotada pelos profissionais da área. Isso indica que, mesmo quando os modelos compreendem corretamente o conteúdo ou sentido da imagem — como evidenciado pelos altos valores de similaridade semântica —, as escolhas lexicais feitas pelas IAGs podem se afastar significativamente dos critérios técnicos e padronizados de indexação humana.
Outro aspecto que merece atenção é a sutil diferença nos desempenhos entre os testes T1 e T2, especialmente no caso do modelo ChatGPT 4o-mini, que apresentou leve aumento na concordância terminológica no teste T2. Esse comportamento, ainda que limitado, sugere que a introdução de contexto adicional pode exercer influência positiva, ainda que modesta, na capacidade das IAGs de se aproximarem das escolhas humanas em termos terminológicos. No entanto, essa variação pontual não foi suficiente para alterar a tendência geral, e permanece o indicativo de que a estratégia de prompts interdependentes, tal como aplicada neste estudo, não constituiu uma solução determinante para a convergência terminológica.
Essa constatação abre espaço para reflexões metodológicas mais amplas. A manutenção de alta similaridade semântica associada a baixa concordância de termos reforça a ideia de que as IAGs operam com modelo de linguagem baseado em probabilidade contextual, e não em sistemas conceituais formalizados, como é o caso de tesauros, ontologias ou vocabulários controlados utilizados por profissionais da área de representação do conhecimento. Tal descompasso entre compreensão de sentido e aderência terminológica evidencia a necessidade de estratégias complementares, como o alinhamento das saídas das IAGs às bases terminológicas estruturadas ou a incorporação de mecanismos de restrição lexical nas interações com os modelos.
Portanto, os resultados referentes à imagem A Última Ceia não apenas reforçam os achados observados na análise da Mona Lisa, mas também introduzem elementos que tornam ainda mais evidente o desafio da integração plena entre sistemas baseados em inteligência artificial e práticas tradicionais de representação do conhecimento. O conjunto dos dados analisados sugere que, no estado atual da tecnologia, as IAGs se mostram mais adequadas como instrumentos de apoio à geração de descritores preliminares, cabendo aos profissionais a função de validar, corrigir e alinhar esses termos às estruturas conceituais e linguísticas de vocabulários controlados e ontologias.
A partir das análises realizadas neste estudo, ficou evidente que os modelos de IAG, embora apresentem elevada competência na formulação de descrições semanticamente coerentes, ainda enfrentam dificuldades substanciais no alinhamento terminológico com vocabulários controlados. Este descompasso não apenas reforça os limites técnicos desses sistemas, mas também se insere em uma discussão mais ampla sobre a confiabilidade da informação gerada por IAs, especialmente à luz do fenômeno conhecido como alucinação.
As alucinações em IAG, conforme discutido por Barria Huidobro (2024), são entendidas como a geração de conteúdos imprecisos, enganosos ou factualmente incorretos, mesmo quando a estrutura sintática e semântica parece plausível. Embora o presente estudo não tenha se dedicado especificamente à detecção de alucinações, a ausência de concordância terminológica, mesmo diante de alta similaridade semântica, pode sinalizar traços iniciais desse fenômeno em domínios especializados como a indexação de imagens. Foi possível verificar nos resultados várias divergências entre as informações produzidas pelas IAGs e as informações reais das ontologias e tesauros analisados, como os descritores e seus respectivos códigos, descrições e fontes. As informações errôneas obtidas pelas IAG são consideradas graves, especialmente quando se trata de contextos que demandam precisão conceitual e terminológica e aderência a sistemas normativos de representação do conhecimento.
Estudos como o de Correa Busquets & Maccarini Llorens (2023) reforçam a importância de mecanismos de autossupervisão e modelos de verificação para mitigar tais ocorrências. No campo da representação da informação, isso pode significar a integração de mecanismos de validação semântica e terminológica diretamente nos fluxos de trabalho com IAG, combinando as potencialidades da IA com a robustez das estruturas ontológicas, tesauros e outras formas de controle de vocabulário já consolidadas. Essa perspectiva se alinha ao conceito de inteligência artificial aumentada, em que o conhecimento produzido pelas IAGs é avaliado, complementado e ajustado por profissionais humanos, promovendo um modelo colaborativo que valoriza tanto a escala e agilidade dos sistemas computacionais quanto o julgamento crítico e a expertise conceitual da curadoria humana (SOUZA; LIMA, 2025). Sob uma perspectiva mais ampla, Lemos (2024) propõe que falhas e erros nos sistemas digitais, incluindo as alucinações, podem funcionar como elementos reveladores de camadas profundas dos objetos e das mediações tecnológicas. Assim, o comportamento dos modelos de linguagem ao descrever obras visuais clássicas, como A Última Ceia e Mona Lisa, revela tensões epistemológicas entre o funcionamento algorítmico probabilístico e as exigências de precisão conceitual próprias da indexação humana.
Diante disso, os resultados apresentados neste estudo não apenas evidenciam a atual capacidade das IAG na compreensão de conteúdos complexos, mas também apontam para a necessidade de desenvolvimento de métodos híbridos, nos quais a colaboração entre máquinas e especialistas seja mediada por critérios técnicos claros, mecanismos de verificação e sensibilidade crítica.
O estudo foi apresentado como contribuição ao campo das ontologias aplicadas, ao se explorar seu uso prático na qualificação de sistemas de Inteligência Artificial Generativa voltados à representação de documentos iconográficos. Foi evidenciado que a inovação metodológica se encontra na triangulação entre o método iconográfico de Panofsky, o emprego de ontologias controladas e a avaliação automatizada por coeficiente Kappa de Cohen e similaridade semântica baseada no modelo BERTimbau, organizados em um fluxo integrado de análise. A integração de indexação temática, ontologias e IA generativa em protocolo auditável foi destacada como abordagem inédita.
Foi ressaltada a relevância social da pesquisa, uma vez que o papel humano na validação e curadoria do conhecimento produzido foi considerado indispensável, demonstrando a complementaridade entre expertise humana e inteligência artificial. A análise de obras de Leonardo da Vinci e Aleijadinho foi utilizada como contraponto metodológico para valorizar semelhanças e diferenças no processo de indexação automática.
Os resultados mostraram que, embora alta similaridade semântica com referenciais humanos tenha sido alcançada pelas IAG, a concordância terminológica permaneceu baixa, revelando limitações quanto à aderência a esquemas conceituais formalizados. Reforçou-se, assim, a necessidade da curadoria humana para garantir precisão e consistência terminológica, especialmente em contextos que exigem padronização e interoperabilidade semântica.
Foi indicado que a pesquisa possui caráter exploratório, sendo recomendada sua continuidade por meio da ampliação do corpus, do refinamento das ontologias, da incorporação de datasets com metadados controlados e da aplicação dos métodos em acervos reais. Tais perspectivas foram apontadas para consolidação de abordagens híbridas entre inteligência artificial e conhecimento estruturado como caminhos eficazes, éticos e sustentáveis na preservação, interpretação e acesso ao patrimônio cultural.
Ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) pelo apoio à pesquisa (Processo 307765/2023-7; Autor 3 e Processo 306386/2025-9, Autor 7). A Fundação de Amparo à Pesquisa do Estado de Minas Gerais (FAPEMIG) – Programa de Apoio à Pós-Graduação (PAG) pelo apoio à pesquisa (Identificador 13473, Autor 8).
Neste trabalho, foi explorado o uso de inteligência artificial generativa, especificamente os modelos ChatGPT (4o e o4-mini) e Gemini (2.5 Flash e 2.5 Pro), em conjunto com ontologias, para a análise e representação temática de imagens. As ferramentas foram empregadas na identificação de elementos visuais e no apoio à interpretação de significados em níveis pré-iconográfico, iconográfico e iconológico, com foco em tarefas que demandam conhecimento técnico especializado. Todo o processo foi acompanhado pela equipe de pesquisa, e os resultados foram revisados e validados, sendo assumida integral responsabilidade pelos conteúdos apresentados. Referências [6] J. A. Cohen. A coefficient of agreement for nominal scales. Educational and Psychological
Measurement, v. 20, n. 1, p. 37-46, 1960. doi: 10.1177/001316446002000104. [7] M. Doerr. The CIDOC CRM — an ontological approach to semantic interoperability of metadata. AI Magazine, v. 24, n. 3, p. 75–92, 2003. [8] M. Doerr, S. Gradmann, S. Hennicke, A. Isaac, C. Meghini, H. Van de Sompel. The Europeana
Data Model (EDM). 2010. URL: https://www.researchgate.net/publication/303058300. [9] F. Farinelli, A. Souza. Ontologias de alto nível: porque precisamos e como usar. 1. 2021, pp. 174202. [10] M. S. L. Fujita. A leitura do indexador: estudo de observação. Perspectivas em Ciência da Informação, Belo Horizonte, v. 4, n. 1, 1999, pp. 101–116. URL: http://portaldeperiodicos.eci.ufmg.br/index.php/pci/article/view/597. [11] A. J. Gilliland-Swetland. Enduring paradigm, new opportunities: the value of the archival perspective in the digital environment. Washington, DC: Council on Library and Information Resources, Digital Library Federation, 2000. URL: https://files.eric.ed.gov/fulltext/ED440660.pdf. [12] E. H. Gombrich. Arte e Ilusão: um estudo da psicologia da representação pictórica. 5. ed. Rio de
Janeiro: LTC, 1986. [13] E. H. Gombrich. Imágenes simbólicas: estudios sobre el arte del Renacimiento. Madrid: Alianza, 1986. [14] J. A. C. Guimarães. A análise documentária no âmbito do tratamento da informação: elementos históricos e conceituais. In: Rodrigues GM, Lopes IL. (org.). Organização e representação do conhecimento na perspectiva da Ciência da Informação. Brasília: Thesaurus, 2003, pp. 100–117. [15] J. A. C. Guimarães. A dimensão teórica do tratamento temático da informação e suas interlocuções com o universo científico da International Society for Knowledge Organization (ISKO). Revista Ibero-americana de Ciência da Informação. Brasília, v. 1, n. 1, jan./abr. 2008. [16] J. A. C. Guimarães. Abordagens teóricas em tratamento temático da informação: catalogação de assunto, indexação e análise documental. In: García Marco FJ (org.). Avances y perspectivas en sistemas de información y de documentación. Zaragoza: Prensas Universitarias de Zaragoza, 2009, pp. 105–117. [17] B. Haslhofer, A. Isaac. data.europeana.eu: The Europeana Linked Open Data Pilot. 2011. [18] A. Holtzman, J. Buys, L. Du, M. Forbes, Y. Choi. The curious case of neural text degeneration.
In: Proceedings of ICLR 2020. 2019. URL: https://arxiv.org/abs/1904.09751. [19] F. W. Lancaster. Indexação e resumos: teoria e prática. 3. ed. Brasília: Briquet de Lemos. 2004. [20] A. L. M. Lemos. Erros, falhas e perturbações digitais em alucinações das IA generativas: tipologia, premissas e epistemologia da comunicação. MATRIZes, 18(1). 2024, pp. 75-91. doi: 10.11606/issn.1982-8160.v18i1p75-91. [21] G. D. Maimone, L. S. Gracioso. Representação temática de imagens: perspectivas metodológicas. Informação & Informação, Londrina, v. 12, n. 1. 2007, pp. 11–28. URL: https://www.uel.br/revistas/uel/index.php/informacao/article/view/2764. [22] C. H. Marcondes. Interoperabilidade entre acervos digitais de arquivos, bibliotecas e museus: potencialidades das tecnologias de dados abertos interligados. Perspectivas em Ciência da Informação, Belo Horizonte, v. 21, n. 2, 2016, pp. 61-83. [23] M. P. Manini. Análise documentária de fotografias: um referencial de leitura de imagens fotográficas para fins documentários. 2002. 231 f. Tese (Doutorado em Ciências da Comunicação) – Universidade de São Paulo (USP), Escola de Comunicação e Artes. São Paulo, 2002. [24] D. L. Martins, D. L. S. Lemos, L. F. R Oliveira, J. Siqueira, D. Carmo, V. N. Medeiros.
Information organization and representation in digital cultural heritage in Brazil: systematic mapping of information infrastructure in digital collections for data science applications. Journal of the Association for Information Science and Technology, v. 74, n. 6, 2022, pp. 707–726.
Doi: 10.1002/asi.24650. [25] A. C. S. Oliveira. Modelagem para valoração de objetos museológicos: estudos de caso para o MNBA e o MAST. 2020. 1473 f. Tese (Doutorado em Museologia e Patrimônio) - Universidade