Public procurement is a powerful tool for investing public funds and is a strategic resource for economic development. It is therefore essential to encourage the improvement of the operations of the contracting authorities and to develop evaluation models that can facilitate the analysis and monitoring processes in the various stages of execution of a public procurement. In this contribution, we present our research aimed at creating a system to support decisions and monitoring activities of the entire investment and procurement cycle. This system involves the use of Artificial Intelligence techniques based on natural language processing and machine learning, as well as data analysis and visualizations, aimed at providing tools that allow for extrapolating useful information starting from structured and unstructured data structures. Sommario Gli appalti pubblici rappresentano un potente strumento d'investimento dei fondi pubblici e sono una risorsa strategica per lo sviluppo economico. Risulta quindi fondamentale favorire il miglioramento dell'operatività delle stazioni appaltanti e sviluppare modelli di valutazione che possano agevolare i processi di analisi e monitoraggio nelle varie fasi di esecuzione di una gara pubblica. In questo contributo, presentiamo la nostra ricerca volta alla creazione di un sistema a supporto delle decisioni e delle attività di monitoraggio dell'intero ciclo degli investimenti e degli appalti. Tale sistema prevede l'utilizzo di tecniche di Intelligenza Artificiale basate sull'elaborazione del linguaggio naturale e machine learning, analisi dei dati e visualizzazioni, atte a fornire strumenti che consentano di estrapolare informazioni utili a partire da strutture dati strutturate e non strutturate.
La Regione Puglia (Servizio Contratti e Programmazione Acquisti) con il supporto tecnico di InnovaPuglia Società in-house e Soggetto Aggregatore della Regione e il contributo scientifico del Dipartimento di Informatica dell’Università degli Studi di Bari ha avviato da alcuni anni lo studio e la sperimentazione di applicazioni di Intelligenza Artificiale a supporto dei processi gestionaleamministrativi e dell’osservatorio regionale dei contratti pubblici (Dlgs 50/2016, art. 29 c.1,2,3,4,4bi) nell’ambito
del quadro normativo di settore sull’e-Procurement e gli appalti pubblici.
In particolare, sono stati realizzati due progetti di ricerca e sperimentazione SIAP (Sistemi di Intelligenza Artificiale per il Procurement) e PAI (Passaporto Appalti Imprese) nel corso dei quali, adottando tecniche di Intelligenza Artificiale come Apprendimento Automatico e Natural Language Processing, è stata realizzata una piattaforma per il monitoraggio del ciclo di investimenti e appalti. Questi progetti hanno preso le mosse dallo scenario in cui gli acquisti si muovono negli ultimi anni, fatto di mercati sempre più complessi e di rischi sempre nuovi. Le complessità esogene portano gli attori coinvolti a dover perseguire nuovi livelli di eficienza, sostenibilità e salvaguardia. Per farlo è necessario efettuare analisi sempre più puntuali per individuare ineficienze, rischi ed ottimizzare il più possibile i processi interni. Lo scopo dei suddetti progetti è quello di migliorare da un lato le attività dei RUP (Responsabili Unici del Procedimento), delle Stazioni Appaltanti, delle Amministrazioni e degli Enti Aggiudicatori consentendo loro di assolvere a molti degli adempimenti assegnati in maniera più eficace, efifciente e sostenibile e dall’altro, sviluppare schemi di assessment che mettano in correlazione particolari se- Il sistema realizzato è il risultato di due progetti di ricerca quenze logico-temporali di fatti e contenuti che possano ciascuno focalizzato su casi d’uso diferenti: SIAP e PAI essere ricondotti a determinati indicatori di anomalia. Di seguito descriveremo i rispettivi obiettivi e le tecnologie utilizzate per la risoluzione.
Per rispondere alle richieste formulate in questo progetto di ricerca, sono stati utilizzati i dati testuali dei documenti
In questo progetto sono proposti i seguenti casi d’uso: Nei successivi paragrafi descriveremo il risultato dell’attività di ricerca di cui sopra. E’ stato sviluppato un sistema in grado di fornire supporto nella gestione del ciclo degli appalti, concepito con la finalità di fornire supporto ai RUP. L’architettura è basata su uno schema modulare che consente flessibilità per eventuali modiifche o aggiunte successive.
La figura 1 mostra lo schema dell’architettura ad alto
livello, questa è strutturata in quattro moduli principali
ed eventuali plug-in:
• Data Collector: il modulo si occupa della raccolta
dei dati relativi ai bandi e alle gare. L’estrazione
dei dati è modularizzata e scomposta in diversi
Plug-Ins, ognuno dei quali si occupa di recuperare
l’informazione da una specifica sorgente. Poiché
le sorgenti sono per loro natura eterogenee, è
necessario includere una componente di Data
Integration che si occupi di combinare l’informazione
proveniente da ciascuna di esse. Tale componente
può verificare che ci sia un corretto overlap tra
sorgenti distinte e segnalare eventuali anomalie.
• Pre-Processing: il modulo si occupa di sublimare
e organizzare le informazioni estratte tramite il
modulo di data collection in entità sulle quali
possano essere eficacemente efettuati i successivi
passi di analisi.
• Tender Analyzer: il modulo ha lo scopo di
effettuare le analisi a partire dalle informazioni
estratte dalle diverse sorgenti. Data la natura
delle informazioni che possono essere associate
ad un bando, questo modulo è suddiviso in due
diverse componenti: il Data Analyzer si occupa
di analizzare l’informazione strutturata associata
ai bandi ed il Content Analyzer che invece,
effettua l’analisi dell’informazione non strutturata
associata ai bandi.
• Service Tools: date le informazioni e le analisi
svolte all’interno del modulo precedente, con i ser- 3.1.1. Risoluzione dello Scenario
vice tools vengono efettuate le operazioni
speciifche per la realizzazione di particolari casi d’uso.
1. Disambiguità procedurali: una descrizione simile
spesso sottende due tipologie diferenti di
finalità di acquisto, ad esempio, l’una quale appalto
di servizi, l’altra come appalto di fornitura.
Attraverso sistemi di interpretazione del linguaggio
naturale, dedurre se la procedura di cui trattasi ha
come finalità una fornitura (es. stampa di “buoni
pasto”) o un servizio (es. una nuova metodologia
di fruizione di pasti attraverso i “buoni pasto”).
2. Disallineamenti qualitativi: a volte è dificile
ottenere o recuperare prezzi di riferimento in
quanto in una gara X fatta dal soggetto Y il
disinfettante è stato pagato Z, mentre in una gara M
fatta dal soggetto N lo stesso disinfettante è stato
pagato P salvo poi scoprire che le unità di misura
di riferimento non erano confrontabili. Testare
soluzioni di AI che siano in grado di aprire i
singoli fascicoli andando ad estrarre contenuti
informativi, lasciando poi al RUP1 la decisione finale
di interpretazione.
3. Indagini preliminari di mercato: Il RUP ha spesso
necessità di accedere ad informazioni in aree
di fornitura e per tipologie di merceologie non
sempre di sua pertinenza e competenza per
raccogliere informazioni e colmare il gap
informativo tra amministrazione e mercato. Mediante
sistemi di Intelligenza Artificiale identificare le
variabili principali di una fornitura (se parliamo
di PC sarebbero identificate alcune variabili
rilevanti quali processore, ram, batteria, etc.) che
consentano al RUP di adeguare l’asimmetria
informativa normalmente presente in chi si approccia
ad una procedura di gara soprattutto in ambiti
nei quali la tecnologia e le soluzioni cambiano
con rapidità.
ottenuti dal portale EmPULIA2, nonché i dati sui bandi
in forma strutturata messi a dispozione da ANAC3 come
open data. Per i dati in formato non strutturato le attività
di analisi sono state condotte attraverso l’utilizzo di
tecniche basate sul Natural Language Processing (NLP) [
Nel dettaglio, rispettivamente ad ogni caso d’uso individuato sono state proposte la seguenti applicazioni:
Lo scopo di questo progetto di ricerca è di rispondere al seguente caso d’uso: 1. "Passaporto" operatore economico: per il RUP è possibile e tutto sommato facile accedere a documenti pubblici di gare bandite da altri enti/istituzioni, qualora lo stesso fosse interessato a informazioni
3https://dati.anticorruzione.it/#/home 4https://simap.ted.europa.eu/it/cpv relative a forniture similari. Ciò che risulta dificile reperire è il grado di afidabilità dei fornitori.
Sarebbe molto utile riuscire a gestire e analizzare informazioni e documenti (comunque disponibili in altri database o in rete) su eventuali procedure relative a ricorsi, inchieste, sentenze o altro, anche disponibile su notizie di stampa, che aiutino il responsabile del procedimento a capire meglio ad esempio come si siano concluse le altre procedure provando ad assegnare quindi un gradiente di afidabilità alla potenziale fornitura sul tema di interesse di gara.
L’obiettivo è quindi quello di costruire un «Passaporto» per le imprese/operatori economici nell’ambito degli appalti pubblici che consenta alla stazione appaltante e al RUP di accedere a detto documento per una presa visione in tempo reale, rimandando ad un separato processo di attestazione le verifiche. 1. Classificatore CPV : Questa componente permette all’utente di inserire un testo e di ottenere una lista di codici CPV4 (Common Procurement Vocabulary) ad esso associati. L’approccio utilizzato si basa sull’utilizzo di un classificatore addestrato sui bandi di gara disponibili. 2. Open Information Extraction: mediante tecniche di Natural Language Processing e Information Retrieval, è possibile analizzare la documentazione relativa ad un bando e fornire al RUP supporto nel 3.2.1. Risoluzione dello Scenario ritrovamento ed analisi di tali dati.In particolare potranno essere rintracciati i documenti rilevanti In questo ambito di ricerca sono stati utilizzati i seguenti e loro porzioni di interesse per aiutare il RUP a re- dati: (1) gli open data ANAC, che raccolgono i dati sui cuperare e gestire più facilmente tali informazioni. contratti pubblici in Italia, (2) i dati forniti dal Registro Questa ricerca potrà essere efettuata sulla base Imprese5 il portale con i dati e i documenti uficiali della della terminologia comunemente utilizzata per Camera di Commercio, (3) le notizie di stampa ottenute indicare le informazioni relative alle quantità e da Google News e (4) le informazioni su eventuali conai costi delle forniture. Ad esempio: “Unità di tenziosi amministrativi reperibili sul portale Giustizia misura”, “Lotto”, “Pezzo”, “pz”, “Quantità”, “Q.tà”, Amministrativa6.
“Importi base d’asta”, etc. La soluzione proposta prevede di recuperare le 3. Semantic Search: un motore di ricerca in grado di informazioni riguardanti un’impresa oggetto di interesse, ricevere interrogazioni e restituire, sulla base di attingendo ad un portafoglio di dataset. Queste sono utili queste ultime, i documenti più rilevanti non solo a definire un profilo aziendale che permetta all’operatore sulla base di misure di co-occorrenza tra i termini impegnato nell’iter di un appalto di valutare la congruità che compaiono nella richiesta (query) e quelli pre- di un’azienda rispetto ad una possibile gara. Nel dettaglio senti all’interno dei documenti, ma anche sfrut- il caso d’uso proposto è stato risolto come sotto: tando la similarità semantica. Inoltre permette la creazione di riassunti in grado di condensare, con la granularità desiderata, le informazioni presenti all’interno di testi caratterizzati da dimensioni considerevoli.
Business Intelligence: sfruttando i dati storici
disponibili nel dataset ANAC sono state implementate delle
dashboard che, a partire dall’ingente mole di dati
disponibili, permettono di estrarre ed analizzare informazioni
sull’attività storica di un’azienda, nel settore degli appalti
pubblici. Inoltre, considerato quanto proposto in [
Prevalenza dei subappalti, Mercato concentrato, Struttura del mercato stabile.
Con gli stessi presupposti è stata anche implementata una dashboard che permette di ricavare informazioni attinenti un mercato che può essere definito, secondo diversi livelli di dettaglio, per luogo, data, settore commerciale (CPV) o stazione appaltante. Ciò consente il monitoraggio dell’attività delle stazioni appaltanti.
Parallelamente a questa soluzione, per arricchire il profilo informativo dell’azienda è stata realizzata una sezione del sistema che concentra in un’unica interfaccia i risultati ottenuti, interrogando diverse banche dati, ad esempio, mediante API REST: Registro Imprese e Google News. Per accedere ad un’ulteriore fonte di dati, individuata nel portale Giustizia Amministrativa, non essendo disponibile un’API, è stato necessario implementare un servizio di crawling che sfruttando l’interfaccia di ricerca disponibile sul sito, in forma automatizzata sottomette la query desiderata e ne restituisce i risultati ottenuti.
Il progetto di ricerca fin qui esposto si propone di investigare le possibilità oferte dalle tecnologie nel campo dell’intelligenza artificiale per ofrire agli attori impegnati nella gestione degli appalti pubblici una serie di strumenti utili ad agevolarne il lavoro sia nella fase di engagement che di assessment.
Il framework proposto è in grado di operare sia su dati strutturati che dati testuali con un’architettura modulare e scomposta in diversi Plug-Ins, ognuno dei quali si occupa di recuperare l’informazione da una specifica sorgente. Ciò permette di aggiungere in maniera più semplice nuove sorgenti o modificare quelle già esistenti. Allo stesso modo il modulo Tender Analyzer conserva la natura modulare al fine di poter sviluppare applicativi specifici ad ogni fonte di dati che si vuole utilizzare.
Questa capacità di aggiornamento ed espansione lascia aperta la possibilità di sviluppi ed aggiunte futuri, qualora la stazione appaltante proponga nuove esigenze e richieda funzionalità aggiuntive sia su dataset già utilizzati nonché su sorgenti di nuovo interesse. Le politiche di digitalizzazione sempre più incisive a livello centrale e periferico e la disponibilità crescente di dati in formato digitale aprono a scenari di utilizzo ed integrazione di strumenti per l’analisi e l’elaborazione assistita dall’Intelligenza Artificiale.