In questo documento sono presentati i temi di maggior rilievo ed interesse riguardanti gli aspetti di progettazione e realizzazione di una Piattaforma di Business Intelligence. Ne è riportata l'intera esperienza di progetto dalla definizione degli obiettivi di business con la scelta di utilizzare componenti open source per mantenere il costo totale il più contenuto possibile, alla formalizzazione dei requisiti ed infine all'implementazione avvalendosi di un team di sviluppo off-shore. Particolare attenzione è stata posta nell'organizzazione del team e alla comunicazione tra committente, analisti, project manager e sviluppatori implementando a tal proposito uno specifico meta-linguaggio per garantire l'integrità delle informazioni durante l'intero processo di analisi. Sono di seguito riportati il problema affrontato, i risultati raggiunti, le componenti innovative realizzate, le problematiche incontrate, lo stato dell'arte dei lavori nonché i possibili sviluppi futuri.
1 Il Problema
L'architettura delle infrastrutture digitali, sempre di più si basa su Internet
Attualmente l’attenzione si sta spostando sulle minacce alle infrastrutture critiche
Per rispondere in modo tempestivo ed affidabile si è progettata la Piattaforma avendo cura di includere tutti gli scenari di maggior interesse di business intelligence quali: security, web reputation, economic e travel security intelligence. Affinché possa essere ritenuta di ausilio, è necessario che la Piattaforma sia un sistema integrato di risorse sia proprietarie che open source e che tutto il processo possa essere monitorato e supervisionato dall’intelligenza umana. Lo strumento deve essere progettato per agevolare e risolvere i problemi dal punto di vista dell’analista.
L’architettura deve utilizzare tendenzialmente tecnologia open source e deve avere tutte le
componenti tecnologiche virtualizzate in modo da poter adottare il paradigma del cloud computing e
quindi essere scalabile rispondendo alla necessità di un impiego di un numero di risorse adeguato e
proporzionato alle esigenze operative
Comunicazione e modalità di interazione nel team di progetto I componenti del team di progetto hanno prevalentemente interagito da remoto mediante l’utilizzo di strumenti di comunicazione online. In Figura 1 sono rappresentare le relazioni di prossimità fisica dei vari componenti del gruppo impegnato nella realizzazione del progetto. Il team leader fornisce i requisiti di business; il project manager coordina il gruppo di lavoro locale composto essenzialmente da analisti e quello di sviluppatori off-shore mantenendo la responsabilità e la gestione dello stato di avanzamento dei lavori di progetto. Per gestire Figura 1 - Composizione del Team la collaborazione remota la scelta è stata di un ambiente collaborativo di tipo cloud che implementa un protocollo di comunicazione “ad hoc”, brevemente descritto qui nel seguito. Per prima cosa si è provveduto a formalizzare i requisiti di progetto sotto forma di “user story”. Una “user story” è una descrizione della singola funzionalità che l’utente finale (analista) si aspetta di poter utilizzare una volta che questa sia stata realizzata. Le “user story” sono state raggruppate in gruppi di operazioni attinenti come la form di ricerca per esempio oppure la visualizzazione dei risultati ottenuti da una ricerca. A ciascuna “user story” è stato dato uno specifico ID ed alcuni attributi descrittivi per poterla meglio qualificare e gestire più agevolmente. Inoltre sono stati aggiunti degli attributi specifici utilizzati dal team durante l’implementazione della stessa. Il primo di questi attributi è Validation utilizzato dagli analisti e project manager per dare indicazioni agli sviluppatori. Lo stato “todo” si riferisce ad una “User Story” in attesa di essere realizzata; Una è volta che questa sia stata implementata correttamente lo stato passa ad “OK”; quando invece non fosse corretta lo stato viene impostato a “KO”; lo stato “?” implica la necessità di rivedere la definizione da parte degli analisti per una sua migliore descrizione e/o formalizzazione. Il secondo attributo è
anch’esso utilizzato da analisti e project manager per indirizzare le attività di sviluppo in una direzione piuttosto che in un’altra. Gli Figura 2 - User Story attributi Analyst e
sono spazi per la comunicazione reciproca che creano un passaggio di informazioni utili e contestualizzate per permettere a ciascuno di portare avanti il proprio lavoro nelle rispettive prerogative. In Figura 2 è possibile vedere un estratto di una “User Story”. L’utilizzo della piattaforma cloud collaborativa mette a disposizione degli strumenti come i commenti firmati e dotati di timestamp e la funzionalità di versioning del documento in modo tale da garantire sicurezza e flessibilità al protocollo adottato. 3 Risultati raggiunti, problematiche e possibili sviluppi
La composizione ed organizzazione del team è stata fondamentale per la progettazione architettonica della piattaforma e la gestione della complessità nell'integrazione dei dati, garantendo la scalabilità del sistema. A tal proposito è stato studiato ed adottato un protocollo di comunicazione tra analisti e sviluppatori specifico per il processo di definizione delle informazioni rilevanti che devono essere
Figura 3 - Website Scraping Mapping estratte da una pagina web di un generico sito (forum, blog etc.). Questo processo parte dalle indicazioni che l’analista fornisce allo sviluppatore, per esempio quali informazioni sono rilevanti all’interno di una pagina ed a quali attributi esse afferiscono. Ci si riferisce a questo processo con il termine anglosassone “web scraping” quando è automatica. Il processo si conclude con la verifica a posteriori che quanto implementato dallo sviluppatore corrisponda effettivamente a quanto voluto dall'analista. Nella Figura 3 è possibile identificare la tecnica utilizzata per questo passaggio di conoscenza.
L'interfaccia è di tipo web
Il processo di analisi e gestione dell’informazione è stato scomposto nel dettaglio mostrando ciascuno dei passi significativi e necessari per il trattamento dell’informazione al fine di ottenere la Business Intelligence.
Nel diagramma di Figura 4 sono evidenziati gli elementi aggregati costituenti la “Base di Conoscenza” e le fonti informative complementari come le banche dati proprietarie.
La parte innovativa del progetto non è relativa ad una componente tecnologica quanto piuttosto alla parte di progettazione del processo di trattamento del dato partendo dalla sua fonte. Figura 4 - Gestione informazione: Analisi
E' stata realizzata una “mappatura” di tutti gli attributi necessari per eseguire operazioni di Business Intelligence rispetto aii dati provenienti da ciascuna fonte considerata in modo tale che in fase di memorizzazione delle informazioni venisse conservata e garantita la coerenza semantica tra campi analoghi provenienti da sorgenti diverse. Nella Figura 5 è possibile visualizzare tale risultato identificando nelle colonne le sorgenti analizzate. In ogni riga sono rappresentati gli attributi ritenuti necessari a rispondere agli obiettivi di business posti. In ogni cella corrispondente all’incrocio tra righe e colonne è riportata una “x” quando è possibile riscontrare la presenza di tale attributo, mentre è presente il valore “Null” quando questo non è disponibile.
Figura 5 - mappatura campi delle diverse fonti
Nonostante il requisito di scalabilità funzionale fosse previsto e quindi implementato nei moduli di ricerca della piattaforma IMP, per potersi adeguare velocemente alle repentine variazioni derivanti dall’ambiente OSINT è necessario confrontarsi costantemente con le imprevedibili variazioni delle sorgenti da cui attingono i rispettivi dati. Di fatto queste variazioni non sono controllabili. Ne segnaliamo due tipologie diverse in cui ci siamo imbattuti.
Laddove è stato possibile si sono utilizzate le API native messe a disposizione della singola fonte senza utilizzare alcun “workaround” per recuperare i dati in forma testuale e associare tali informazioni nel database in corrispondenza dei rispettivi attributi, tuttavia, le API, quando disponibili sono in costante evoluzione e/o manutenzione evolutiva e non di rado nell’arco di poco tempo bisogna riadattare parte del codice scritto per potersi riadeguare alle modifiche fatte dal fornitore/titolare della fonte stessa.
Per la grande maggioranza dei casi l’acquisizione dei dati avviene mediante la singola lettura e memorizzazione delle pagine Internet. L’utilizzo del “web scraping” è ancora più sensibile alla variazione della struttura della pagina e questa variazione in termini di frequenza è maggiore rispetto alle variazioni riscontrate nelle API. Infatti, basti pensare che anche semplici aggiornamenti di tipo grafico, come un cambio di layout, possono determinare la “rottura” del codice utilizzato per estrarre le informazioni di interesse determinando l’interruzione della funzionalità di acquisizione dati relativamente alla fonte in oggetto. Inoltre il passaggio di conoscenza realizzato utilizzando la tecnica in Figura 3 è indipendente dalla tecnologia utilizzata ed è sempre soggetto a dei compromessi che possono preludere a vere e proprie difficoltà.
Il processo di testing e verifica è essenziale e sostanziale nel garantire un pieno controllo della direzione degli avanzamenti del progetto. Questa attività deve necessariamente iniziare in corrispondenza del rilascio della prima versione e deve essere ripetuto dal principio ogni volta che una nuova versione viene rilasciata. Al fine di garantire la massima qualità, tutti i membri del gruppo (committente, analisti e project manager) sono coinvolti a vario titolo nella fase di testing e verifica. Criticità possono verificarsi in corrispondenza dell’aumento della velocità di rilascio delle nuove versioni in quanto questa fase impegna tutto il team a lunghe sessioni di lavoro che devono necessariamente essere coordinate. 3.2
La ricerca attualmente è fatta sulle notizie della stampa nazionale ed internazionale passando attraverso aggregatori consolidati che garantiscono un impareggiabile rapporto costo - prestazioni richiesto in progetti con scarsità di risorse economiche.
Il collegamento con le fonti di riferimento (Figura 6) garantisce la possibilità di accedere a circa 220.000 notizie nuove pubblicate ogni giorno in circa 70 lingue diverse su una selezione di circa 7.000 siti di quotidiani di stampa nazionali, locali ed internazionali. Altre fonti informative sono i social network ed i motori di ricerca. L’integrazione di queste informazioni con Twitter e YouTube permette di raccogliere e predisporre un numero di informazioni molto rilevante per poi effettuare la relativa fase di analisi. Gli sviluppi futuri sono numerosi e di varia natura. In prima istanza è necessario il completamento dei requisiti funzionali per coprire completamente gli scenari di utilizzo previsti della Piattaforma di Business IntelligenceIn ogni caso per poter utilizzare la piattaforma fuori da un contesto “prototipale” non è possibile prescindere dal fatto di adeguare la sua architettura rendendo disponibile la quantità di risorse hardware necessaria per garantire il suo funzionamento Figura 6 - Dati Pertinenti Analisi in sicurezza e con un adeguato livello di servizio. Inoltre potranno essere integrate sulla base di specifici requisisti altre tipologie di fonti dati su cui effettuare integrazioni ed ulteriori analisi. Infine, l’implementazione di un sistema valutazioni per le fonti e per le informazioni è un elemento necessario per l’aumento della qualità ed attendibilità delle informazioni rilasciate piattaforma stessa. Di seguito è illustrato il percorso che potrà essere visionato. Nel paragrafo “Funzionalità” sono elencate le principali caratteristiche disponibili nella dimostrazione, mentre nel paragrafo “Casi d’uso” sono illustrate le azioni ed i comportamenti attesi da parte del sistema. 4.1
Tramite l'interfaccia applicativa IMP è di tipo web Figura 7 – IMP menu
1.
Questo primo caso d’uso permette di apprezzare il risultato raggiunto e l’operatività della piattaforma. Il primo passo di risposta del processo di Intelligence prevede la pianificazione della ricerca delle informazioni. Per eseguirlo nella Piattaforma è possibile accedere nella prima sezione del menù attualmente indicata con il nome “Search Management”. l’aggregazione dei risultati di ricerca avviene mediante raggruppamenti in contenitori logici: i “Cluster” per definire il più alto livello di aggregazione; “DB” per impostare un livello intermedio; l’ultimo “Query” permette di impostare ed eseguire una query di ricerca. Per ciascuno dei contenitori logici è possibile esportare in forma aggregata tutti i risultati delle queries di ricerca in essi contenute. L’obiettivo principale dopo aver impostato il “contenitore logico” (Figura 8) all’interno del quale inserire i risultati è quello di eseguire una ricerca.
Figura 8 - Clusters, databases, queries e risultati Attualmente per una limitazione a livello grafico non è possibile visualizzare la medesima query in più contenitori logici, tuttavia a livello architettonico è stata opportunamente prevista una relazione molti-a-molti per poterlo fare in futuro.
Una volta compilata la form e confermata la ricerca mediante l’apposito pulsante di comando “Submit”, presente nella schermata “Query Form” il sistema prende in carico la richiesta ed a seconda dei parametri di ricerca imposta la query verrà eseguita immediatamente oppure verrà posta in stato di “Pending” sino a quando l’orario di esecuzione della stessa sarà sopraggiunto. In particolare è utile far notare che la ricerca su tutte le fonti connesse alla piattaforma è eseguita in parallelo rendendo il processo di ricerca estremamente più rapido ed efficiente.
La ricerca può essere impostata mediante una query form opportunamente strutturata e realizzata, (a tali riguardo vedasi Figura 9). Nella form è possibile specificare diverse impostazioni di ricerca. Per ogni ricerca effettuata è possibile accedere alla sezione di gestione dei risultati ottenuti chiamata appunto “Result Management”. Qui è possibile navigare in un opportuno sott’insieme di risultati per poterli consultare e/o poi vedere nel dettaglio. Vi sono immediatamente disponibili le principali informazioni che ne caratterizzano il singolo risultato con il riferimento al link della notizia orginale, noché la fonte stessa da cui la notizia è stata tratta.
3.
Per la gestione delle ricerche fatte vi è la sezione (Figura 10) “Query Management”.
Questa permette di gestire tutte le ricerche effettuate ed avere una rapida interazione tra le stesse mediante l’opportuno utilizzo dei filtri di ricerca con i quali poter ritrovare la Query di interesse.
Dalla schermata è possibile passare ai risultati della Query Figura 9 – IMP Query Form cliccando sul numero di risultati che la query ha generato. In corrispondenza di ogni singola query vi è la funzione “Esporta CSV” che permette la creazione automatica di un file CSV (Comma Separate Value) da utilizzare per effettuare il processo di analisi, utilizzando a sua volta lo strumento ritenuto più adeguato/preferito allo scopo. Figura 10 - IMP: Query Management 4.
Nella seconda sezione “Analysis Management” è possibile accedere allo strumento oggi disponibile per importare i risultati dell’analisi eseguita sui dati ottenuti dalle ricerche. Come già anticipato in precedenza i risultati delle ricerche sono esportati in un file dati in formato CSV. Una volta esportati i dati questi sono analizzati con un opportuno strumento (per esempio la suite Pentaho oppure gli applicativi Weka e R). Completato il processo di analisi è possibile eseguire l’operazione di importazione di tutti i records precedentemente esportati e poi analizzati ed aggiornati dalle operazioni del processo di analisi. Una volta terminato il processo di importazione sarà possibile visualizzare le informazioni utilizzando il modulo “Report Management”. Non essendo disponibile in fase di demo il modulo di analisi verrà simulato importando un file precedentemente opportunamente preparato.
La sezione di “Report Management” è quella nella quale è possibile vedere la visualizzazione dei dati ed è anche possibile la realizzazione di diverse dashboard interattive personalizzate. Le dashboards sono realizzate anch'esse partendo da un progetto Open Source Kibana i cui dettagli tecnologici sono facilmente reperibili sul sito di riferimento liberamente disponibile in Internet. I dati visualizzati sono presi direttamente dal motore di indicizzazione, che a sua volta, grazie alla componente di integrazione “Mongo Connector” li prende praticamente in real-time dal database IMP MongoDB.
Questa stretta integrazione tra database informativo dell’applicativo e cluster indicizzato permette il pieno sfruttamento dello strumento di reportistica visuale. Intanto è possibile avere una idea facendo riferimento allo screen-shoot riportato in Figura 11.
Nella figura sono state preventivamente predisposte due diverse dashboard ciascuna delle quali rappresentante una particolare vista di interesse dei dati. Ogni dashboard permette all'utente di poter visualizzare determinati parametri di interesse, variare a proprio piacimento i valori dell'intervallo analizzato. L’interazione diretta tra analista e dati mediante la visualizzazione di opportuni grafici permette allo stesso di poter individuare eventi significativi e/o di interesse. Pre-impostando opportunamente le viste e le metriche presenti dashboard riassuntive è possibile in ogni istante avere un immediato riscontro visuale delle ricerche effettuate con il modulo di “Search Management”.
Figura 11 - IMP Report Management