Digitalizzare la storia aziendale è un passo essenziale per creare valore dal proprio passato, oggi è possibile farlo in modo rapido ed efficace grazie alle tecnologie di digitalizzazione e agli algoritmi di intelligenza artificiale.
DIGITALIZZARE L'ARCHIVIO D'IMPRESA
Quando si pensa ad un l’archivio si immagina un luogo polveroso in cui è difficile comprenderne il valore e fruire dei contenuti se non si è degli addetti ai lavori. Nella maggioranza dei casi invece celano un bene che è possibile trasformare in un valore per l’azienda di informazioni difficilmente raggiungibile e di conseguenza poco consultabile.
Proprio l’impossibilità di raggiungere questi contenuti nascosti contrasta con le aspettative di ognuno di noi che quotidianamente porta con sé uno smartphone, quindi ha l’accesso alla rete e con essa molteplici app per il proprio lavoro, lo svago ed il tempo libero. È in dubbio che i nostri stili di vita sono cambiati, pensiamo ai social strumento essenziale di comunicazione aziendale, oppure la tematica emergente dell’IOT e alla straordinaria possibilità di collegarsi a tutto e a tutti.
È evidente da tempo che questa trasformazione sociale e tecnologica porta ad una considerazione generale sulle opportunità offerte da questa innovazione, per esempio l’informazione coi quotidiani online, i portali di commercio elettronico, la formazione, le strategie ed il marketing aziendale che a ragion veduta presidia la rete considerando i nuovi media gli strumenti principali per la comunicazione interna ed esterna.
Creare quindi una sorta di big data del passato, a partire dai documenti dell’azienda, che vada ad arricchire l’universo dei contenuti internet.
La conferma di tutto ciò è l’esplosione dei contenuti Internet, un fenomeno che arricchisce e crea moltissime opportunità ma che allo stesso tempo offusca i pochi contenuti della storia passata. Questo perché la rete è affollata di contenuti e notizie recenti che riguardano gli ultimi 25-30 anni mentre del passato emergono solo i fatti noti, importanti, quelli per cui il futuro digitale è iniziato prima.
Questo fenomeno è rappresentato dal grafico sulla tendenza dell’incremento dei contenuti in internet (fig.1), osservandolo è evidente che la quantità di informazioni relative al passato ha un incremento è lineare con una bassa tendenza di crescita fino agli anni 2000, da qui in poi la curva diventa esponenziale. Questo è dovuto al fatto che i dati nativi digitali sono immediatamente disponibili e che strumenti come gli smartphone ed il cloud semplificano l’accesso a questi dati.
Come è possibile quindi far sì che anche il passato sia degnamente rappresentato? Nel grafico in figura 2, detto information Mushroom, viene simulato l’effetto della digitalizzazione dei contenuti “nascosti” negli archivi. Infatti si può notare nella parte sinistra che il grafico di prima (fig. 1) è stato ribaltato e specchiato per dare l’idea di questo fungo dal gambo stretto e dalla testa molto larga. A destra invece viene proposta una nuova forma a calice che rende la base più larga per effetto della digitalizzazione dei documenti passati.
TECNOLOGIE
All’interno di questo contesto per colmare questo gap ”produttivo” è necessario prima di tutto superare il deficit tecnologico e organizzativo dei processi tradizionali che portano alla digitalizzazione di archivi storici.
La convinzione è che attraverso una riorganizzazione dei processi unitamente all’impiego di tecnologie innovative si possa apportare un significativo cambiamento nel panorama della digitalizzazione e in particolare gli archivi d’impresa.
Per superare l’ostacolo che per anni ha impedito un vero sviluppo di processi per la digitalizzazione di massa, il problema principale è aumentare l’efficienza di questi processi, che si rifanno a modelli organizzativi e tecnologie tradizionali, lontani da processi standardizzati, molto artigianali con livelli di produttività bassi, mediamente di elevata qualità ma con scarsa attenzione all’innovazione tecnologica.
L’innovazione tecnologica nei processi è proprio il punto di svolta e passa attraverso il trasferimento di tecnologie abilitanti “nuove”.
Al giorno d’oggi l’evoluzione degli strumenti e degli algoritmi AI è tale per cui è indispensabile che questa tecnologia permei anche ambiti come quello della digitalizzazione di archivi d’impresa.
Partendo dalle considerazioni fin qui espresse, è necessario essere dotati di tecnologie avanzate, aggiornate e standard, di un sistema gestionale dei processi di digitalizzazione realizzato di componenti hardware e software, integrati tra loro per assolvere alle necessità di un centro di digitalizzazione e che sintetizziamo come segue:
- organizzative, gestione progetti e attività
- applicative, per gli scanner
- processo, per il trattamento immagini
- descrittive, estrazione contenuti testuali dalle immagini (OCR - HTR)
- gestionali, creazione e gestione dei metadati
- conservative, sistema informativo, database e storage dati
- comunicative, pubblicazione contenuti
- collaborative, interoperabilità dei dati (LOD)
Una sorta di black box il cui cuore è il software che costituisce il motore di vari processi di digitalizzazione che vanno dalla gestione dei progetti, alla gestione delle produzione delle immagini e dei contenuti digitalizzati fino allo storage e pubblicazione dei dati.
In essa infatti sono tra loro collegate una serie di applicazioni differenti, appositamente sviluppate, che agevolano in modo sistematico la digitalizzazione delle diverse tipologie di oggetti (es, libri, foto, quadri, ecc.).
ALGORITMI INTELLIGENZA ARTIFICIALE
Le applicazioni che abbiamo sviluppato sfruttano piattaforme di intelligenza artificiale quali Google Vision per l’estrazione di metadati e librerie open source quali ad esempio OpenCV per il processo di post produzione delle immagini.
La post produzione di immagini è quell'operazione necessaria di generazione di immagini derivate che siano per dimensione e formato agevolmente fruibili via internet, a partire da file master in alta definizione prodotti dagli scanner.
Questi file master, terminata la fase di postproduzione potranno essere archiviati in sistemi di storage per la conservazione a lungo termine.
Il processo quindi di generazione di queste immagini fruibili è articolato e avviene solitamente compiendo i seguenti passi:
- Conversione formato da nativo a jpeg a massima qualità
- Rimozione palette colore
- Correzione della geometria (inclinazione)
- Estrazione del documento, segmentazione
- Correzione colore
- Calibrazione luminosità
- Correzione fattore di scala
- Misurazione
Eseguire queste operazioni su una quantità elevata di immagini nella pratica normale implica dedicare molte persone risultando dispendiose in termini di ore di lavoro/uomo.
Per ovviare a questo problema, il progetto ha sviluppato una suite di applicazioni WEB based, di facile utilizzo, dedicate alla post produzione automatica di immagini da scanner.
Sintetizziamo le principali funzioni:
Post processing grafico
Eseguendo in automatico operazioni quali: conversione formato, rotazione, ritaglio e calibrazione luminosità.
Questo permette di ridurre drasticamente i tempi di produzione, 10.000 immagini hanno richiedono il lavoro di una persona per 15-20 giorni lavorativi mentre con questo strumento automatico ci vogliono circa 35 ore di calcolo della macchina con un'affidabilità del 98% circa.
Estrazione testo
Ottenuto dai documenti digitalizzati tramite segmentazione e OCR (Optical Character Recognition) massivo.
Questa procedura permette di arricchire sul fronte delle metadatazione le immagini che vengono elaborate.
Strutturazione di documenti digitalizzati
Disposizione automatica dei file presenti in singola directory lineare in cartelle e sottocartelle su file system che rispecchi la struttura archivistica tramite utilizzo di QRCode generati dalla piattaforma di catalogazione.
Misurazione dei documenti automatizzata
Calcolo automatico della geometria dei documenti tramite l'utilizzo di algoritmi di Computer Vision.
LA PUBBLICAZIONE DEI CONTENUTI
Una parte importante nel processo di digitalizzazione degli archivi, e di tutti quei materiali che costituiscono il patrimonio storico aziendale, la ricoprono le piattaforme software di pubblicazione on line e prima ancora quelle di catalogazione. Back-end e Front-end sono due categorie di applicazioni software familiari a chi si occupa di questa materia ma le parole stesse rendono comprensibile il loro significato. Il primo consiste di un database dei contenuti digitalizzati ed è profilabile in modo tale da renderlo accessibile solamente al personale autorizzato, questo ospiterà e definirà le descrizioni dei materiali contenuti e le loro modalità di pubblicazione. In questo modo anche i contenuti riservati potranno essere catalogati ma potranno essere anche definite le politiche di accesso ai dati in modo selettivo. Altri contenuti invece potranno essere resi pubblici nel senso più ampio grazie alla seconda categoria, le applicazioni di Front End o OPAC (On-line public access catalogue). A questi software è spesso demandata anche la gestione del delicato tema della tutela dei diritti d’autore e della riservatezza dei contenuti.
LA PIATTAFORMA OPEN SOURCE XDAMS
L’esperienza di xDams
La piattaforma archivistica web-based xDams prende forma tra il 2002 e il 2004 in collaborazione con l’Archivio di Stato di Napoli nell’ambito del programma europeo Ten Telecom il progetto “Digital Archives & Memory Storage”: con l’obiettivo di rispondere ai mutamenti della domanda tecnologica la società orienta scelte ed investimenti alla comunicazione sul web di contenuti e archivi multimediali.
La scelta di XML come formato di conservazione delle informazioni (massima flessibilità della struttura dati), l’adozione di tecnologie open source, l’utilizzo di Internet per l’erogazione dei servizi in modalità Application Service Model fanno di xDams uno strumento di lavoro collaborativo, aperto, conforme agli standard del web 2.0, studiato per il trattamento, la gestione e la comunicazione on-line di archivi storici e multimediali, di patrimoni culturali di piccole e grandi dimensioni.
xDams viene scelto, fra gli altri, da Accademia Nazionale di Santa Cecilia, Istituto Luce, Camera dei deputati, Istituto per i Beni culturali della Regione Emilia-Romagna.
Grazie ad una struttura produttiva composta da ricercatori, archivisti, analisti e programmatori, esperti multimediali, l’esperienza di xDams si è consolidata nello sviluppo di progetti fortemente innovativi. In più di 12 anni di ricerca e sviluppo Regesta.exe ha consolidato la propria piattaforma xDams. All’inizio del 2012 Regesta.exe ha rilasciato in modalità Open Source tutto il codice sorgente e il software, con una scelta definitiva ed irrevocabile.
La scelta Open Source ha quindi come obiettivo quello di favorire l’utilizzo della piattaforma, anche in forma completamente gratuita, e trasformare il rapporto tra Regesta.exe e i suoi clienti in un percorso collettivo e collaborativo, estendendo a nuovi utenti la partecipazione ad una comunità scientifica e tecnologica che possa ulteriormente far crescere e migliorare xDams. Sempre dal 2012 Regesta eroga anche un servizio cloud gratuito per piccoli archivi, da quell’esperienza nasce nel 2016 la piattaforma The Archives Cloud (www.thearchivescloud.com)
Descrizione generale
Nel corso della sua evoluzione xDams Open Source (www.xdams.org) si è sviluppato, con funzione di HUB archivistico, documentale e multimediale in grado di fornire quelle garanzie in termini di aderenza agli standard di settore e che costituisca la piattaforma “base”, in termini di omogeneità di strutture dati e modelli standard, per successive possibili attività di ingestion di banche dati e fondi fotografici e archivistici al momento non previsti.
La piattaforma archivistica xDams è in grado gestire nello stesso ambiente diversi account e utenti, con specifici permessi di accesso e interazione su diverse basi dati specializzate anche di tipologie differenti, integrabili attraverso indici comuni (authority) che definiscono temi, persone, enti e luoghi. E’ possibile effettuare la ricerca multiarchivio sia libera che strutturata sui singoli elementi descrittivi delle diverse schede, nonché la navigazione gerarchica di ogni singolo archivio.
In sintesi si tratta di un sistema:
· multiutente, in grado di offrire un accesso differenziato all’utenza, prevedendo privilegi di accesso, utilizzazione di servizi e funzionalità diversi
· multiarchivio, in grado di gestire in modo integrato risorse documentarie e allegati digitali multimedial
· multimediale che, oltre a offrire la descrizione di documenti d’archivio, consente di associare a essi, o di ordinare autonomamente, altre tipologie di documenti, come immagini fotografiche, documenti audiovisivi, file musicali.
La piattaforma xDams Open Source consente una gestione documentale su tecnologia XML, interamente web-based, rivolta al mondo dei beni culturali che permette di conservare, organizzare, condividere e valorizzare il proprio patrimonio archivistico.
La tecnologia XML garantisce interoperabilità e condivisione delle risorse: le basi dati realizzate con la piattaforma sono indipendenti da specifiche soluzioni applicative e consentono la piena e immediata disponibilità dei dati per l’esportazione, o l’importazione di database realizzati con altri sistemi informativi.
xDams adotta software OpenSource come JAVA J2EE quali ambiente di sviluppo che ne garantiscono una diffusione multipiattaforma lato client e lato server.
La piattaforma xDams si configura come un vero e proprio ambiente di sviluppo per la realizzazione di applicazioni di archiviazione e consultazione di banche dati multimediali, e non solo come applicativo “user oriented” immediatamente operativo
Il cuore del sistema xDams OSS consiste in una serie di diversi sottosistemi di archivio/database disponibili sulla piattaforma (archivio storico, fotografico, pubblicazioni, authority files). La web application è interamente scritta in ambiente Java2EE secondo il modello MVC utilizzando il framework open source “Spring”. L’ambiente applicativo può essere attestato su un qualsiasi Java Servlet container multipiattaforma (come Apache Tomcat o Jboss). La nuova versione della piattaforma utilizza il motore Big Data open source MongoDb (https://www.mongodb.com/it ) per garantire la persistenza dei dati e Apache Solr (http://lucene.apache.org/solr/), la più diffusa piattaforma open source per la gestione dell’indicizzazione e della ricerca, basata su Apache Lucene.
La caratteristica di intelligibilità dei dati, resi disponibili in un formato XML indipendente da qualsiasi ambiente hardware e software di utilizzo, garantisce l’interoperabilità e la portabilità interpiattaforma delle informazioni, aumentandone, nello stesso tempo, le potenzialità di accesso. Le banche dati in formato XML, potranno essere facilmente indicizzate all’interno di diversi sistemi software per consentirne il trattamento, la gestione e la fruizione verso una pluralità di canali di distribuzione.
Sulla base di queste considerazioni, tali banche dati possono essere dunque facilmente interpretabili da sistemi nazionali come CulturaItalia, il portale di accesso al patrimonio digitalizzato italiano realizzato dal Ministero per i Beni e le Attività Culturali, con Europeana, la biblioteca digitale europea e con il SAN, Sistema archivistico nazionale.
L’architettura dei dati, gli standard descrittivi
Nella versione xDams Open Source Edition, vengono resi disponibili i seguenti moduli:
a. Archivi storici. La gestione di archivi storici segue le regole della descrizione multilivello e si articola nelle diverse aree informative previste dalla norme ISAD(G).
b. Archivi fotografici. L’applicativo xDams gestisce singole immagini o appartenenti a collezioni fotografiche e permette di trattare le varie tipologie di supporto fisico (foto, immagine, dagherrotipo, foto digitale, etc). La catalogazione dell’immagine può essere realizzata in un contesto gerarchico sulla base dello standard definito dall’ICCD per la scheda F.
c. Archivi audiovisivi per materiali editi/inediti. La sezione dell’applicativo dedicata alla catalogazione dei materiali audiovisivi, consente la descrizione dettagliata del documento filmico, fornendo al catalogatore aree specifiche di trattamento dei dati identificativi secondo le norme FIAF, quali quelle di accesso al contenuto o quelle dedicate alla descrizione fisica di ciascuna copia conservata.
d. Collezioni di oggetti e opere d’arte. Il modulo opere d’arte recepisce gli standard della scheda Opere d’arte (OA) dell’ICCD; in collaborazione con il Pratt Institute di New York è stato successivamente implementato per la descrizione di oggetti museali lo standard LIDO (standard ICOM, integrato con il modello concettuale di riferimento CIDOC‐CRM) che permette di creare un archivio digitale di oggetti descritti in quanto prodotti finali dotati di peculiari caratteristiche tecnico‐materiali spesso connessi a eventi antecedenti (es. progettazione, creazione, realizzazione) e successivi (es. movimentazioni, esposizioni, utilizzi) ad essi.
e. Bibliografia e pubblicazioni. (MODS – italiano): Il modulo prevede la codifica XML dei dati secondo il modello MODS (Metadata Object Description Schema) standard per la descrizione di risorse bibliografiche basato su XML sviluppato dalla Library of Congress.
Gli Authority files
Si tratta di specifiche banche dati descrittive, a cui viene delegato il compito di rendere disponibili all’intero sistema le forme autorizzate e le informazioni descrittive degli elementi comuni a tutti gli archivi; sono codificati sulla base dello Schema XML EAC‐CPF, modello dati compatibile con ISAAR, per la codifica elettronica in formato XML dei record di autorità archivistici. Assicurano la normalizzazione/standardizzazione dei dati inseriti a seconda delle tipologie di campi informativi oltre a fornire notizie descrittive e di contesto per singoli elementi, nomi di persona, di luogo, enti, e altro.
Modelli di codifica XML
EAD – Encoded Arcival Description
Standard internazionale, elaborato sotto forma di schema XML, per la codifica di strumenti archivistici.
EAC-CPF – Encoded Archival Context
Standard internazionale (schema XML), per la codifica di authority records archivistici relative a enti, persone e famiglie.
EAC-CPF Ontology
Ontologia RDF dello standard EAC-CPF, realizzata da Regesta.exe ed approvata dal W3C e pubblicata.
MODS – Metadata Object Description Standard
È uno schema XML utilizzato per descrivere una varietà di risorse specialmente di tipo bibliografico.
MAG – Metadati Amministrativi e Gestionali
È uno standard nazionale elaborato dall’ICCU che ha l’obiettivo di dare delle specifiche formali per la fase di raccolta e di trasferimento dei metadati e dei dati digitali nei rispettivi archivi.
METS – Metadata Encoding and Transmission Standard
Schema standard XML internazionale della Library of Congress che codifica i metadati amministrativi, descrittivi e strutturali degli oggetti collegati ad una digital library.
LIDO – Lightweight Information Describing Objects
È uno standard internazionale dotato di quei campi necessari e sufficienti a individuare (identificare, descrivere, contestualizzare) un bene in contesto digitale, come risorsa e come collettore di altre risorse. LIDO permette di creare un archivio digitale di oggetti descritti in quanto prodotti finali dotati di precise caratteristiche tecnico-materiali ma anche connessi a eventi precedenti (progettazione, creazione, realizzazione) e successivi (esposizione, utilizzo, movimentazione, ecc.) ad essi.
Interoperability Modules
xDams dispone di canali di colloquio con il sistema nazionale, in particolare per l’Istituto dei Beni Culturali Emilia Romagna (IBC), è stato realizzato un sistema di harvesting attraverso il protocollo OAI-PMH, che consente l’esportazione per il SAN delle quattro tipologie: Soggetti Produttori, Soggetti Conservatori, Strumenti di ricerca e complessi archivistici. Per l’Archivio di Stato di Perugia, le banche dati proveniente dal progetto IMAGO: catasti, corali, statuti e pergamene e le riproduzioni digitali sono state rese disponibili attraverso lo standard METS-SAN sul Portale archivistico nazionale.
Per l’Archivio di Stato di Prato, la banca dati del fondo del mercante Francesco di Marco Datini: corrispondenza, lettere di cambio, libri contabili.
Il modulo si occupa dell’estrazione dei dati archivistici relativi ai Fondi caricati sulla piattaforma xDams open source e alle risorse digitali collegate che dovranno confluire nel Sistema Archivistico Nazionale.
Il metodo di alimentazione messo a punto dal portale è rappresentato dall'attività di harvesting dei metadati messi a disposizione da questa piattaforma, attraverso un repository XML accessibile attraverso il protocollo OAI-PMH. Lo schema è definito nel 'Documento di sintesi del Portale' e nelle 'Linee guida per lo sviluppo di sistemi informatici interoperabili con CulturaItalia'.
In estrema sintesi il modulo di interoperabilità OAI-PMH consente di:
- esporre su un server di accesso banche dati, l'elenco dei set informativi disponibili; Un set rappresenta un modo in cui raggruppare più metadati, come ad esempio un fondo di un archivio, o un intero archivio
- consentire al PmhHarvester di prelevare i metadati descrittivi di ogni singolo set;
- presentare la scheda descrittiva di ogni oggetto presente nei set disponibili, con l'indicazione completa e univoca della fonte di riferimento;
- consentire la proiezione dal portale al relativo indirizzo (URI) per accedere alla risorsa digitale in oggetto.
Il modulo, attraverso il protocollo OAI-PMH si compone delle seguenti componenti:
- mapping delle strutture dati utilizzate all'interno del sistema informativo ed il PICO application profile (PICOAP) predisposto dal PmhHarverster, definizione dei set da esporre a livello di OAI-PMH;
- definizione e realizzazione delle procedure di trasformazione dei data source di partenza in campi del PICOAP;
- realizzazione di un componente Adapter, per la trasformazione dei dati dal formato nativo al formato di destinazione in maniera asincrona rispetto all'invocazione dei comandi previsti dal protocollo OAI-PMH; scelta e configurazione del componente OAI-PMH DataProvider tra i software open source già disponibili; integrazione di Adapter e DataProvider;
- OAI-PMH DataProvider, per il quale è stato scelto tra i software open source già disponibili il prodotto OAICAT Il progetto open source OAICat è costituito da una servlet Java che fornisce un framework per la costruzione di un repository conforme all' “Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH) v2.0.
Per favorire l’interscambio dati tra sistemi archivistici l’ICAR ha pubblicato un documento su “Interoperabilità fra sistemi archivistici: tracciati EAD3, EAC-CPF SCONS2” (http://www.icar.beniculturali.it/index.php?id=338). Il documento contiene “un pacchetto integrato di formati di scambio in linguaggio xml”. Questi tracciati, come si legge nell’introduzione “sono stati concepiti come un pacchetto integrato di formati di scambio con lo scopo di permettere un elevato livello di interoperabilità fra i principali applicativi e sistemi di descrizione archivistica sviluppati nel nostro Paese e consentire perciò l’esportazione e l’importazione dei dati da e verso tali software e sistemi”. I tracciati esposti sono già ora supportati dalla piattaforma xDams.
LA DIGITAL LIBRARY DI XDAMS
Riferimenti
L’evoluzione tecnologica ha fatto sì che negli ultimi anni si sia assistito a una rivoluzione in ambito documentario, che ha portato alla diffusione di oggetti digitali e delle conseguenti sfide sulla loro conservazione. Oggi infatti quello della conservazione è un tema ampiamente trattato e analizzato, caratterizzato però ancora da incertezza rispetto alle strategie e ai metodi da applicare. L’ambiente digitale è molto più sensibile di quello cartaceo, e più difficoltosa risulta essere la conservazione, oltre che dell’oggetto, anche del suo contesto di riferimento, cioè del sistema di relazioni nel quale l’oggetto è inserito.
Gli oggetti digitali sono caratterizzati da un’estrema instabilità, causata principalmente dalle problematiche legate all’obsolescenza dei supporti di memorizzazione, dei formati elettronici e delle componenti hardware e software. Al fine di contrastare l’obsolescenza dei formati, sono stati creati e diffusi dei registri di formati da parte di istituzioni quali la Library of Congress e i National Archives of UK, che forniscono indicazioni sui formati consigliati o meno per la conservazione. Inoltre, è bene ricordare che non si conservano materiali digitali ma solamente la capacità di riprodurli: garantire l’accessibilità nel tempo implica quindi la necessità di sottoporre l’oggetto a migrazioni per contrastare i rischi legati all’obsolescenza tecnologica.
Il modello OAIS (Open Archival Information System ‐ ISO 1472) riveste una particolare rilevanza nell’ambito della digital preservation perché si pone come base concettuale per fornire un quadro di riferimento sulla conservazione, individuando i concetti, le azioni e le funzioni fondamentali da intraprendere. OAIS quindi è lo standard di riferimento per la conservazione di oggetti digitali e si occupa dell’organizzazione dei dati all’interno di un sistema archivistico, con la finalità di conservare gli oggetti stessi in modo da renderli comprensibili in maniera autonoma. Un OAIS è una struttura organizzata di dati, un archivio persone e sistemi, in grado di definire la responsabilità di conservare informazioni e di renderle fruibili in rete, attraverso formati standard e un set di metadati disponibili in XML.
Definizioni
- Oggetto digitale: informazione in formato digitale, costituita da uno o più file correlati.
- File: sequenza di bit considerati come un’entità unica dal punto di vista logico, che necessita di essere interpretata per poter veicolare informazione (cioè il contenuto e la sua forma di rappresentazione, il formato).
- Comunità di riferimento: gruppo ben individuato di potenziali utenti che dovrebbero essere in grado di comprendere l’informazione conservata.
- Lungo termine: è un lasso di tempo sufficientemente ampio da essere interessato dall’impatto dei cambiamenti tecnologici o dai cambiamenti della comunità di utenti.
- Conservazione a lungo termine: è l’azione di mantenimento delle informazioni nel lungo termine in una forma comprensibile in maniera autonoma da una comunità di riferimento insieme con le evidenze a supporto della loro autenticità.
- Autenticità: è il grado con cui una persona o un sistema considerano un oggetto per quello che suppone di essere.
- Pacchetto informativo: è un contenitore logico composto dal Contenuto informativo e dalle relative Informazioni sulla conservazione. Al Pacchetto informativo sono associate le Informazioni sull’impacchettamento, utilizzate per delimitare e identificare il Contenuto informativo e la Descrizione del pacchetto, utilizzate per facilitare la ricerca del Contenuto informativo. I pacchetti informativi si distinguono in SIP (Submission information package o pacchetto di versamento), AIP (Archival information package o pacchetto di archiviazione), DIP (Dissemination information package o pacchetto di distribuzione).
Standard
Per le esigenze di una gestione a lungo termine della documentazione digitale si fa riferimento ai seguenti standard di metadatazione:
Unimarc: formato standard promosso dall’IFLA per favorire la circolazione dei dati, per condividerli, scambiarli o derivarli in ambito bibliografico (descrizione bibliografica, registrazioni di autorità, singolo esemplare); un formato comune che permetta a vari software gestionali di importarli.
MODS: Metadata Object Description Schema, standard per la descrizione di risorse bibliografiche basato su XML sviluppato dalla Library of Congress.
Dublin Core: standard ISO di carattere molto generale che individua 15 elementi per la descrizione degli oggetti digitali. È stato ideato per essere utilizzato nei più svariati casi possibili, senza caratterizzazioni peculiari in senso catalografico o archivistico nell’intendo di favorire la ricerca, l’identificazione e il recupero degli oggetti digitali.
PREMIS (Preservation metadata: implementation strategies): standard internazionale, mantenuto dalla Library of Congress. Supporta la sintassi XML. Lo scopo dello standard è la produzione di metadati utili a supporto dei corretti processi di conservazione e usabilità degli oggetti digitali a lungo termine. Lo standard quindi fa chiaramente riferimento ai metadati prodotti a partire dal momento del deposito degli oggetti digitali al sistema di conservazione.
L’integrazione con lo standard IIIF
La soluzione che è stata integrata nella piattaforma xDams si basa sull’adozione di strumenti di ultima generazione compatibili con lo standard IIIF. International Image Interoperability Framework (https://iiif.io/), promosso dalla Stanford University e ora sostenuto da un IIIF Consortium, per la gestione, pubblicazione e condivisione delle immagini su Web, e utilizzato nel grande progetto di digitalizzazione della Biblioteca Vaticana (https://digi.vatlib.it/) e dal consorzio europeo che promuove il progetto Time Machine FET Flagship (https://timemachine.eu/). Lo standard IIIF espone una serie di API che forniscono metodi standardizzati di descrizione, distribuzione e accesso delle immagini sul web, fornendo tutte le funzioni necessarie di ridimensionamento, cropping, sharing, watermark, ecc., con l’obiettivo di definire un insieme di interfacce di programmazione di applicazioni comuni che supportano l'interoperabilità tra i repository di immagini, per garantire un accesso uniforme e ricco di risorse basate sulle immagini ospitate in tutto il mondo.
L’adozione allo standard comporta le seguenti condizioni:
- adeguamento alle specifiche di raccolta informazioni e metadati per la produzione dei manifest-json delle singole immagini per garantirne l’interoperabilità;
- adozione di un server compatibile IIIF, che garantisca il pieno supporto delle API previste dallo standard: tra le soluzioni elencate sulla pagina ufficiale del IIIF Consortium (https://iiif.io/apps-demos/), come già detto in premessa ci siamo indirizzati all’uso di Cantaloupe (https://medusa-project.github.io/cantaloupe/) un Image Server Open Source;
- utilizzo di un visualizzatore compatibile IIIF, Mirador (https://github.com/ProjectMirador/mirador), un open source image, Javascript and HTML5 viewer, in grado di erogare immagini ad altissima risoluzione e pienamente compatibile IIIF.
Un manifest-json include le informazioni descrittive, i diritti e le informazioni di collegamento per l'oggetto (ad esempio: descrizione, diritti, provenienza, dimensioni, mime-file, ecc.), nonché la sequenza (o le sequenze) di immagini che dovrebbero essere rese all'utente.
Ogni manifest è compreso in una collection.
La soluzione applicativa
Per garantire una gestione efficiente degli allegati digitali all’interno del sistema informativo archivistico prevediamo di realizzare una interfaccia applicativa digital library, conforme allo standard IIIF, in grado di offrire autonomi servizi di ingestion, conservazione e dissemination. La digital library è sviluppata su uno strato software costituito da componenti Open Source:
- MongoDB e SolR per la persistenza e l’accesso ai dati
- Cantaloupe IIIF Server per la gestione e la fruizione degli allegati.
La gestione degli allegati richiede di operare su diversi piani progettuali:
- condivisione degli standard e delle linee guide tecniche per le attività di acquisizione digitale
- definizione del workflow operativo e delle modalità di ingestion per l’alimentazione della Digital Library
- predisposizione delle modalità per la conservazione a lunga durata degli allegati prodotti nel lavoro di digitalizzazione e associati alle schede bibliografiche
IIIF (INTERNATIONAL IMAGE INTEROPERABILITY FRAMEWORK™)
Il IIIF è uno standard per la gestione delle immagini, un ecosistema di procedure e protocolli, sviluppato e mantenuto da una community internazionale in continua crescita, che, attraverso un set di API (Application Programming Interface) standard, garantisce una modalità di descrizione uniforme, la pubblicazione e quindi la fruizione delle immagini attraverso il web. Queste API, con le loro funzionalità, assolvono ad una grande casistica d’uso, ad esempio la visualizzazione, la condivisione, l’annotazione testuale, la regolazione contrasto/colore e costituiscono il linguaggio informatico in grado di garantire l’interoperabilità tra le collezioni di dati e le singole immagini gestite nei vari repository, consentendo lo sviluppo di strumenti in grado di garantire un’esperienza di alto livello per quanto nella visualizzazione, la comparazione, la regolazione e l’annotazione delle immagini.
Il server IIIF
Come precedentemente detto la tecnologia IIIF è un ecosistema che comprende anche un server IIIF la cui funzione è legante delle varie componenti. Esso permette di aderire perfettamente agli standard di interscambio di immagini nel web, le edizioni di sistemi server IIIF sono molte, alcune totalmente open‐source alcune comprendono il set esteso delle librerie componenti previste dallo standard IIIF. Il server IIIF utilizza un manifest in formato JSON (JavaScript Object Notation) che può contenere:
- collegamenti a tutte le risorse che compongono la risorsa digitale, tipicamente immagini fornite poi da un IIIF image server;
- indicazione di eventuale struttura a sezioni del documento;
- metadati;
- annotazioni.
Questo manifesto IIIF di solito rappresenta un oggetto fisico come un libro o un'opera d'arte ma è flessibile a sufficienza per essere applicato in altri scenari ed è ciò che viene utilizzato dai visualizzatori IIIF per presentare su web l’oggetto digitale.
I visualizzatori IIIF
L’ecosistema IIIF si completa appunto attraverso all’impiego di visualizzatori web di immagini in alta risoluzione che permettono in tempi rapidissimi la consultazione delle stesse, l’accesso ai relativi metadati e la creazione e ricerca di annotazioni.
I più diffusi sono:
- Universal viewer
- Mirador
entrambi in grado di assolvere alle funzioni sopra indicate fornendo loro un collegamento al manifest JSON.
