Ottenere insight da fonti di dati eterogenee e disperse, riducendo le complessità ed evitando colli di bottiglia? Questa è, probabilmente, una domanda che molte aziende si pongono, in un’epoca in cui si continua a ripetere che i dati sono “il nuovo petrolio” e in cui le tecnologie necessarie a trarre valore da questa “materia prima” già esistono. Ma non sempre è facile capire quali tecnologie usare, e come usarle. Con il data mesh si possono risolvere alcune sfide legate alla complessità di gestione e ai colli di bottiglia delle attività di raccolta e analisi dei dati, come ci spiega Ken Collier, head of data science & engineering di Thoughtworks. Fondata a Chicago nel 1993, la società si occupa di sviluppo e commercializzazione di software per l’innovazione digitale delle aziende.
Ken Collier, head of data science & engineering di Thoughtworks
Cloud. Lake. Warehouse. Che cos’hanno in comune? L’essere piattaforme dati centralizzate. Tutte condividono lo stesso scopo: riunire enormi quantità di dati, convertendoli in insight di valore. Ma tutte finiscono anche per essere punti centralizzati di aggregazione e in quanto tali diventano colli di bottiglia per le organizzazioni. L'idea iniziale era quella di costruire architetture a supporto dei moderni processi di business intelligence e business analytics, rimuovendo i limiti alle modalità con cui si possono interrogare i dati. Raccogliendo una quantità sempre maggiore di informazioni su clienti, mercati e operazioni in un punto centrale si contava di facilitare le possibilità di analizzare i dati per estrarne preziosi insight. In svariate occasioni, tuttavia, queste piattaforme dati centralizzate non sono riuscite a soddisfare le attese. Con l'esplosione dei volumi di dati e l'impennata della richiesta di business intelligence e business analytics, alcune piattaforme centralizzate si sono trasformate da "unica fonte di verità" a collo di bottiglia. Sono, sì, sature di dati, ma estrarre da essi delle informazioni su cui basare delle decisioni è diventato sempre più difficile e costoso.
Le nuove sfide dell’analisi dei dati
Le piattaforme dati centralizzate non sono cambiate nella loro sostanza e, nella maggior parte dei casi, continuano a offrire un importante valore di business. Quando però si tratta di gestire gli attuali casi d’uso di analisi avanzata, spesso non sono all'altezza del compito. La crescita esponenziale dei dati aziendali, la richiesta incessante di insight e analisi ha sottoposto le piattaforme a una forte pressione, che si manifesta in tre modi. Innanzitutto, tempi lunghi: più le piattaforme centralizzate si dilatano, maggiore è il tempo necessario per importare nuovi dati. Questo impedisce di rispondere rapidamente alle mutevoli esigenze di business e riduce significativamente il valore legato alla distribuzione di nuovi dati.
In secondo luogo, elevati costi di esercizio: molte piattaforme dati centralizzate hanno alla base costose tecnologie proprietarie che non sono particolarmente adatte per la data science e la ricerca. Inoltre, contestualmente alla crescita dei volumi di dati sono aumentati i costi e i carichi di lavoro associati alla manutenzione di data warehouse e data lake. Il terzo problema è il lock-in delle soluzioni legacy: alcune organizzazioni hanno creato architetture dati centralizzate talmente complesse che abbandonarle può sembrare impossibile. La scarsa capacità di adattarsi e adottare nuove best practice di gestione dei dati va a discapito della possibilità di ottenere il massimo valore aggiunto.
Il Data Mesh è la risposta
Difficoltà come queste impediscono alle aziende di beneficiare di una delle più grandi promesse delle piattaforme dati centralizzate: la celere disponibilità di preziosi insight provenienti da un'unica fonte. È quindi giunto il momento di considerare una nuova modalità di approccio: il Data Mesh. Che cos’è? La teoria alla base della creazione di piattaforme dati centralizzate è sensata. In realtà, diversi settori di business richiedono nuove prospettive, tecniche di gestione e casi d'uso che creino maggior valore. Combinare tutti i dati aziendali all’interno di un'unica piattaforma per un insieme eterogeneo di scenari d’uso diventa sempre più problematico, a mano a mano che la diversità di casi di utilizzo e le dimensioni della piattaforma aumentano.
Un problema specifico è la lentezza nella generazione di nuovo valore. L'integrazione di nuove sorgenti dati può richiedere mesi e potrebbe anche non essere adeguata alle esigenze dei singoli esperti di dominio. Per di più, la maggior parte delle persone non ha nemmeno l'esigenza di accedere a tutti i dati aziendali, ma ha bisogno di un sottoinsieme significativo e affidabile di dati trasversali contenente ciò che desiderano, niente di più, niente di meno. Ossia, in parole più semplici, dati personalizzati, confezionati come un prodotto.
I dati si allineano con i domini funzionali dell'azienda, come ad esempio vendite, finance o gestione del magazzino e diventano un prodotto in un data mesh. Ogni dominio disponibile è responsabile di questi “data product” e delle mutevoli esigenze degli utenti finali, mentre una politica di governance globale garantisce l'interoperabilità. Questo approccio decentralizzato alla gestione condivide l’ownership tra i vari team funzionali e tutti sono liberi di esplorare nuovi modi di utilizzare al meglio i dati. Da un punto di vista aziendale, il Data Mesh offre alle persone maggiori possibilità di ottenere valore dai dati di cui hanno responsabilità. Il risultato? I colli di bottiglia scompaiono. Gli insight vengono generati più velocemente. Tutti possono servirsi autonomamente dei “data product” di loro interesse e al contempo gestiscono e ampliano i loro set di dati personalizzati. Aggiungere nuove sorgenti a un Data Mesh è più facile e veloce perché non occorre modificare gli schemi esistenti o le pipeline di elaborazione. Nuovi “data product” vengono introdotti nel mesh usando i dati ricavati da altri data product, quindi combinando o migliorando questi dati per altri consumatori.
Come funziona il Data Mesh
Abbiamo presentato il Data Mesh come soluzione alternativa a un'azienda sanitaria che faceva affidamento su un data warehouse aziendale. Quando è scoppiata la pandemia di covid-19, l'organizzazione ha reagito in soli tredici giorni, implementando nuovi prodotti nel suo Data Mesh e, allo stesso tempo, sviluppando una serie di applicazioni sanitarie per i suoi membri. La disponibilità dei dati in tempo pressoché reale ha consentito di generare insight, preparare modelli e prevedere i trend per ottimizzare l’approccio. Sarebbe stato impossibile ottenere gli stessi risultati con il precedente data warehouse aziendale.
Un Data Mesh combina diverse best practice di tecnologie emergenti per creare un nuovo paradigma di gestione dei dati, pensato per soddisfare le nuove esigenze delle aziende. Innanzitutto, il Data Mesh si fonda sui principi del disegno architetturale self-service, che consente ai gruppi di lavoro di servirsi dei data product in piena autonomia. La creazione di nuovi data product aiuta a ridurre l'enorme mole di lavoro gestionale normalmente associata alle piattaforme dati centralizzate. Invece di rivolgersi al gruppo IT centrale, ogni persona autorizzata può fare da sé.
Il Data Mesh utilizza anche i principi del Product Thinking. I diversi team possono considerare i set di dati da essi curati come "prodotti" e identificare le applicazioni analitiche, i data scientist e i gruppi dell'organizzazione come "clienti". Quindi, questi prodotti vengono gestiti con lo stesso rigore di quelli dedicati ai clienti esterni, riuscendo sempre a soddisfare le esigenze dei consumatori che dipendono dai loro insight. Grazie alla sinergia tra disegno architetturale e Product Thinking, la gestione dei dati decentralizzata e democratizzata diventa realtà.
Il Data Mesh è eccezionale per dare valore ai dati, potenziare i team funzionali ed eliminare l'inerzia creata dalle piattaforme centralizzate. Ma questa non è che una piccola parte del valore operativo che può produrre se gestito e implementato in modo corretto. Il Data Mesh rappresenta un grande passo avanti verso quell'innovazione che leader aziendali e tecnologici stanno cercando di progettare da decenni: un ciclo di intelligence continuo, in cui i dati si trasformano da intelligence e insight in decisioni di business informate. I risultati creano nuovi dati e rinnovano il ciclo. Può sembrare semplice, ma spesso l'apparenza inganna. Molte organizzazioni sono ancora lontane dal raggiungimento di una intelligence continua, principalmente perché hanno difficoltà a usare davvero tutti i dati a disposizione, agire rapidamente sugli insight o acquisire i feedback in modo accurato.
Il Data Mesh può aiutare a rispondere a tutte le tre le sfide contemporaneamente. Numero uno: data product personalizzati, creati dall'utente, aiutano a mettere a disposizione velocemente dati preziosi. Numero due: l'accesso democratizzato ai prodotti accelera la generazione di insight e li mette a disposizione di persone capaci di agire. Numero tre: i data product possono essere aggiornati dai team che verificano e misurano direttamente gli impatti delle modifiche apportate.