La cosiddetta Gpu starvation è un problema per molte attività di intelligenza artificiale, nelle quali i chip di calcolo grafico restano a secco, letteralmente “affamati”, in attesa di dati che non arrivano perché le risorse di storage sono troppo lente. Si creano, così, dei colli di bottiglia che rallentano le elaborazioni AI. Cloudera e Vast Data hanno scelto di unire le forze per rispondere a questo problema con una nuova soluzione congiunta che segue il reference design di Nvidia, cioè dell’autorità numero uno in fatto di Gpu.
La soluzione mette insieme i servizi dati containerizzati di Cloudera con il sistema operativo per l’AI di Vast Data, che unifica storage ad alte prestazioni, database e capacità di namespace globale. Il risultato è un ambiente di produzione scalabile, una data platform per l'AI in cui i dati vengono continuamente acquisiti, raffinati, governati e consegnati ai modelli di intelligenza artificiale per attività di training e inferenza. Il tutto, senza mai lasciare le Gpu in attesa.
“Le imprese stanno investendo miliardi in Gpu, eppure molte faticano a raggiungere la piena utilizzazione a causa di colli di bottiglia sui dati”, ha detto Abhas Ricky, chief business officer & general manager, Applied AI di Cloudera. “La nostra partnership con Vast elimina la Gpu starvation e consente ai clienti di costruire vere AI factory, in cui i dati fluiscono senza interruzioni dall’acquisizione all’insight.”
La soluzione funziona sia in ambienti on-premise, sia in cloud. Il primo vantaggio sottolineato da Cloudera e Vast è quello di consentire ad applicazioni che richiedono bassa latenza di funzionare al meglio. La nuova data platform, inoltre, permette di sfruttare al massimo le Gpu acquistate o utilizzate a servizio. Inoltre si ottiene una operatività coerente in qualsiasi tipo di ambiente IT, che si tratti di data center aziendali, cloud privato o pubblico.
L’architettura lakehouse di Cloudera include diversi data service containerizzati e portabili, tra cui data engineering, streaming, analytics, machine learning e AI, distribuibili in modo coerente in ambienti ibridi e multi-cloud. Alla base dell’AI Operating System di Vast c’è un’architettura proprietaria che permette di elaborare dati su scala exabyte e che integra servizi di database vettoriale con le librerie Nvidia cuVS, per l’indicizzazione e la ricerca vettoriale accelerata da Gpu. Il sistema operativo segue il reference design Nvidia AI Data Platform.
Oltre a questa piattaforma congiunta, Cloudera e Vast proporranno ai clienti altre soluzioni basate su Gpu e software di Nvidia e specifiche per esigenze di sovranità e controllo sui dati (con soluzioni di Private AI e Sovereign AI), per l’inferenza AI o per i workload Apache Spark.
“La maggior parte delle imprese dispone già dei dati necessari per l’AI”, ha commentato Jeff Denworth, cofondatore di Vast Data. “La sfida sta nello sbloccare il valore nei dati per creare una pipeline continua di inferenza AI, fine-tuning e analisi dei dati, al fine di costruire la prossima generazione di applicazioni intelligenti. Insieme, Cloudera e Vast stanno aiutando i clienti a costruire AI factory che connettono dati, intelligenza e infrastruttura in un’unica piattaforma operativa per l’AI in ambienti ibridi”.