Monitorare le prestazioni, il buon funzionamento, ma anche la sicurezza e l’utilizzo dei dati: l’osservabilità è importante in qualsiasi ambiente e processo IT. E i modelli dell’intelligenza artificiale non fanno eccezione. Da Dynatrace arriva un aggiornamento teso a migliorare l’osservabilità delle iniziative di AI generativa (GenAI), quindi a permettere ai team informatici di garantire l'affidabilità, le prestazioni, la sicurezza e la conformità delle applicazioni. Tutto questo aiuta a ottenere migliori risultati, a capire i costi e benefici delle iniziative e a massimizzare il ritorno sull’investimento.
Tra le novità della piattaforma di Dynatrace c’è, innanzitutto, un miglioramento delle funzioni di analytics dei Large Language Model. Oltre a monitorare gli indicatori di performance standard, come gli errori di input e output del modello, i suoi tempi di risposta e il consumo di token, con la tecnologia Davis AI di Dynatrace è possibile rilevare cambiamenti nell’uso del LLM. Questo è utile, fra le altre cose, per prevedere le variazioni dei costi associati all’uso del modello.
Una seconda novità è il controllo di input e output del modello, fatto importante per garantirne l’affidabilità e anche la sicurezza. In altre parole, diventa possibile accorgersi delle “allucinazioni” del modello o di eventuale lessico inadeguato (“linguaggio tossico”), ma anche identificare tentativi di abuso come l’iniezione di prompt dannosi e prevenire la fuga di informazioni che potrebbero essere usate per risalire all’identità di una persona (Personally Identifiable Information).
In terzo luogo, Dynatrace permette un tracciamento multi-modello, ovvero mappa le dipendenze tra più LLM che interagiscono con attività di affinamento (come la Retrieval Augmented Generation) o con agenti di AI. In questo modo si ottiene una osservabilità end-to-end dell'intero sistema, non solo delle singole parti componenti, e si possono risolvere le eventuali interazioni problematiche.
La quarta novità sono quelle che Dyantrace chiama “integrazioni AI responsabili”. Le aiende possono tracciare tracciando ogni input e output senza campionamento per fornire un audit trail di monitoraggio e osservabilità. Questo include, per esempio, la documentazione dei dati utilizzati per l’addestramento di un determinato modello. Attraverso Dynatrace Grail, tutti i dati possono essere interrogati in tempo reale e archiviati per future consultazioni.
“Vediamo che gran parte della nostra base clienti globale sta portando in produzione le proprie applicazioni di AI”, ha commentato Alois Reitbauer, chief technology strategist di Dynatrace. “L'osservabilità dell'AI è fondamentale per il Roi, la governance e la esplicabilità. Dynatrace offre l'osservabilità dell'AI con insight in tempo reale che consentono ai dati e ai sistemi di lavorare insieme senza sforzo”.