Uno dei claim più sfruttati dai vendor che propongono automazione dei processi tramite AI è che è semplicissimo creare un agente AI che svolga dei compiti più o meno complessi per il dipendente. Ecco, ma chi ne controlla l’operato? Una recente ricerca commissionata da Veeam a Censuswide su 1.000 decision maker IT, dati e sicurezza di organizzazioni con più di 500 dipendenti in Regno Unito, Germania, Francia e Medio Oriente e Africa, svela una situazione complessa e preoccupante che alcuni hanno definito “fuori controllo”.
Al di là degli effettivi benefici che l’AI agentica porta in azienda, la ricerca si concentra sulla capacità di queste ulitme di comprenderne l’operato e il dato che dice molto di come stanno le cose riguarda quel 67% delle organizzazioni che dichiara che i dipendenti stanno già creando workflow AI autonomi che l’IT non riesce a monitorare completamente. Addirittura più elevata, il 70%, è la percentuale delle aziende nelle quali workflow automatizzati basati sull’AI interagiscono con dati aziendali sensibili senza una supervisione completa.
Il problema della Shadow AI sta evidentemente cambiando natura: l’utilizzo non autorizzato di un chatbot pone soprattutto questioni relative alla possibile esposizione delle informazioni, ma un agente può utilizzare quelle informazioni per prendere decisioni, interrogare altri sistemi, attivare processi e produrre nuovi dati.
Dalla Shadow AI agli “agenti shadow”
Il problema è che gli agenti AI tendono a sfuggire al tradizionale modello di controllo dell’IT aziendale. Un'applicazione SaaS non autorizzata, per esempio, può essere individuata e successivamente bloccata oppure inserita nel catalogo degli strumenti approvati. Un agente AI è, invece, molto più difficile da incasellare: può essere stato costruito da un utente, collegato a diverse sorgenti informative e inserito all'interno di workflow che coinvolgono applicazioni aziendali differenti. Il problema è così vasto che in alcune nazioni si vedono numeri preoccupanti. In Germania, per esempio, secondo la ricerca ben l’81% dei leader dichiara che workflow automatizzati interagiscono con dati sensibili senza una supervisione completa, mentre il 79% segnala la presenza di workflow creati dai dipendenti che l’IT non riesce a monitorare. Nel Regno Unito la percentuale di organizzazioni che dichiara di non avere una supervisione adeguata sugli agenti che interagiscono con informazioni sensibili si assesta al 75%. È uno scenario nel quale la questione della sicurezza non riguarda più semplicemente quale modello AI venga utilizzato, ma quali dati gli vengono messi a disposizione, quali autorizzazioni possiede e quali operazioni può eseguire.
Controllare gli agenti uno per uno non può funzionare
La risposta delle imprese sembra essere ancora in costruzione. Il 41% delle organizzazioni EMEA sta sviluppando modelli AI locali o sovrani anche con l'obiettivo di contrastare la Shadow AI, mentre il 49% adotta un modello ibrido: piattaforme locali o sovrane per i dati sensibili e servizi AI globali per le attività considerate meno critiche. È però discutibile che si possa risolvere il problema semplicemente usando un modello on premise. Tenere il modello all'interno dell'infrastruttura aziendale offre certamente un maggiore controllo, ma un agente mal configurato rimane un agente mal configurato: se dispone di autorizzazioni eccessive, accede dati che non dovrebbe toccare o può attivare azioni non previste, la sovranità dell'infrastruttura non cambia una virgola sul rischio. Veeam propone, quindi, di spostare l'attenzione dagli agenti ai dati. Secondo Tim Pfaelzer, General Manager e Senior Vice President EMEA dell'azienda, cercare di governare individualmente migliaia di agenti autonomi non rappresenta un approccio fattibile su larga scala. La priorità dovrebbe essere invece proteggere, governare e comprendere i dati ai quali gli agenti accedono. È un principio che applica all'AI procedure che le aziende applicano da tempo: classificazione delle informazioni, identity and access management, least privilege, data protection, backup, resilienza e capacità di individuare comportamenti anomali.
L'AI diventa un problema da consiglio di amministrazione
C'è poi un secondo elemento interessante nella ricerca: la governance dell'intelligenza artificiale sta rapidamente uscendo dal perimetro dell'IT. Il 58% delle aziende intervistate dichiara di essere soggetto a nuove normative e procedure relative alla responsabilità aziendale. Il 40% dei dirigenti afferma di essere preoccupato per la propria responsabilità personale, mentre il 39% conferma un aumento dei controlli da parte del consiglio di amministrazione. La pressione, poi, tende a uscire dall’ambito professionale con il 37% che segnala un aumento dello stress o dell'ansia personale e il 32% che afferma che le nuove responsabilità hanno creato tensioni o conflitti tra dirigenti.
E poi c’è il dato che resta, a nostro parere, il più controverso: nel 12% delle organizzazioni le responsabilità individuali risultano condivise e non chiaramente definite. Come si fa a definire l’ambito di azione di un agente AI se non è chiaro chi è responsabile della sua attività? Chi deve autorizzare l'accesso ai dati? Chi deve verificare il comportamento del modello? Chi interviene se l'agente produce un risultato errato o compie un'azione indesiderata? La governance dell'AI richiede quindi non soltanto controlli tecnologici, ma una chiara attribuzione dei ruoli.
L'AI Act aggiunge un ulteriore livello di complessità
Sul quadro già complesso si innesta l'EU AI Act. L'83% dei leader intervistati ritiene che il Regolamento produrrà complessivamente effetti positivi, ma la fiducia nel risultato non elimina le difficoltà applicative. Il 62% teme che ambiguità e aree grigie possano generare rischi di non conformità, mentre il 63% ritiene che possano emergere conseguenze operative o legali impreviste. La preoccupazione è particolarmente elevata nel Regno Unito e in Germania, dove rispettivamente il 74,4% e il 73,6% degli intervistati considera le ambiguità normative un potenziale problema per la compliance.
Il vero problema, quindi, non è l'AI ma ciò che può raggiungere. È una sfida che assomiglia sempre meno alla semplice adozione di una nuova tecnologia e sempre più alla gestione di una nuova popolazione di identità digitali non umane. Ed è questo il campo in cui si giocherà una parte importante della sicurezza dell'AI enterprise: non cercare di impedire la nascita di ogni agente creato dagli utenti, ma fare in modo che nessun agente, autorizzato o shadow, possa raggiungere dati e risorse che non dovrebbe sfruttare