L’hackeraggio di Hugging Face realizzato dall’intelligenza artificiale di OpenAI, cioè da un modello che è “scappato su Internet” e ha agito malevolmente, in autonomia, durante un test (finito decisamente male), è stata probabilmente la notizia della settimana. Un fattaccio che esce dai confini dell’informatica, rischiando di confermare non solo i timori degli apocalittici che rigettano in blocco l’evoluzione dell’AI, ma anche i sensati scrupoli di chi invita alla cautela nell’utilizzo di una tecnologia potente e più difficile da controllare.
Come spiegato dalla stessa OpenAI, l’evento inaspettato è accaduto durante un test su alcuni modelli AI, eseguito in un ambiente sandbox rigorosamente controllato. La capacità di accedere a Internet era stata limitata, proprio per ragioni di sicurezza, ma durante il test due modelli hanno impiegato una “quantità sostanziosa” di potenza di calcolo per riuscire ad andare in Rete e trovare le informazioni necessarie a risolvere un “problema di valutazione”.
Fino a quel punto l’AI non ha agito, dunque, con intento malevolo (ammesso che si possa parlare di intento o di intenzioni in relazione a un software), ma ha fatto di un modo di poter usare uno strumento necessario per risolvere un problema. Gli LLM di OpenAI hanno poi proseguito nel loro scopo: per trovare informazioni utili si sono diretti su Hugging Face, popolare piattaforma per l’addestramento di modelli AI, nonché grande repository di codice e dataset.
Un attacco complesso
L’attacco è opera di due Large Language Model di OpenAI: un modello ancora sperimentale e GPT-5.6 Sol, che è invece un modello AI di frontiera già rilasciato da OpenAI, presentandolo come “il nostro collaboratore ad oggi più raffinato”. Si tratta in realtà non di un solo modello ma di una famiglia di LLM ottimizzati per attività di programmazione, analisi scientifica e (ironia) sicurezza informatica.
“GPT‑5.6 viene lanciato con le nostre misure di salvaguardia più solide fino ad oggi, progettate per essere resilienti contro usi impropri intenzionali e adattivi senza limitare in modo generalizzato il lavoro legittimo”, scriveva OpenAI solo poche settimane fa, raccontando degli accurati test condotti prima del rilascio ufficiale, e dei meccanismi di sicurezza, controllo e monitoraggio incorporati in GPT‑5.6.
Il problema è che GPT‑5.6 è forse troppo abile, ma soprattutto imprevedibile. Come spiegato da Hugging Face, l'intrusione ha avuto origine nel punto in cui le piattaforme di IA sono particolarmente vulnerabili: la pipeline di elaborazione dei dati. Questa la spiegazione tecnica fornita da Hugging Face: “Un dataset malevolo ha sfruttato due percorsi di esecuzione del codice presenti nel processo di elaborazione (un caricatore di dataset che consentiva l'esecuzione di codice remoto e una vulnerabilità di template injection nella configurazione del dataset) per eseguire codice su un worker di elaborazione. Da lì, l'attaccante ha ottenuto l'accesso a livello di nodo, ha sottratto credenziali cloud e di cluster e, nel corso di un fine settimana, si è spostato lateralmente verso diversi cluster interni”.
Comportandosi come un agente AI, GPT‑5.6 ha poi concatenato molteplici vettori di attacco, tra cui l'uso di credenziali rubate. Prima del rilevamento, a giorni di distanza dall'intrusione, l’intelligenza artificiale potuto compiere indisturbata oltre oltre 17.000 azioni.
In un blogpost OpenAI ha cercato di sottolineare il proprio ruolo attivo nel rispondere all’incidente e nell’indagarne le cause, in collaborazione con Hugging Face. Quest’ultima, accortasi dell’hackeraggio, ha risolto la vulnerabilità alla radice, chiudendo i percorsi di esecuzione del codice nel dataset usati per l'accesso iniziale. Inoltre ha eliminato il punto di accesso dell'attaccante dai cluster interessati e ripristinato i nodi compromessi, per poi modificare le credenziali e revocare i token coinvolti nell’attacco. Hugging Face ha poi applicato “ulteriori misure di sicurezza e controlli di ammissione più rigorosi sui cluster”, e ha potenziato i propri sistemi di rilevamento e notifica.
Possiamo stare tranquilli per il futuro? In realtà nemmeno OpenAI (nel duplice e imbarazzante ruolo di origine dell’attacco e di indagatore) ha potuto minimizzare più di tanto. L’azienda ha ammesso che si è trattato di “un incidente cyber senza precedenti”, di un tipo di attacco nuovo ma con cui dovremo imparare a convivere, perché diventerà sempre più comune al crescere delle abilità dell’intelligenza artificiale.
Gli “agenti hacker” visti dagli esperti
"Questa violazione è stata diversa da qualsiasi altra gestita in precedenza sotto un aspetto fondamentale: è stata guidata, dall'inizio alla fine, da un sistema autonomo di agenti di AI, e l'abbiamo rilevata e analizzata in gran parte grazie a una nostra AI", ha dichiarato Hugging Face.
“Molti hanno definito questo episodio come un attacco dell'AI”, ha commentato Udo Schneider, governance, risk & compliance lead di TrendAI Europe, divisione di Trend Micro. “Personalmente, non condivido questa interpretazione, perché questo aspetto rappresenta un problema ingegneristico risolvibile: si tratta di implementare guardrail e vincoli deterministici esterni al modello. La vera lezione è che esiste un divario sostanziale tra l'intenzione che abbiamo in mente e il mezzo che usiamo per esprimerla, ovvero quasi sempre il linguaggio naturale. Nessuno ha ordinato a questo modello di attaccare qualcuno. Tuttavia, l'obiettivo, espresso a parole a un sistema che ottimizza le prestazioni in funzione di un benchmark, ha generato azioni non previste da nessuno, ma che nulla vietava esplicitamente. È questa la chiave: l'intenzione e il mezzo espressivo non coincidono, ed è proprio in questo scarto che si verificano incidenti. Se si chiede a un agente di risolvere un problema "in qualsiasi modo possibile", lui ci prenderà in parola. Con sufficiente autonomia e tempo, andrà a frugare in infrastrutture che non avrebbe mai dovuto toccare, vecchie password, credenziali abbandonate, chiavi API dimenticate: non perché gli sia stato ordinato, ma perché tenta ogni strada disponibile per raggiungere l'obiettivo assegnato. E il linguaggio, di per sé, lascia sempre aperta questa possibilità”.
Come sottolineato dall’esperto di Trend Micro, prevedere un revisione umana all’interno dei flussi di lavoro agentici è una parziale soluzione: lo human-in the-loop non è fattibile nei processi complessi e di lunga durata che caratterizzano molti incidenti informatici. Un’altra soluzione efficace solo in parte è l’aggiunta di guardail, cioè vincoli di sicurezza previsti a priori nei modelli AI e nei prompt: sono utili ma non rappresentano un muro invalicabile per sistemi probabilistici (e non deterministici) come i software di intelligenza artificiale.
Secondo Schneider, allora, per la sicurezza degli agenti AI sono più validi che mai i controlli di sicurezza tradizionali: filtraggio degli accessi, controllo degli input inviati al modello, sandbox realmente sicure e gestione dei permessi basata sul principio del privilegio minimo. Questo è un punto cruciale, perché a detta di Trend Micro (e di altri vendor del settore) spesso gli agenti AI ottengono privilegi di accesso come se fossero utenti umani, in qualche modo degni di fiducia. Privilegi che, in barba allo Zero Trust, non vengono revocati quando termina lo specifico compito per cui erano stati concessi.
Una visione non troppo diversa è quella espressa da Check Point. “Se da tempo osserviamo come l'AI acceleri lo sviluppo del malware, la ricerca di vulnerabilità e le attività di intrusione, questo episodio dimostra qualcosa di ancor più rilevante: la sfida non riguarda più soltanto ciò che un modello di AI è in grado di fare, ma la nostra capacità di contenerne e controllarne in modo affidabile le funzionalità”, ha commentato Lotem Finkelstein, vicepresidente della divisione Research di Check Point Research. “Se un modello è in grado di aggirare i presupposti del proprio ambiente di valutazione o addirittura di manipolare il processo di test, significa che la sicurezza non può più basarsi esclusivamente sulla fiducia in ambienti isolati o considerati sicuri. Sia il modello sia l'ambiente in cui opera devono essere trattati come parte della superficie di attacco. Sebbene questo episodio si sia verificato in un ambiente di test controllato e non nel ‘mondo reale’, offre un'importante anticipazione delle sfide che le organizzazioni dovranno affrontare man mano che le capacità dei modelli di AI più avanzati diventeranno sempre più accessibili. Per questo motivo, la sicurezza dell'intelligenza artificiale non può essere considerata un elemento secondario o aggiunto in un secondo momento: deve essere progettata e integrata fin dall'inizio nei sistemi di AI, attraverso un forte isolamento, l'applicazione del principio del minimo privilegio, meccanismi di protezione in fase di esecuzione (runtime guardrail) e un monitoraggio continuo lungo l'intero ciclo di vita del modello”.
Oltre al controllo delle identità e ai guardrail che arginano il rischio alla fonte, la capacità di risposta agli incidenti è altrettanto importante. “Questo evento dovrebbe mettere definitivamente a tacere l’idea che gli agenti di AI possano semplicemente essere confinati con guardrail adeguati”, ha scritto Bastien Bobe, field Cto di Commvault. “Nonostante sia stato progettato come ambiente isolato, l’agente di AI ha comunque identificato e sfruttato un percorso non previsto verso il mondo esterno. Questo dimostra che anche le misure di contenimento progettate con cura possono lasciare debolezze nascoste che i sistemi autonomi alla fine riusciranno a scoprire. L’AI non è diventata malevola, ma è, per la sua progettazione, imprevedibile. L’adozione da parte delle aziende e le sperimentazioni nel mondo reale sono accelerate molto più rapidamente della preparazione operativa, della governance e della comprensione dei rischi da parte delle stesse imprese. Un agente AI che opera con credenziali legittime può muoversi a velocità macchina, sfruttando debolezze trascurate e intraprendendo azioni che nessun essere umano avrebbe previsto. È in quel momento che un piccolo errore o una vulnerabilità possono trasformarsi rapidamente in un incidente a livello aziendale. Le imprese devono superare una mentalità focalizzata solo sulla prevenzione e investire nella resilienza come capacità operativa fondamentale. Questo cambiamento di priorità e cultura è noto come Resilience Operations (ResOps). L’AI ha sfumato i confini tradizionali tra sicurezza, identità e recovery, eppure la maggior parte delle aziende continua a gestirli come discipline separate”.
Anche Kaspersky è intervenuta sul tema, sottolineando la natura ambivalente dell’intelligenza artificiale nella cybersicurezza. Questo il commento di Dmitry Galov, head of Russia and CIS unit del team di ricerca dell’azienda: “L’incidente segnalato tra OpenAI e Hugging Face riflette un problema ben noto nell’ambito del machine learning e della sicurezza dell’AI: i modelli non perseguono sempre l’obiettivo reale previsto dagli esseri umani. Al contrario, spesso imparano a sfruttare le debolezze nella definizione del compito, nel segnale di addestramento o nell’ambiente circostante, soddisfacendo formalmente il benchmark pur non riuscendo a fornire il risultato previsto. In questo caso, il modello di OpenAI sembra aver perseguito l’obiettivo non risolvendo direttamente il compito, ma cercando risposte online, il che lo ha poi portato a compiere azioni esterne del tipo descritto successivamente da Hugging Face. Comportamenti simili sono stati osservati anche in passato, con modelli che sfruttano le debolezze delle sandbox, inventano risposte plausibili o tentano di nascondere gli errori sostituendo dati persi o cancellati con alternative convincenti. Questo fenomeno è comunemente descritto come "disallineamento" ed è una proprietà ben nota dei sistemi avanzati di AI. Allo stesso tempo, questo caso illustra anche la crescente rilevanza dei Large Language Model nel campo della sicurezza informatica. Secondo quanto riportato, Hugging Face ha utilizzato il modello GLM-5-2 di Z.ai per analizzare 17.000 eventi di sicurezza generati dal sistema di attacco all’interno del proprio ambiente. La quantità di dati telemetrici raccolti suggerisce che il modello abbia operato in modo relativamente rumoroso e poco sofisticato, generando un’attività sufficientemente rilevabile da consentire all’azienda di identificare e contenere rapidamente l’incidente. Nel complesso, questo caso evidenzia due aspetti. In primo luogo, i modelli avanzati sono già in grado di eseguire molte delle azioni che compongono le operazioni informatiche. In secondo luogo, anche l’efficacia delle attività di rilevamento e risposta trae sempre più vantaggio dall’intelligenza artificiale. Nella nostra attività di ricerca riscontriamo regolarmente prove del fatto che gli LLM vengano utilizzati anche in attività offensive”.