(Immagine generata da AI)
Intelligenza artificiale diventata hacker: dopo i modelli di OpenAI, è la volta di Claude Opus 4.7, e Claude Mythos 5, due LLM di frontiera di Anthropic. E questo nuovo “errore”, emerso a così poca distanza dal caso della piattaforma Hugging Face, hackerata da GPT-5.6 Sol, lascia pensare che forse come utenti dovremo abituarci a notizie di questo tipo. Gli sviluppatori di AI, invece, dovranno lavorare per evitare che tecnologie sempre più evolute sfuggano ai guardrail o addirittura si prestino a utilizzi criminali.
Per ammissione della stessa Anthropic, durante una serie di test di sicurezza Claude Opus 4.7, Claude Mythos 5, più un terzo modello non pubblicamente disponibile sono riusciti a ottenere accesso a Internet e hanno hackerato i sistemi IT (in produzione) di tre aziende, i cui nomi non sono stati svelati. Per fare breccia sono state usate tecniche abbastanza semplici, come lo sfruttamento di password deboli e l’accesso su endpoint non protetti da autenticazione.
Il primo degli episodi risale allo scorso aprile e tutti sono emersi solo di recente. Anthropic ha prontamente contattato le aziende coinvolte per informarle dell'accaduto.
Gli hackeraggi di Claude Opus e Mythos
Come illustrato da Anthropic, in tutti e tre gli episodi, a Claude era stato assegnato un task che gli addetti ai lavori chiamano "cattura la bandiera" (capture-the-flag): l’intelligenza artificiale viene sfidata a recuperare un'informazione segreta (la "bandiera") che è stata nascosta su una diversa macchina della rete. I ricercatori presentano all’AI l’obiettivo da raggiungere, senza prescrivere alcun metodo specifico.
Nei tre casi in esame, la richiesta di valutazione di Anthropic specificava a Claude che il suo ambiente era una simulazione e che non aveva accesso a Internet. “A causa di un malinteso tra noi e il nostro partner di valutazione, ciò non corrispondeva al vero e l'accesso a Internet era disponibile”, ha spiegato l’azienda. “Per questo motivo, quando la ricerca di Claude lo ha condotto a sistemi reali su Internet, li ha considerati parte dell'esercizio”.
Partendo dal presupposto errato che tutte le entità accessibili fossero incluse nell'esercizio, Claude ha compromesso l'infrastruttura delle organizzazioni colpite utilizzando tecniche di base, come lo sfruttamento di password deboli e endpoint non autenticati. Non ha, invece, individuato né sfruttato vulnerabilità complesse.
Una volta catturata la “bandiera”, i diversi modelli hanno proseguito l’azione in modi differenti. Claude si è limitato a ottenere l’informazione ricercata e, una volta accortosi di essere entrato in un sistema in produzione, ha interrotto la procedura. Opus 4.7, modello meno recente, ha invece proseguito nell’attacco anche dopo aver compreso di essere in un sistema IT reale.
Rischi da non sottovalutare
L’azienda dei fratelli Amodei si è accorta dell’accaduto dopo aver passato al vaglio oltre 141mila sessioni di test. In fondo, tre casi su 141mila corrispondono a una percentuale di casi avversi molto bassa, ma certo non trascurabile per tecnologie che agiscono su scala mondiale, gestendo miliardi di processi. E con l’ulteriore evoluzione dei modelli AI di frontiera il rischio, tendenzialmente, aumenterà. Tra l’altro la stessa Anthropic ha anticipato che a breve pubblicherà una descrizione di un altro fatto: un caso in cui Claude ha creato un pacchetto PyPI malevolo.
Per quanto riguarda gli hackeraggi, c’è a dire che, il problema non riguarda solo il comportamento imprevedibile dell’AI, ma il fatto che l’accesso a Internet sia stato ottenuto per colpe di una “incompresione” tra Anthropic e una società terza che stava realizzando i suddetti test di sicurezza: ancora una volta, l’errore umano si sovrappone a rischi insiti nelle tecnologie. Se poi le aziende continuano a trascurare banali regole di protezione come l’uso di password efficaci e meccanismi di autenticazione forte, allora si crea una combinazione micidiale tra AI, errore umano e trascuratezza.
“Si tratta di tre episodi isolati, non facenti parte di un confronto sperimentale controllato: occorre quindi cautela nel trarne conclusioni”, scrive Anthropic. “Tuttavia, il comportamento che più ci interessa osservare, ovvero riconoscere un obiettivo reale e arrestarsi spontaneamente, si è verificato solo nel più recente dei tre modelli (sebbene anche questo abbia proseguito l'attività oltre la soglia desiderata prima di fermarsi). Tale dinamica suggerisce che i modelli più avanzati reagiscano in modo più appropriato, ma sarebbero necessari ulteriori test per confermare questa ipotesi con certezza”.