Le Big Tech dell’intelligenza artificiale non passano l’esame dell’AI Act europeo, o almeno non del tutto. Alcuni dei più popolari modelli di AI al momento non rispettano i requisiti del nuovo regolamento europeo, in particolare in tema di cybersicurezza e sul principio di non discriminazione. L’ufficio competente all’interno della Commissione Europea ha infatti cominciato a usare un nuovo strumento, un framework, che può valutare i Large Language Model su diversi di aspetti e che può quindi aiutare verificarne l’aderenza all’AI Act.
Lo strumento, chiamato Compl-AI, è stato sviluppato dalla startup svizzera LatticeFlow AI in collaborazione con due istituti di ricerca, Eth Zurich e l’Institute for Computer Science, Artificial Intelligence and Technology di Sofia. Compl-AI assegna un punteggio decimale, da 0 a 1, dopo aver mappato 18 indicatori riguardanti sei aree: la sicurezza e solidità tecnica del modello, il trattamento dei dati (privacy e data governance), la trasparenza, l’equità (rispetto della diversità, non discriminazione), gli impatti ambientali e sociali, la possibilità di supervisione umana. Gli indicatori vengono confrontati con i più recenti benchmark, consentendo di inserire la valutazione dei modelli nel contesto dell’AI Act.
Compl-AI ha già prodotto i primi risultati testando alcuni dei principali LLM oggi disponibili. Mediamente, i modelli di Alibaba, Anthropic, OpenAI, Meta e Mistral hanno ottenuto punteggi pari o superiori a 0,75, ma su alcuni indicatori emergono criticità. Sull’assenza di discriminazioni nell’output, GPT-3.5 Turbo (uno dei modelli alla base di ChatGpt) ha ottenuto solo 0,46, mentre il modello di Alibaba, Qwen1.5 72B Chat, appena 0,37.
Altro punto debole è, per alcuni, la sicurezza. Llama 2 13B, di Meta, può essere facilmente manipolato con attacchi di prompt hijacking, con una valutazione di 0,42 su questo aspetto, e fa ancora peggio con il suo 0,38 il modello 8x7B Instruct della francese Mistral.
Per le società che operano sul mercato senza conformarsi all’AI Act sono previste sanzioni che possono arrivare a 35 milioni di euro o al 7% del giro d’affari annuo. Dall’esame di Compl-AI non risultano però sentenze definitive di promozione o bocciatura dei modelli. Piuttosto, lo strumento è utile alla stessa Commissione Europea per dare indicazioni più precise ai provider tecnologici.
“La Commissione Europea accoglie questo studio e questa piattaforma di valutazione come il primo passo per tradurre l’AI europeo in requisiti tecnici, che aiutano i fornitori di modelli di intelligenza artificiale a mettere in pratica l’AI Act”, ha dichiarato Thomas Regnier, portavoce della Commissione Europea per economia, ricerca e innovazione digitale.
“L’Unione Europea sta ancora lavorando sui benchmark di compliance, ma possiamo già notare alcune lacune nei modelli”, ha detto il cofondatore e Ceo di LatticeFlow AI, Petar Tsankov. “Focalizzandoci maggiormente sull’ottimizzazione per la compliance, crediamo che i fornitori di modelli possano prepararsi bene per soddisfare i requisiti regolatori”.