Per essere AI ready, le imprese devono essere prima di tutto AI risk ready. «Prendiamo il caso Hugging Face. Il problema non è stato solo il prompt in sé, ma il perimetro entro cui l’agente poteva muoversi: guardrail disattivati e un ambiente di test che avrebbe dovuto essere chiuso e non lo era. Chi ha progettato il test non ha valutato adeguatamente il rischio». Giuseppe Vaciago, partner di 42 Law Firm e avvocato esperto di tecnologie digitali, legge così gli episodi che negli ultimi mesi hanno visto agenti di intelligenza artificiale compiere azioni cyber non autorizzate durante attività di testing. «L’impostazione dell’AI Act potrebbe essere molto utile per prevenire queste situazioni: è un regolamento europeo costruito sull’approccio al rischio».
I casi di hacking involontario degli agenti IA
OpenAI, Anthropic e l’AI Security Institute britannico hanno documentato episodi diversi, accomunati dalla capacità degli agenti di spingersi oltre le azioni previste durante test di cybersecurity. È una declinazione nuova dei rischi già emersi con l’AI agentica nella sicurezza informatica, perché in questi casi il problema riguarda anche il controllo dell’ambiente nel quale il modello riceve e svolge il compito.
Nel caso OpenAI-Hugging Face, OpenAI ha chiarito che l’ambiente di valutazione non consentiva un accesso diretto a Internet. I modelli hanno però individuato e sfruttato una vulnerabilità zero-day nel proxy utilizzato dal test, ottenendo così una connessione verso l’esterno e raggiungendo sistemi di Hugging Face. Per misurare le capacità cyber dei modelli erano inoltre stati disattivati alcuni classificatori normalmente utilizzati come protezione.
Gli episodi segnalati da Anthropic hanno avuto una dinamica differente. Su 141.006 esecuzioni di valutazione sono stati individuati tre casi nei quali Claude ha raggiunto sistemi reali. Secondo la ricostruzione della società, il modello era stato informato che avrebbe lavorato in una simulazione priva di accesso a Internet, mentre l’ambiente predisposto insieme al partner esterno consentiva in realtà la connessione. Anthropic ha quindi ricondotto l’accaduto soprattutto alla configurazione del test.
Anche l’AI Security Institute britannico ha documentato comportamenti non autorizzati, in una sperimentazione costruita deliberatamente con accesso a Internet e protezioni ridotte. In 122 test sono state rilevate 19 azioni non autorizzate distribuite su 10 esecuzioni, comprese la creazione di identità false, attività di social engineering e l’inserimento di codice in un progetto open source. L’istituto non ha rilevato danni nel mondo reale.
Le differenze sono rilevanti perché impediscono di ricondurre tutti gli episodi a una generica “fuga” dell’intelligenza artificiale. Il nodo comune riguarda piuttosto l’obiettivo assegnato, le capacità concesse al modello e i confini tecnici dell’ambiente di test. «Se io chiedo a un’intelligenza artificiale di bucare un sistema, il software utilizza ogni strumento per farlo. Gli agenti IA protagonisti dei diversi episodi di hacking si sono limitati ad eseguire un prompt», osserva Vaciago.
L’approccio risk based dell’AI Act
Per Vaciago, questi incidenti mostrano l’utilità di applicare un approccio basato sul rischio già nella progettazione e nella sperimentazione dei sistemi. I guardrail rappresentano una parte tecnica del problema. A monte occorre stabilire quali azioni siano ammesse, quali risorse possano essere raggiunte e quali conseguenze possano derivare da un comportamento inatteso dell’agente.
«Stiamo maneggiando una tecnologia che ha una capacità computazionale superiore a quella umana. Ma sul piano tecnico stiamo già vedendo azioni che nessuno aveva chiesto, ad esempio identità false create per farsi approvare del codice, oppure tracce alterate, e questo è esattamente il motivo per cui il perimetro va definito prima».
Il programmatore concentra necessariamente molta attenzione sul funzionamento del software. Secondo Vaciago, il lavoro deve però coinvolgere anche competenze capaci di valutare i rischi collegati all’uso della tecnologia. «I diversi episodi di queste ultime settimane indicano che un’IA utilizzata senza il corretto approccio al rischio è estremamente pericolosa. Per ora gli attacchi non hanno generato danni importanti. Ma potrebbero farlo, e quindi dobbiamo intervenire, mettendo regole adeguate».
Gli incidenti documentati finora sono avvenuti fuori dall’Unione Europea. Questo consente di interrogarsi anche sull’effetto della regolamentazione europea, senza attribuirle una capacità di deterrenza che i dati disponibili non permettono ancora di misurare. «È possibile che ci sia un aspetto prudenziale legato alla compliance con l’AI Act. Ma il motivo principale è che a sviluppare le tecnologie IA sono soprattutto americani e cinesi», sottolinea Vaciago.
L’articolo 4 dell’AI Act dopo il Digital Omnibus
L’articolo 4 dell’AI Act continua ad applicarsi dopo il Digital Omnibus, con una formulazione meno stringente rispetto a quella originaria. Il Regolamento (UE) 2026/1744 dell’8 luglio 2026, entrato in vigore il 27 luglio, ha modificato il Regolamento (UE) 2024/1689 sostituendo l’obbligo di assicurare un livello sufficiente di alfabetizzazione in materia di IA con quello di adottare misure che ne sostengano lo sviluppo tra il personale e le altre persone coinvolte nell’utilizzo dei sistemi.
La disposizione interessa fornitori e deployer di sistemi di intelligenza artificiale e si inserisce in una disciplina applicabile già dal 2 febbraio 2025. PMI.it ha approfondito anche gli obblighi sull’alfabetizzazione AI e sulla formazione previsti dalla normativa europea e dal processo di adeguamento italiano.
Vaciago è critico sul ridimensionamento della disposizione: «L’obbligo è stato alleggerito: non si deve più garantire un livello di alfabetizzazione, ma adottare misure che ne sostengano lo sviluppo. Qualcuno potrebbe leggerlo come un via libera ad aspettare, ma è una lettura sbagliata: l’articolo è applicabile dal 2 febbraio 2025 e anche dopo l’Omnibus bisogna adempiere, sia pure come obbligo di mezzi. Riguarda tutti i fornitori e i deployer di sistemi di IA».
L’articolo 4 non prescrive uno specifico corso, una certificazione o determinate protezioni tecniche. Il legame con gli incidenti cyber deriva dalla capacità organizzativa che la norma mira a rafforzare: chi sviluppa, configura o utilizza un sistema deve conoscere abbastanza la tecnologia e i suoi rischi da poter adottare misure coerenti con il contesto di utilizzo.
Sei controlli prima dei test con agenti IA
I casi OpenAI, Anthropic e AISI consentono di trasformare il principio del risk based approach in una sequenza di verifiche aziendali prima di autorizzare un agente a svolgere test offensivi di cybersecurity:
- verificare con un test separato ogni percorso di rete e ogni proxy, accertando che l’agente non possa raggiungere Internet quando lo scenario di prova lo esclude;
- documentare quali classificatori, filtri e guardrail sono attivi e quali vengono disabilitati per misurare le capacità del modello;
- assegnare all’agente credenziali temporanee e privilegi minimi, separati dai sistemi di produzione e da segreti riutilizzabili;
- attivare il monitoraggio in tempo reale di log, traffico di rete e azioni dell’agente, prevedendo condizioni che interrompano il test;
- concordare con gli eventuali partner esterni la configurazione effettiva dell’ambiente, compresi accesso alla rete, risorse disponibili e bersagli autorizzati;
- predisporre una procedura di contenimento e segnalazione se l’agente raggiunge sistemi, dati o persone estranei allo scenario autorizzato.
Questi controlli non derivano direttamente dall’articolo 4 dell’AI Act: emergono dalle criticità descritte nei test e traducono sul piano aziendale l’esigenza di valutare il rischio prima di concedere autonomia e strumenti a un agente. È proprio la sovrapposizione fra competenze tecniche, sicurezza e conoscenza normativa che rende l’AI literacy rilevante anche per chi sviluppa software.
Trasparenza e sanzioni dell’AI Act dal 2 agosto
Dal 2 agosto 2026 è applicabile anche l’articolo 50 del Regolamento (UE) 2024/1689 sulla trasparenza, mentre il regime europeo prevede sanzioni fino a 15 milioni di euro o al 3% del fatturato annuo mondiale per le violazioni delle disposizioni interessate. Le regole dell’AI Act applicabili dal 2 agosto 2026 comprendono obblighi differenti per sistemi che interagiscono con le persone e contenuti generati o manipolati dall’intelligenza artificiale.
«Fra l’altro, il 2 agosto scorso sono entrate in vigore nuove parti dell’AI Act, e la più grossa novità riguarda i poteri sanzionatori», osserva Vaciago. Sul versante italiano, la legge n. 132/2025 individua AgID e ACN tra le autorità nazionali per l’intelligenza artificiale. Il decreto legislativo destinato a dettagliare poteri e coordinamento delle autorità ha ricevuto l’approvazione preliminare del Consiglio dei Ministri il 10 giugno 2026 ed è successivamente passato all’esame delle istituzioni competenti.
Per i sistemi che interagiscono direttamente con le persone, l’articolo 50 richiede che l’utente sia informato di trovarsi davanti a un’intelligenza artificiale, salvo che ciò risulti evidente a una persona ragionevolmente informata e attenta. La regola riguarda quindi chatbot, assistenti vocali e altri agenti utilizzati nei rapporti con clienti e pubblico.
Sui contenuti generati dall’intelligenza artificiale la disciplina distingue invece gli obblighi dei fornitori dei sistemi da quelli di chi utilizza l’output. I provider devono rendere rilevabili in formato leggibile dalle macchine determinati contenuti sintetici o manipolati prodotti dai propri sistemi, secondo i requisiti previsti dall’articolo 50.
Per i deepfake, chi utilizza il sistema deve dichiarare che il contenuto è stato generato o manipolato artificialmente. Il Regolamento contempla modalità di disclosure adattate per opere chiaramente artistiche, creative, satiriche o di finzione, così da non ostacolarne la fruizione. Per questo uno spot realizzato con l’IA deve essere valutato in base alla natura effettiva dell’output: l’impiego dell’intelligenza artificiale, da solo, non determina automaticamente lo stesso obbligo visibile previsto per un deepfake.
Per i testi destinati a informare il pubblico su questioni di interesse pubblico, l’obbligo di dichiarazione opera quando il contenuto è generato o manipolato artificialmente. L’eccezione riguarda i casi nei quali il testo è sottoposto a revisione umana o controllo editoriale e una persona fisica o giuridica assume la responsabilità editoriale della pubblicazione. Una semplice correzione formale non equivale a tale controllo.
Il Digital Omnibus ha infine rinviato l’applicazione delle principali disposizioni sui sistemi di IA ad alto rischio: la nuova data è il 2 dicembre 2027 per i sistemi individuati dall’Allegato III e il 2 agosto 2028 per quelli incorporati nei prodotti disciplinati dall’Allegato I. Il calendario rafforza così, almeno per i prossimi mesi, il ruolo delle disposizioni già applicabili su alfabetizzazione, trasparenza e governance del rischio.
