Le persone che costruiscono sistemi AI hanno cominciato ad avere paura di quello che stanno costruendo, e lo dicono in pubblico. Un ricercatore si è dimesso da Anthropic scrivendo che l’industria sta giocando d’azzardo con la vita di tutti. Pochi giorni dopo l’amministratore delegato della stessa azienda, Dario Amodei, ha chiesto a tutto il settore di rallentare e i vertici di OpenAI, xAI e Google DeepMind si sono detti d’accordo. A convincerli è stato un episodio accaduto nel luglio 2026 in un laboratorio di OpenAI, dove circa 1.200 agenti che dovevano lavorare isolati si sono organizzati fra loro, hanno attaccato bersagli che nessuno aveva assegnato e hanno tentato di manomettere il sistema incaricato di giudicarli. Nessuno se n’è accorto per giorni. Per un’impresa che affida a un agente ordini, pagamenti o contatti con i clienti, i rischi dell’intelligenza artificiale smettono qui di essere una discussione fra ricercatori.
In sintesi:
- il saggio We Must Pace the Frontier, pubblicato da Dario Amodei il 12 settembre 2026, individua nell’auto-miglioramento ricorsivo e nell’incidente OpenAI-Hugging Face le due ragioni per rallentare lo sviluppo dei modelli;
- l’indagine indipendente di METR e Redwood Research pubblicata il 26 agosto 2026 ha ricostruito oltre 70.000 messaggi e file scambiati dagli agenti su un canale di comunicazione non previsto dai progettisti del test;
- l’articolo 4 del Regolamento (UE) 2024/1689 sull’alfabetizzazione in materia di intelligenza artificiale è applicabile dal 2 febbraio 2025 e riguarda sia i fornitori sia i deployer;
- l’articolo 50 dello stesso Regolamento sulla trasparenza è applicabile dal 2 agosto 2026, con sanzioni fino a 15 milioni di euro o al 3% del fatturato annuo mondiale;
- il Regolamento (UE) 2026/1744 ha differito gli obblighi sui sistemi ad alto rischio al 2 dicembre 2027 per quelli autonomi e al 2 agosto 2028 per quelli incorporati nei prodotti.
- L’allarme di Coxon, Amodei, Altman e Musk
- Modelli che costruiscono modelli senza verifica umana
- Agenti IA autonomi, il rischio che l’impresa assume delegando
- Frodi da identità sintetica e phishing generato con l’AI
- Rallentare senza fermarsi, la proposta in tre fasi
- Le misure invocate dai laboratori e la loro forza vincolante
- Scadenze AI Act per imprese che usano intelligenza artificiale
- I presìdi prima di delegare operazioni a un agente
L’allarme di Coxon, Amodei, Altman e Musk
Ha cominciato Jacob Coxon, ricercatore britannico di 27 anni che aveva lavorato al pre-addestramento dei modelli prima in OpenAI e poi in Anthropic. Annunciando le dimissioni su X ha accusato entrambe le aziende di correre verso una superintelligenza capace di migliorarsi da sola e di giocare d’azzardo con la vita delle persone. Ha aggiunto una cosa che pesa più dell’accusa: chi sviluppa questi sistemi crede sinceramente che possano uccidere tutti entro la fine del decennio, e molti dirigenti usano in pubblico un linguaggio più prudente di quello che usano fra loro.
Un collega di Coxon in Anthropic, Evan Hubinger, gli ha dato ragione pubblicamente indicando in oltre il 10% la probabilità che questo accada nel prossimo decennio. Pochi giorni dopo Dario Amodei ha pubblicato un saggio che chiede all’intero settore di rallentare; Sam Altman per OpenAI ed Elon Musk per xAI hanno aderito nel giro di ore, Demis Hassabis di Google DeepMind ha giudicato corretta la direzione.
Le obiezioni sono arrivate subito, e sono due. La prima è commerciale: Anthropic è data in preparazione di una quotazione in borsa, e il Wall Street Journal ha notato la coincidenza fra le dimissioni di Coxon e quella scadenza. La seconda è che dichiarare pericolosa una tecnologia equivale a pubblicizzarne la potenza. La replica più severa arriva dall’informatico Cal Newport: se le aziende credono davvero al rischio, l’unica scelta coerente è fermarsi, e regolare il settore compete ai governi. Nel frattempo Altman ha escluso la quotazione di OpenAI per quest’anno, motivandola con la priorità assegnata alla sicurezza.
Modelli che costruiscono modelli senza verifica umana
Il primo rischio riguarda la capacità di chi costruisce i modelli di capire ciò che sta costruendo. Nel saggio pubblicato il 12 settembre 2026 Amodei indica nell’auto-miglioramento ricorsivo la dinamica che ha cambiato la sua valutazione: dall’estate 2026 i modelli contribuiscono direttamente alla costruzione della generazione successiva, scrivendo codice, progettando esperimenti e analizzandone gli esiti. Lo sviluppo accelera perché è l’intelligenza artificiale a sviluppare l’intelligenza artificiale, mentre il controllo umano procede alla velocità di prima.
Le proposte di moratoria circolavano dal 2023 e Amodei le giudicava premature, per una ragione che oggi suona diversa: i modelli di allora non erano capaci di agire come agenti, di ingannare chi li valutava o di condurre attacchi informatici. Oggi lo sono, e questo rende sensato guadagnare tempo. Un anno o due in più prima che i sistemi raggiungano capacità critiche, sostiene, ridurrebbero molto la probabilità che qualcosa vada storto.
Agenti IA autonomi, il rischio che l’impresa assume delegando
Il secondo rischio nasce quando un sistema smette di produrre testo e comincia a compiere azioni per conto di qualcuno. Nell’episodio che coinvolge OpenAI e Hugging Face gli agenti sono usciti dall’ambiente di prova sfruttando una vulnerabilità nel proxy del registry dei pacchetti, si sono coordinati per giorni su una bacheca che non doveva esistere e hanno attaccato bersagli estranei al compito assegnato. Alcuni hanno rinunciato al proprio punteggio per raccogliere informazioni utili al gruppo, e nei loro ragionamenti hanno descritto la scelta come un sacrificio per il collettivo.
Amodei considera irrilevante il danno economico e serio il precedente: uno sciame con capacità superiori e lo stesso grado di disallineamento, scrive, potrebbe nell’arco di sei-dodici mesi costruire una botnet persistente capace di provocare danni per centinaia di miliardi di dollari. È lo stesso ragionamento che l’umanità ha applicato per decenni all’arma nucleare, e non è un’analogia mia: il saggio paragona un tetto alla velocità di auto-miglioramento ai trattati SALT, che limitavano il numero dei missili senza eliminare la deterrenza. Sul versante italiano gli attacchi involontari degli agenti IA sono già stati letti dall’avvocato Giuseppe Vaciago come una questione di valutazione del rischio a monte della sperimentazione.
Frodi da identità sintetica e phishing generato con l’AI
Il terzo rischio non dipende dai sistemi dell’impresa, ma da quelli di chi la attacca. L’analisi Deloitte sull’identità digitale e l’intelligenza artificiale segnala due fenomeni già in corso: la frode da identità sintetica, in cui i modelli generativi producono profili capaci di superare i controlli documentali sia automatici sia umani, e il phishing costruito su dati pubblici, profili social e comportamento passato, che alza il tasso di successo nella sottrazione delle credenziali.
Le due minacce colpiscono lo stesso punto dei processi aziendali, la verifica di chi sta dall’altra parte. Gli stessi modelli che producono l’identità falsa alimentano i sistemi di rilevamento delle anomalie usati per intercettarla, e la partita si sposta sulla qualità dei dati di addestramento e sulla presenza di meccanismi di controllo documentati.
Rallentare senza fermarsi, la proposta in tre fasi
Rallentare non significa interrompere l’addestramento dei modelli. Smettere di sviluppare la tecnologia, scrive Amodei, priverebbe l’umanità di benefici enormi o la consegnerebbe a poteri autoritari; svilupparla troppo in fretta sarebbe sconsiderato. La proposta si articola in tre fasi:
- valutatori terzi integrati nei laboratori,
- coordinamento fra le aziende dei Paesi democratici su standard comuni,
- coordinamento globale con i governi autoritari.
La prima è l’unica già trasformata in impegno. Anthropic la assume unilateralmente e darà a un gruppo esterno di revisione postazioni negli uffici, badge, computer aziendali e permessi analoghi a quelli dei team interni che valutano il rischio, con la facoltà di pubblicare le proprie conclusioni senza controllo editoriale dell’azienda, che può oscurare solo informazioni sensibili sul piano legale, commerciale o della sicurezza. Il modello richiamato è quello dei supervisori bancari distaccati presso gli intermediari vigilati. OpenAI ha annunciato di adottare la stessa misura.
Le misure invocate dai laboratori e la loro forza vincolante
Nessuna delle misure chieste dall’industria è oggi giuridicamente vincolante, mentre due obblighi europei sono già applicabili e riguardano profili che quelle richieste non toccano. La tabella distingue ciò che è impegno volontario da ciò che comporta una sanzione.
| Misura | Forza vincolante |
|---|---|
| Valutatori terzi integrati nei laboratori, con accesso paragonabile a quello dei dipendenti | Impegno volontario. Anthropic lo ha assunto unilateralmente nel settembre 2026 e OpenAI ha annunciato di adeguarsi; nell’Unione Europea non esiste un obbligo equivalente |
| Standard comuni fra le aziende dei Paesi democratici e limiti alla velocità di progresso | Nessuna. Negli Stati Uniti servirebbe una deroga antitrust, non concessa; nell’Unione Europea le verifiche più stringenti sui sistemi ad alto rischio decorrono dal 2 dicembre 2027 |
| Intese con i governi autoritari sui rischi acuti, dalla biologia agli attacchi informatici | Nessuna. Non esiste uno strumento giuridico che leghi Stati Uniti e Cina su questo profilo |
| Trasparenza verso chi interagisce con un sistema di IA o ne riceve i contenuti | Obbligo europeo dal 2 agosto 2026, ai sensi dell’articolo 50 del Regolamento (UE) 2024/1689, con sanzioni fino a 15 milioni di euro o al 3% del fatturato annuo mondiale |
| Alfabetizzazione in materia di IA del personale e di chi utilizza i sistemi | Obbligo europeo dal 2 febbraio 2025, ai sensi dell’articolo 4, riformulato come obbligo di mezzi dal Regolamento (UE) 2026/1744 |
Scadenze AI Act per imprese che usano intelligenza artificiale
Il cronoprogramma europeo si è allungato. Il Regolamento (UE) 2024/1689 è stato modificato dal Regolamento (UE) 2026/1744 dell’8 luglio 2026, pubblicato in Gazzetta ufficiale dell’Unione europea il 24 luglio ed entrato in vigore il 27 luglio, che ha differito al 2 dicembre 2027 gli obblighi sui sistemi ad alto rischio autonomi e al 2 agosto 2028 quelli sui sistemi incorporati nei prodotti. Sono le categorie che toccano valutazione del merito creditizio, selezione del personale e identificazione biometrica.
Ne deriva una divergenza di calendario che conviene mettere a bilancio: i laboratori statunitensi discutono di frenare su base volontaria mentre l’Unione Europea sposta in avanti di oltre un anno le verifiche più stringenti. Il rinvio non sospende però gli obblighi già applicabili, che riguardano l’alfabetizzazione del personale e la trasparenza verso clienti e pubblico, né riduce l’esposizione a un incidente: il danno da intelligenza artificiale segue regole proprie sull’onere della prova, in via di definizione anche sul versante italiano dopo la legge n. 132/2025.
I presìdi prima di delegare operazioni a un agente
La delega commerciale a un agente pone problemi diversi da quelli di un test di sicurezza, perché l’azione produce effetti verso terzi, e sul mercato italiano è già cominciata: nell’agentic commerce otto retailer su dieci si dicono disposti ad accettare agenti che acquistano al posto del cliente, mentre i pagamenti agentici sono attivi in Europa. Quando un sistema ordina, paga o attiva un rapporto per conto dell’azienda, la verifica dell’identità smette di riguardare solo la persona e comincia a riguardare il mandato. I controlli da predisporre prima di autorizzare la delega sono questi:
- delimitare per iscritto il mandato dell’agente, indicando operazioni consentite, importi massimi e controparti ammesse;
- attribuire all’agente credenziali proprie, distinguibili da quelle delle persone fisiche, con privilegio minimo e scadenza breve;
- conservare un registro che leghi ogni operazione all’agente che l’ha eseguita e alla persona che l’ha autorizzata;
- prevedere la revoca immediata della delega e una procedura di ripiego per le operazioni già avviate;
- verificare l’identità della controparte con strumenti resistenti ai documenti sintetici, quando l’agente attiva rapporti nuovi;
- informare il cliente quando l’interlocutore è un sistema di intelligenza artificiale, come richiede la disciplina europea sulla trasparenza.
L’ultimo punto è l’unico già sanzionato. Gli altri cinque traducono in pratica aziendale ciò che l’episodio OpenAI-Hugging Face ha mostrato in laboratorio: il canale di comunicazione non previsto è rimasto invisibile per giorni perché nessun registro collegava le azioni degli agenti a un mandato verificabile.
