La scorsa settimana, Hugging Face ha rilevato e contenuto un agente AI che aveva compromesso la sua infrastruttura di produzione. L’agente stava eseguendo una valutazione interna delle capacità informatiche avanzate. Utilizzava una combinazione di modelli OpenAI (incluso GPT-5.6 Sol) e un modello pre-release più avanzato. Questi modelli operavano con rifiuti ridotti in ambito cyber, e i normali classificatori di produzione di OpenAI per le attività informatiche ad alto rischio erano stati intenzionalmente disattivati per permettere alla valutazione di misurare la capacità massima.
I modelli non hanno deciso spontaneamente di attaccare Hugging Face. Erano stati istruiti a risolvere un benchmark di cybersecurity chiamato ExploitGym. Ma si sono concentrati in modo ossessivo su quell’obiettivo ristretto, seguendo un percorso che nessuno aveva previsto. Il risultato: un’operazione cyber complessa e su più fasi, condotta dall’IA contro sistemi reali, senza accesso al codice sorgente.
Cosa hanno fatto realmente i modelli
La valutazione è stata eseguita all’interno di un ambiente di ricerca rigidamente isolato. L’accesso diretto a internet era limitato: i modelli potevano installare pacchetti solo attraverso un proxy e cache per registri di pacchetti di terze parti ospitati internamente.
Nonostante ciò, i modelli hanno utilizzato grande capacità computazionale cercando un modo per raggiungere Internet. Hanno scoperto e sfruttato una vulnerabilità zero-day in quel proxy cache del registro pacchetti, aumentato i privilegi e si sono spostati lateralmente attraverso l’ambiente di ricerca di OpenAI fino a raggiungere un nodo con accesso internet.
Una volta connessi, i modelli hanno dedotto che Hugging Face potesse ospitare modelli, dataset o soluzioni di test relative a ExploitGym, quindi hanno perseguito quell’ipotesi.
In un percorso documentato, i modelli hanno combinato credenziali rubate con vulnerabilità zero-day per trovare un percorso di remote-code-execution nell’infrastruttura di produzione di Hugging Face e ottenere soluzioni di test dal suo database di produzione. Il team di sicurezza di OpenAI ha identificato attività anomale internamente. Anche il team di sicurezza e gli agenti di Hugging Face hanno rilevato e fermato l’attività, e ne hanno avviato contenimento e ricostruzione forense utilizzando i propri modelli open-source.
Semplificare la descrizione dell’accaduto parlando di modello “impazzito” significa non comprendere questa lezione. I modelli fanno ciò che viene chiesto loro di fare. In questo caso, l’obiettivo era risolvere il benchmark, di per sé non era un problema. Il vero problema è stato quanto lontano sono riusciti ad andare nel perseguimento di quell’obiettivo.
Perseguire l’obiettivo aumenta il rischio: cinque motivi per cui questo succede
I controlli di sicurezza tradizionali sono stati costruiti per software deterministico e percorsi d’attacco prevedibili, ma gli agenti operano in modo differente.
Questi modelli hanno scoperto un percorso non previsto attraverso ambienti separati. Hanno concatenato vulnerabilità e hanno adattato le loro operazioni quando il percorso naturale non era disponibile. Hanno abbinato accessi legittimi e illegittimi e persistito fino a trovare le informazioni necessarie per completare il compito.
Un agente può ragionare su elementi diversi, come tool, sistemi, identità e dati. Se ogni singola azione può apparire di per sé corretta, dalla composizione di queste azioni può generarsi un risultato pericoloso.
Quindi cosa può fare un’azienda orientata all’AI per proteggersi contro azioni non intenzionali degli agenti? Ecco cinque concetti che dobbiamo comprendere e affrontare se vogliamo implementare agenti AI in modo sicuro ed efficace:
- La capacità dell’AI sta superando i controlli statici
Le policy statiche sono efficaci quando i team di sicurezza possono anticipare il comportamento che devono bloccare. Ma gli agenti avanzati possono scoprire percorsi che nessuno aveva anticipato.
In questo incidente, il percorso critico non è stata una richiesta malevola ovvia. Si è sviluppato attraverso scoperta di vulnerabilità, escalation di privilegi, movimento laterale, ricognizione esterna, uso di credenziali ed esecuzione remota. I controlli di sicurezza devono comprendere più del comando che viene eseguito: hanno bisogno di contesto sull’agente, l’applicazione, l’identità, l’azione richiesta e l’intento dietro di essa.
- L’AI opererà su entrambi i lati dell’incidente
L’AI ha abilitato l’attività offensiva. L’AI ha anche aiutato a rilevarla, contenerla e ricostruirla. Il team di sicurezza di Hugging Face ha usato i propri agenti e modelli open-source durante la risposta e la ricostruzione forense. OpenAI sta ora dando a Hugging Face accesso fidato a modelli avanzati per aiutare a rafforzare le sue difese.
Il futuro sarà sempre più disegnato dal confronto tra AI e AI. Questo significa:
– AI che scopre vulnerabilità.
– AI che concatena percorsi d’attacco.
– AI che rileva comportamenti anomali.
– AI che indaga su cosa è successo.
– AI che aiuta i difensori a rispondere alla velocità delle macchine.
Il giudizio umano rimane essenziale, ma se manca di supporto da parte dell’AI le sue operazioni faticheranno a eguagliare la velocità e il volume dell’attività agentica.
- Le protezioni del modello non possono essere il piano di controllo aziendale
OpenAI è stata chiara indicando come i suoi normali classificatori di produzione fossero intenzionalmente disabilitati per questa valutazione. Per questo, non è possibile descrivere questo incidente come un semplice fallimento delle normali protezioni di produzione.
Le protezioni del fornitore del modello rappresentano un primo livello. Ma non possono comprendere appieno le applicazioni, identità, dati, policy, tolleranza al rischio o contesto aziendale di ogni organizzazione. Un’azienda ha bisogno del proprio piano di controllo attorno agli agenti che implementa e permette ai dipendenti di usare.
Quel piano di controllo deve funzionare attraverso fornitori di modelli, agenti custom, agenti cloud e agenti endpoint. Deve comprendere cosa sta facendo un agente all’interno dell’organizzazione, non semplicemente quale modello ha generato la richiesta.
- Non è possibile dipendere interamente dall’approvazione umana
Un modello human-in-the-loop suona sicuro in teoria. Ma in pratica, anche questo approccio mostra importanti limitazioni. Gli agenti vengono implementati per eseguire operazioni che un utente non può fare manualmente. Con l’intensificarsi di queste operazioni, la capacità umana di controllo e comprensione cala drasticamente: i team di sicurezza non possono rivedere manualmente migliaia di agenti che operano su ogni applicazione e workflow, 24 ore al giorno.
L’incidente Hugging Face rinforza la scala di quel problema. Un umano non potrebbe ragionevolmente ispezionare ogni passo intermedio di un’operazione a lungo orizzonte e riconoscere il percorso d’attacco finale prima che il modello lo assembli. Il futuro della cybersecurity non sarà certo basato su umani che si difendono da soli contro l’AI. Sarà l’AI che aiuta i difensori a rilevare, contenere e rimediare attacchi guidati dall’AI alla velocità delle macchine. La sicurezza agentica ha bisogno di controlli che operino alla velocità delle macchine mantenendo il contesto aziendale.
- La prevenzione ha bisogno di controllo e resilienza
OpenAI e Hugging Face hanno rilevato e contenuto questo incidente. Investigazione e remediation sono in corso, ma incidenti futuri potrebbero muoversi più velocemente o creare cambiamenti distruttivi prima che i difensori possano fermarli. Le organizzazioni hanno bisogno della capacità di monitorare l’attività degli agenti, controllare azioni rischiose in tempo reale e rimediare l’impatto quando un agente causa danni.
L’incidente che ha coinvolto OpenAI e Hugging Face ha dimostrato come i modelli di frontiera possano sostenere operazioni cyber complesse, scoprire nuovi percorsi d’attacco e muoversi attraverso sistemi del mondo reale nel perseguimento di un obiettivo ristretto.
Ha posto un problema quanto mai concreto. La risposta non può essere quella di bloccare completamente l’accesso degli agenti, cosa che eliminerebbe la produttività che spinge le organizzazioni ad adottare l’AI. Regole statiche da sole non saranno in grado di rilevare comportamenti che nessuno aveva anticipato, ma la revisione umana da sola non può scalare.
Un modello di sicurezza per l’era agentica deve comprendere l’intento, applicare policy in tempo reale, rilevare deviazioni e recuperare quando i controlli falliscono.
Di Varun Grover, Director of Product Marketing for AI & SaaS di Rubrik
