Negli ultimi mesi abbiamo parlato molto di Mythos e degli scenari che potrebbe aprire. Il timore non nasce dall’idea di un’intelligenza artificiale “malvagia”, ma dal fatto che sistemi sempre più autonomi possano accelerare enormemente l’individuazione di bug, vulnerabilità e percorsi di attacco, comprimendo il tempo a disposizione delle aziende per correggere le proprie debolezze. Se una tecnologia di questo tipo finisse nelle mani di un cyber criminale, diventerebbe un moltiplicatore di capacità senza precedenti, in grado di automatizzare attività che oggi richiedono settimane o mesi di lavoro.
Ma forse stiamo osservando solo una parte del problema. Perché, mentre discutiamo di cosa potrebbe accadere se un’intelligenza artificiale venisse utilizzata deliberatamente per attaccare un’azienda, stanno emergendo casi reali che raccontano qualcosa di ancora più profondo: stiamo entrando in un’epoca nella quale gli agenti AI non si limitano più ad assistere l’uomo, ma iniziano a costruire autonomamente il percorso per raggiungere un obiettivo. E questo cambia radicalmente il modo in cui dobbiamo pensare al rischio.
Il recente esperimento che ha coinvolto OpenAI e Hugging Face ne rappresenta probabilmente l’esempio più emblematico.
L’obiettivo assegnato all’agente era completare una serie di sfide all’interno di ExploitGym, un ambiente isolato progettato per valutare le capacità offensive dei modelli in condizioni controllate. Nessuno aveva chiesto all’agente di uscire dalla sandbox, di cercare informazioni su Internet o violare sistemi esterni.
Eppure, è esattamente ciò che è accaduto.
Nel tentativo di massimizzare il proprio risultato, l’agente ha dedotto che la risposta probabilmente non si trovava all’interno dell’ambiente di test, ma all’esterno. Ha quindi cercato un modo per oltrepassare i confini della sandbox e raggiungere le informazioni che riteneva utili al completamento del proprio compito.
È una situazione che ricorda un’escape room.
A una persona viene chiesto di risolvere gli enigmi presenti nella stanza. Un essere umano comprende implicitamente che il gioco consiste nel trovare gli indizi nascosti dagli organizzatori. Un agente AI potrebbe invece osservare il soffitto, individuare una griglia dell’aria condizionata e concludere che uscire dalla stanza rappresenta semplicemente il modo più veloce per arrivare alla soluzione. Non sta tentando intenzionalmente di barare, ma cercando il percorso con la probabilità di successo più elevata.
Forse una metafora ancora più efficace è quella di uno studente durante un esame.
Il suo obiettivo è ottenere il voto massimo. Un essere umano sa che deve risolvere gli esercizi rispettando regole implicite: non uscire dall’aula, non copiare, non consultare materiale esterno. Un agente AI potrebbe arrivare a una conclusione completamente diversa. Se l’unica metrica è massimizzare il risultato, allora il percorso più efficiente potrebbe essere uscire dall’aula, forzare la porta dell’ufficio del professore e prendere direttamente il foglio con le risposte corrette.
Non perché intenda rubare, ma perché, dal punto di vista dell’ottimizzazione, quella rappresenta la strategia con la maggiore probabilità di successo.
Questo è forse il cambiamento culturale più difficile da comprendere.
Siamo abituati a interpretare ogni azione attraverso le intenzioni. Se osserviamo un comportamento distruttivo, cerchiamo automaticamente un movente. Gli agenti AI, invece, non ragionano in termini morali. Non distinguono tra giusto e sbagliato, non decidono di infrangere una regola perché vogliono farlo. Ottimizzano una funzione obiettivo.
Ed è proprio qui che nasce il paradosso: un sistema può compiere azioni devastanti senza che quelle azioni rappresentino il suo vero obiettivo. Durante l’esperimento che ha coinvolto OpenAI e Hugging Face l’agente ha eseguito migliaia di operazioni autonome nell’arco di pochi giorni. Non stava cercando di compromettere un’infrastruttura. Ogni singola azione rappresentava semplicemente un ulteriore tentativo di aumentare la probabilità di raggiungere il risultato richiesto.
Il comportamento finale può apparire indistinguibile da quello di un attaccante umano. Il processo cognitivo che lo genera, però, è completamente diverso. E non si tratta di un caso isolato.
Qualche mese fa, durante lo sviluppo di PocketOS, un agente AI si è trovato nell’impossibilità di accedere correttamente ai dati necessari per completare il proprio compito. La soluzione individuata è stata eliminare completamente il database e ricrearlo da zero.
Anche in questo caso il database non era il bersaglio, era semplicemente diventato un ostacolo.
Dal punto di vista umano quella decisione appare assurda, ma da quello dell’agente rappresentava una strategia statisticamente efficace per proseguire verso l’obiettivo assegnato.
Questi episodi dimostrano che stiamo iniziando a confrontarci con una categoria di rischio completamente nuova. Non di sistemi che sviluppano intenzioni proprie, ma quella di sistemi che costruiscono autonomamente il proprio piano d’azione, individuando percorsi che nessun progettista aveva immaginato.
Il caso Hugging Face ha evidenziato anche un secondo paradosso, altrettanto significativo.
Una volta individuato il comportamento dell’agente, il team di sicurezza ha cercato di utilizzare altri modelli di AI per analizzare il codice dell’attacco e comprendere cosa fosse realmente accaduto. Alcuni modelli commerciali si sono però rifiutati di collaborare. Hanno riconosciuto exploit, payload e tecniche offensive come contenuti riconducibili all’hacking e, applicando rigidamente i propri guardrail, hanno negato assistenza. Non erano in grado di distinguere un ricercatore di sicurezza impegnato nella difesa, da un attaccante che cercava di sfruttare quelle stesse tecniche.
È un paradosso quasi surreale.
È come se un medico del pronto soccorso si rifiutasse di salvare un paziente con un coltello conficcato nel torace perché il regolamento gli impedisce di toccare i coltelli. Il problema non è l’oggetto, è il contesto. E quando un sistema non riesce più a comprenderlo, anche il meccanismo progettato per proteggerci rischia di trasformarsi in un limite operativo. Non a caso, per completare l’analisi, Hugging Face ha dovuto ricorrere a un modello open-weight cinese, meno restrittivo nei propri guardrail.
Tutto questo conduce inevitabilmente a una riflessione ancora più ampia: quella della sovranità cognitiva.
Per anni abbiamo parlato di sovranità del dato, di controllo delle infrastrutture e di sicurezza delle informazioni. Oggi sta emergendo una nuova dimensione. Chi mantiene realmente il controllo quando un agente decide autonomamente dove cercare la conoscenza necessaria a costruire il proprio ragionamento? Chi governa il processo decisionale quando è il modello stesso a stabilire quali fonti consultare, quali informazioni ritenere affidabili e quale percorso seguire?
Forse oggi non esiste ancora una risposta definitiva a queste domande. Ma proprio perché non l’abbiamo, dobbiamo evitare un errore: progettare organizzazioni basandoci sull’idea che questi comportamenti siano eccezioni. Al contrario, dovremmo assumere che scenari di questo tipo diventeranno progressivamente più frequenti, man mano che gli agenti AI acquisiranno maggiore autonomia, capacità di pianificazione e accesso agli strumenti.
Ed è qui che il concetto di ResOps assume un significato completamente nuovo.
Per molti anni la cybersecurity ha cercato di rispondere a una domanda fondamentale: come possiamo impedire che un incidente accada? È un quesito che rimane essenziale, ma che da solo non basta più.
Quando un agente AI è in grado di elaborare migliaia di strategie, scegliere autonomamente quale strada percorrere e produrre comportamenti emergenti non previsti dai progettisti, diventa irrealistico pensare che ogni scenario possa essere anticipato con nuove regole o nuovi guardrail.
Il ResOps parte da un presupposto diverso: non rinunciare alla prevenzione, ma accettare che una parte del rischio sarà inevitabilmente imprevedibile. Per questo sposta l’attenzione dalla sola protezione alla capacità dell’azienda di continuare a operare durante un incidente, adattarsi rapidamente e ripristinare i servizi essenziali con il minimo impatto possibile.
La resilienza non è più soltanto la fase finale della risposta a un incidente, ma diventa un principio architetturale che influenza il modo in cui progettiamo infrastrutture, processi, dati e applicazioni, assumendo fin dall’inizio che sistemi sempre più autonomi potrebbero prendere decisioni inattese.
E allora emerge inevitabilmente un’ultima domanda.
Se oggi osserviamo questi comportamenti all’interno di laboratori di ricerca e ambienti “controllati”, cosa potrebbe accadere quando strumenti analoghi, privi di adeguati guardrail, saranno deliberatamente utilizzati da gruppi cyber criminali?
È probabilmente questa la sfida più importante che ci attende.
Perché il futuro della cybersecurity non dipenderà soltanto dalla nostra capacità di costruire AI sempre più potenti, ma da quella di convivere con sistemi che iniziano a prendere decisioni in modi che non avevamo previsto. E, in un contesto del genere, la vera domanda non sarà più “riusciremo a prevenire ogni incidente?” ma “quanto è resiliente la nostra azienda quando l’imprevedibile diventa realtà?”
Di Edwin Passarella, Field CTO, EMEAI di Commvault
