Tra agenti AI che superano i confini previsti e dati esposti online, Commvault spiega perché la resilienza operativa conta quanto la conformità normativa

EU AI Act intelligenza artificiale pexels

Il 2 agosto, la maggior parte degli elementi rimanenti dellEU AI Act, la prima regolamentazione sullAI dellUnione Europea, entrerà in vigore portando maggiore disciplina e sicurezza. Cosa significa questo per le aziende? Come possono prepararsi?

Alcuni esperti parlano dei tipici problemi di gioventù di una tecnologia emergente, mentre altri intravedono gravi rischi di sicurezza che rimarranno difficili da arginare anche in futuro. I recenti eventi di luglio tendono a supportare questa seconda ipotesi, poiché i sistemi di AI distribuiti e testati hanno utilizzato capacità che hanno sorpreso i loro stessi sviluppatori.

Ad esempio, è emerso che lagente AI di OpenAI non ha compromesso solo Hugging Face, ma almeno altri quattro servizi. In un evento separato, le funzionalità dellintelligenza artificiale hanno trovato nuovi percorsi o interagito con servizi esterni consolidati, come lindice di Google nel caso del chatbot Claude. Gli utenti avevano in precedenza abilitato queste chat per la condivisione che, di conseguenza, sono state indicizzate dai motori di ricerca, diventando accessibili pubblicamente.

Lintelligenza artificiale è nuova, entusiasmante e chiaramente difficile da prevedere. Anche in un ambiente di test controllato, i modelli hanno trovato una via duscita dal contesto isolato. I sistemi di AIautonomi agiscono in modo orientato allobiettivo, tuttavia, spesso lo fanno in una modalità che non era né prevista, né intenzionale da parte dei loro sviluppatori.

Regole per una maggiore disciplina e unanalisi approfondita dei rischi

Sembra quasi ironico che così tanti incidenti si siano verificati a luglio. Dopotutto, il 2 agosto, lAI Act dellUE vedrà entrare in vigore la maggior parte dei suoi elementi, completando la creazione di un quadro normativo per i sistemi di AI basato sul rischio.

La normativa stabilisce le regole per sviluppatori e utenti di sistemi di AI a elevata pericolosità, coprendo, tra le altre, gestione del rischio, data governance, documentazione tecnica, obblighi di conservazione dei registri, trasparenza, supervisione umana, accuratezza, resilienza, cybersecurity e notifiche di incidenti gravi. Il suo obiettivo è promuovere unAI affidabile in Europa, garantendo allo stesso tempo che la tecnologia rimanga incentrata sullutente e non metta a rischio salute, sicurezza o diritti fondamentali dei cittadini dellUnion.

Alcune verità immutabili

Le aziende con progetti di AI propri o quelle che si avvalgono di servizi esterni dovrebbero ora valutare in quale misura le regole si applichino a loro dal punto di vista della governance e come ripensare i concetti esistenti. Per i responsabili IT e i CISO, il compito è chiaro: devono far evolvere il modello di sicurezza con la stessa rapidità con cui ladozione dellAI avanza nel loro ambiente.

Anche se lAI Act dellUE interessa lazienda solo marginalmente, valgono alcune verità immutabili:

Chiunque si prepari per la governance dellAI ha bisogno di dati affidabili e di uninfrastruttura AI resiliente, poiché solo in un ambiente ripristinabile è possibile mantenere le evidenze delle operazioni. Altrettanto importante è la capacità di rispondere a potenziali incidenti informatici, inclusi quelli guidati dallAI, che prendono di mira i sistemi di intelligenza artificiale e lintegrità dei loro dati.
Ogni agente AI dovrebbe essere trattato come unidentità digitale privilegiata, ricevendo solo i diritti di accesso strettamente necessari e sottoposto a monitoraggio costante per rilevare comportamenti anomali.
Le aziende dovrebbero rivedere continuamente gli elementi a cui può accedere un agente AI, invece di basarsi su supposizioni, in quanto i rischi per la sicurezza spesso nascono proprio dal divario tra le autorizzazioni previste e quelle effettivamente esistenti.
Dovrebbero inoltre allontanarsi da una mentalità puramente orientata alla prevenzione, dando per scontato che un incidente di sicurezza si verificherà o è già accaduto. LAI ha sfumato i confini tra sicurezza, gestione delle identità e ripristino, eppure molte imprese trattano ancora queste aree come discipline separate. Questo approccio non è più sostenibile, rendendo necessario un modello di resilienza operativa che riunisca i team competenti per rilevare rapidamente comportamenti anomali, isolare i sistemi colpiti e ripristinare dati puliti e affidabili prima che il problema si diffonda.
La trasparenza è un requisito chiave che entra in gioco il 2 agosto: deve essere chiaro che un utente sta interagendo con un agente AI o un chatbot. Se viene utilizzata lintelligenza emotiva o biometrica le informazioni generate devono essere etichettate per indicare se create artificialmente o falsificate, specialmente nel caso di alterazioni di immagini non consensuali.


Gli incidenti di luglio non dovrebbero scoraggiare le aziende dallutilizzare lAI, ma è necessario abbandonare lidea che i sistemi autonomi funzioneranno sempre come previsto. La lezione più importante è che la fiducia nellAI non deve mai essere data per scontata, ma verificata continuamente. La resilienza è altrettanto importante per consentire un ripristino rapido, anche quando i migliori controlli di sicurezza vengono aggirati.

Centinaia di utenti hanno reso inconsapevolmente accessibili liberamente su Internet le loro conversazioni con il chatbot AI Claude. Tali interazioni includevano ricerche legali, curriculum, codice sorgente, fasi di recovery per criptovalute, dati personali e molto altro. Si tratta, a rigor di termini, di una grave falla nella privacy che evidenzia la natura complessa degli strumenti di AI e le operazioni che questi eseguono al di fuori dei requisiti o della consapevolezza degli utenti,” sottolinea Edwin Passarella, Field CTO EMEAI di Commvault. “Le persone coinvolte avevano scelto di condividere i contenuti utilizzando una specifica funzione di Claude, ignare del fatto che sarebbero stati successivamente indicizzati dai motori di ricerca. Questo rappresenta una chiara violazione del GDPR per gli utenti e le aziende coinvolte, dimostrando inoltre con quanta rapidità possa verificarsi un data leakage nellattuale panorama dellintelligenza artificiale in continua evoluzione.