
Check Point Research ha individuato e segnalato una vulnerabilità che consentiva di aggirare il “Lockdown Mode” di ChatGPT, un’impostazione di sicurezza opzionale progettata specificamente per ridurre l’esfiltrazione di dati causata dalla prompt injection. La ricerca mette in luce una preoccupazione più ampia per il settore: anche quando una piattaforma di IA implementa un controllo di sicurezza dedicato, una debolezza in un’altra parte dello stack applicativo può creare una via alternativa per aggirarlo.
OpenAI ha informato CPR di aver rimosso le autorizzazioni della sandbox che consentivano l’utilizzo di tale tecnica. CPR ha testato nuovamente la vulnerabilità e conferma che il metodo di sfruttamento descritto nella ricerca non funziona più. CPR non ha trovato alcuna prova che la vulnerabilità sia stata sfruttata in ambiente reale.
La modalità Lockdown di ChatGPT ha lo scopo di rendere significativamente più difficile l’esfiltrazione dei dati, limitando i potenziali canali in uscita, tra cui l’accesso web in tempo reale, le immagini ospitate su Internet e le richieste di rete a Canvas, disabilitando al contempo funzionalità quali Deep Research, Agent Mode, i connettori in tempo reale e il download di file. Tuttavia, i ricercatori di CPR hanno scoperto che la sandbox di anteprima delle pagine HTML di ChatGPT (componente separato dell’applicazione utilizzato per il rendering dei contenuti HTML) conservava autorizzazioni per i popup accessibili tramite frame annidati.
A seconda dello scenario, un prompt o un GPT (Generative Pre-trained Transformer) malevolo, ovvero un modello linguistico di grandi dimensioni basato sull’intelligenza artificiale e sul deep learning, progettato per comprendere, elaborare e generare testo simile a quello umano, o una chat condivisa potrebbero potenzialmente innescare l’attacco. Nell’applicazione desktop ChatGPT basata su Electron, il comportamento dei popup funzionava senza alcun intervento da parte dell’utente. Il CPR ha dimostrato che un GPT malevolo poteva divulgare silenziosamente i messaggi della chat a un server controllato dall’autore dell’attacco mentre la vittima stava conversando, trasformando il problema in un potenziale scenario di esfiltrazione dei dati “zero-click”.
Un pop-up controllato dall’attaccante poteva mantenere l’icona dell’applicazione ChatGPT pur visualizzando titoli e contenuti controllati dall’autore stesso, facendo apparire un tentativo di phishing o un falso aggiornamento dell’applicazione all’interno di un’interfaccia familiare e affidabile. Inoltre, è stato dimostrato un potenziale scenario di furto delle credenziali manipolando la finestra principale dell’applicazione e reindirizzando un utente disconnesso verso una pagina di autenticazione controllata dall’autore dell’attacco. La distribuzione del malware nell’applicazione desktop non era di tipo “zero-click”: la vittima avrebbe comunque dovuto cliccare su un link per scaricare un file.
Non si tratta semplicemente di un altro esempio di prompt injection. La scoperta più importante è che un controllo di sicurezza creato per contenere le conseguenze di prompt injection potrebbe essere compromesso da una vulnerabilità presente in un’altra parte della piattaforma.
Gli assistenti IA non sono più solo modelli conversazionali. Combinano sempre più spesso modelli con applicazioni per browser e desktop, livelli di rendering dei contenuti, sandbox, ambienti di esecuzione del codice, file, connettori e servizi esterni. Ogni componente può avere i propri controlli di sicurezza, ma la protezione offerta all’utente dipende in ultima analisi dal modo in cui tali componenti interagiscono tra loro.
Ciò offre un insegnamento importante per l’intero settore dell’IA: proteggere il modello non equivale a proteggere il sistema di IA. Una restrizione applicata a un determinato livello può risultare efficace contro il percorso previsto, mentre un’altra funzionalità può involontariamente fornire un percorso alternativo che porta allo stesso risultato, soprattutto considerando che i dipendenti utilizzano sempre più spesso gli assistenti IA nei flussi di lavoro quotidiani che possono coinvolgere informazioni aziendali riservate, documenti caricati e altri contesti sensibili. Se rimane disponibile un percorso non individuato che aggira una modalità soggetta a restrizioni, gli utenti potrebbero riporre in quel controllo una fiducia maggiore di quella che l’architettura dell’applicazione nel suo complesso è in grado di sostenere.
Le organizzazioni non dovrebbero considerare nessuna singola modalità “ristretta”, “sicura” o “in lockdown” come un confine di sicurezza completo. L’adozione dell’IA in ambito aziendale richiede invece un approccio a più livelli che includa:
- Visibilità sull’utilizzo dell’IA: comprendere quali servizi di IA utilizzano i dipendenti e dove vengono condivise le informazioni aziendali.
- Controlli sui dati sensibili: definire e far rispettare quali informazioni i dipendenti possono fornire a servizi di IA di terze parti.
- Una visione della sicurezza a livello di sistema: valutare le applicazioni, i runtime, le sandbox, i livelli di rendering, gli strumenti e i connettori che circondano il modello, non solo il modello stesso o i suoi meccanismi di protezione.
- Convalida continua: verificare nuovamente le ipotesi e i confini di sicurezza man mano che le piattaforme di IA aggiungono nuove funzionalità e integrazioni.
- Riduzione dell’impatto: limitare le informazioni sensibili a disposizione di un servizio di IA in modo che una vulnerabilità in una piattaforma di terze parti non esponga automaticamente tutto ciò che è disponibile all’utente.
“Man mano che gli assistenti basati sull’intelligenza artificiale si evolvono da semplici chatbot a piattaforme connesse in grado di accedere ai dati, eseguire codice e interagire con altri sistemi, aprono anche nuove vie agli aggressori che i modelli di sicurezza tradizionali non sono mai stati progettati per affrontare”, afferma Pedro Drimel Neto, Malware Analyst, Team Lead, di Check Point Research. “Questa ricerca ci ricorda che la sicurezza dell’IA non può limitarsi al modello né affidarsi a un unico controllo protettivo: le organizzazioni devono avere visibilità su come viene utilizzata l’IA, imporre limiti rigorosi sui dati sensibili e sugli accessi e adottare una sicurezza a più livelli nell’intero ambiente dell’IA. L’obiettivo non è rallentare l’adozione dell’IA, ma garantire che la sicurezza si evolva con la stessa rapidità della tecnologia e della nuova superficie di attacco che essa crea.”































































