La prompt injection è la tecnica con cui si inducono gli assistenti basati sull'intelligenza artificiale a ignorare le regole con cui sono stati costruiti. Funziona perché questi assistenti leggono in un unico flusso di testo sia le istruzioni di chi li ha creati sia i messaggi di chi ci scrive, e non hanno un modo affidabile di distinguerle. Chi ci scrive può quindi inserire istruzioni che l'assistente scambia per legittime. È, per la classifica OWASP dedicata alle applicazioni AI, il rischio numero uno.
Perché è possibile
Nel software tradizionale i comandi del programma e i dati dell'utente sono separati. Un assistente AI, no: riceve un unico testo in cui ci sono sia le sue istruzioni («sei l'assistente di questa azienda, rispondi solo su questi temi») sia il messaggio dell'utente, e non ha un modo sicuro di sapere dove finiscono le une e comincia l'altro. Chi ci scrive può sfruttare questa ambiguità inserendo istruzioni che l'assistente esegue come se fossero legittime.
Cosa rischia chi ha un chatbot
- Fargli dire cose fuori tono o imbarazzanti: danno di immagine, uno screenshot gira in fretta.
- Fargli rivelare le istruzioni riservate con cui è stato costruito.
- Se è collegato ai vostri dati, fargli mostrare informazioni che non dovrebbe: una fuga di dati.
- Se può compiere azioni (inviare, prenotare, modificare), spingerlo a farlo indebitamente.
Domande frequenti
- Uso un chatbot pronto: sono al sicuro?
- Dipende da come l'avete configurato. La piattaforma mette la sua parte, ma le istruzioni che gli avete dato, i dati a cui l'avete collegato e le azioni che gli avete permesso sono vostre scelte, ed è lì che nasce il rischio. Un chatbot pronto collegato al vostro archivio clienti espone i vostri dati come uno su misura.
- Il mio chatbot risponde solo sui prodotti: rischio comunque?
- Il rischio è basso finché resta così: al peggio lo si fa rispondere fuori tema. Cambia nel momento in cui lo collegate ai dati dei clienti o gli date la possibilità di agire. È in quel passaggio che va rivalutato.
- Posso provare da solo se è vulnerabile?
- In parte sì: la guida «Provare la prompt injection sul tuo assistente» spiega un metodo responsabile, sul vostro assistente. Dà un primo quadro. Le vie indirette e la valutazione di cosa può fare attraverso i sistemi collegati richiedono un test più approfondito.