La regola, prima del metodo
Le due domande che contano più di ogni frase
L'errore di chi prova per la prima volta è concentrarsi sulla frase che «rompe» l'assistente. La frase è solo il grimaldello: quello che decide la gravità sono due cose a monte. Cosa sa l'assistente — se ha accesso a documenti, dati dei clienti, istruzioni riservate — e cosa può fare — se può solo rispondere, o anche inviare email, aprire ticket, modificare dati. Un assistente che sa poco e può poco, anche se manipolato, fa danni ridicoli. Uno che sa tutto e può agire, manipolato, è un problema serio. Il test comincia da qui.
| Può solo rispondere | Può compiere azioni | |
|---|---|---|
| Sa solo cose pubbliche | Rischio basso: al peggio parla a sproposito | Rischio medio: azioni indebite ma su dati non sensibili |
| Ha accesso a dati riservati | Rischio alto: può rivelarli | Rischio critico: rivela e agisce |
Prima di provare qualsiasi frase, collocate il vostro assistente in questa griglia. È la cosa che decide quanto vi dovete preoccupare del risultato.
Il metodo, sul vostro assistente
- 01
Fissate cosa dovrebbe rifiutare
Scrivete le regole che gli avete dato: su cosa non deve rispondere, cosa non deve rivelare, cosa non deve fare. Sono queste le regole di cui verificherete la tenuta.
- 02
Provate a fargli ignorare le sue istruzioni
Con richieste che, in modi diversi, gli chiedono di mettere da parte le regole date. Non cercate la formula: variate il modo, perché è così che varierà chi ci proverà davvero.
- 03
Provate a fargli rivelare le sue istruzioni
Chiedetegli, in vari modi, di mostrarvi le indicazioni con cui è stato configurato. Se le rivela, avete trovato la porta della classe LLM02: espone come funziona e cosa sa.
- 04
Se ha accesso a dati, provate a estrarli
Verificate se, aggirando le regole, riuscite a fargli mostrare dati a cui non dovrebbe dare accesso in quel contesto. È il test più importante se l'assistente è collegato ai vostri archivi.
- 05
Se può agire, provate a fargli compiere un'azione
Con la massima cautela e su dati di prova: verificate se lo si può spingere a compiere un'azione che non era prevista. È il test che rivela il rischio più alto.