Quando l'AI inventa: perché succede e come si riduce

Non è un difetto da correggere, è come funziona lo strumento. Si gestisce con l'architettura, non con la speranza.

8 minDirezione, IT, chi valuta progetti AI

Cosa portare a casa

Risposta breve

Un modello linguistico produce il testo più plausibile, non quello vero: quando non ha l'informazione, ne genera una verosimile. Non si elimina, si riduce — ancorando le risposte a fonti fornite, obbligando alla citazione, permettendo di dire «non lo so» e verificando con un insieme di domande note.

Il modello genera il testo più plausibile, non il più vero.

L'ancoraggio a fonti fornite è l'intervento che riduce di più il rischio.

Il caso pericoloso non è l'errore evidente: è quello credibile.

AI Layer

CONSOO

Torna alle guide

Perché succede

Un modello linguistico non consulta un archivio di fatti: produce la continuazione più probabile di un testo. Quando la domanda riguarda qualcosa che non conosce, la continuazione più probabile è comunque una risposta ben formata — con numeri plausibili, nomi credibili e un tono sicuro. Non sta mentendo: sta facendo esattamente ciò per cui è costruito.

I quattro interventi che funzionano

InterventoQuanto riduce il rischioCosto
Ancorare le risposte a documenti fornitiMoltoÈ il progetto stesso
Obbligare alla citazione della fonteMoltoNullo, va solo chiesto
Permettere e premiare «non lo so»MoltoNullo
Insieme di domande di controlloAlto, nel tempoMezza giornata iniziale
Vietare i temi fuori perimetroAltoNullo
Far verificare a una persona sopra sogliaTotale su quei casiIl tempo della verifica
Cambiare modelloPocoVariabile

L'ultima riga è quella su cui si concentra la discussione e quella che incide meno. Un modello migliore inventa un po' meno, ma inventa: la differenza la fa l'architettura intorno.

Il permesso di non sapere

È l'intervento più sottovalutato e costa zero. Un assistente istruito a rispondere sempre risponderà sempre, anche quando non ha materiale. Uno a cui è stato detto esplicitamente che «non lo so, ti metto in contatto con una persona» è una risposta corretta e apprezzata, la userà.

  • Va scritto nelle istruzioni in modo esplicito, non lasciato implicito.
  • Va reso facile: un percorso verso una persona sempre disponibile.
  • Va misurato: quante volte dice di non sapere, e su cosa. È l'elenco di cosa manca nei vostri contenuti.
  • Non va penalizzato: un assistente che dice spesso di non sapere su temi fuori perimetro sta funzionando correttamente.

Dove mettere il limite

AmbitoCosa impostiamo
Prezzi negoziati e scontiNon risponde: rimanda a una persona
Condizioni contrattualiCita il documento, non riformula
Tempi di consegnaSolo se legge un dato reale, mai stimati
DisponibilitàSolo dal sistema, mai dedotta
Riferimenti normativiCita la fonte e invita a verificare
Consigli medici, legali, fiscaliNon risponde, per nessun motivo

Sono limiti che si impostano una volta e che valgono per sempre. Costano nulla e rimuovono la maggior parte dei casi in cui un errore diventerebbe un problema reale.

Risorse collegate utili

Domande frequenti

Perché l'AI inventa risposte?

Perché produce la continuazione più plausibile di un testo, non consulta un archivio di fatti. Quando non ha l'informazione, la continuazione più probabile resta una risposta ben formata, con numeri e riferimenti credibili.

Si può eliminare del tutto?

No, si riduce. Gli interventi che funzionano sono ancorare le risposte a documenti forniti, obbligare alla citazione, permettere esplicitamente di dire «non lo so» e verificare con un insieme di domande note.

Cambiare modello risolve?

Poco. Un modello migliore inventa un po' meno, ma inventa comunque. La differenza sostanziale la fa l'architettura intorno — cosa gli viene fornito e cosa gli è permesso dire — non la scelta del modello.

Qual è il caso davvero pericoloso?

Non la risposta assurda, che chiunque riconosce, ma quella verosimile: un tempo di consegna vicino a quello vero, una compatibilità quasi giusta. Passa i controlli superficiali e arriva al cliente.

Su cosa non deve rispondere un assistente aziendale?

Su prezzi negoziati, condizioni contrattuali riformulate, tempi e disponibilità non letti da un dato reale, e su consigli medici, legali o fiscali. Il criterio: se una risposta sbagliata creerebbe un impegno da onorare o ritirare, quel tema non va lasciato all'assistente.

Prima di aprire un assistente ai clienti, definiamo insieme su cosa non deve rispondere: è mezz'ora che evita il problema vero.

CONSOO trasforma idee su software, AI e integrazioni in un percorso tecnico chiaro per PMI.

  • 30 minuti, online
  • Nessun impegno
  • Analisi del tuo caso reale
  • Risposta entro 24 ore