L'equivoco da chiarire
«Addestrare l'AI sui nostri documenti» è la formula che si sente più spesso, e descrive una cosa che quasi nessuna azienda ha motivo di fare: riaddestrare un modello è costoso, richiede moltissimi esempi, va rifatto a ogni aggiornamento dei documenti e produce un sistema che non sa dire da dove viene una risposta.
| Riaddestrare il modello | Recuperare e rispondere | |
|---|---|---|
| Costo | Alto | Contenuto |
| Aggiornamento di un documento | Va rifatto tutto | Si reindicizza quel file |
| Citazione della fonte | Impossibile | Naturale |
| Controllo dei permessi | Molto difficile | Si applicano ai documenti |
| Rimuovere un documento | Praticamente impossibile | Si toglie dall'indice |
| Quando serve | Casi rari e molto specifici | Praticamente sempre |
Come funziona, in quattro passaggi
- 01
I documenti vengono divisi in parti
Pezzi di dimensione ragionevole, che mantengano un senso compiuto. Un capitolo intero è troppo, una riga è troppo poco: è una scelta che influenza la qualità delle risposte più di quanto sembri.
- 02
Ogni parte viene indicizzata per significato
Non per parola esatta. È il motivo per cui chi chiede «quanto dura la garanzia» trova anche il paragrafo che parla di «periodo di copertura».
- 03
La domanda recupera i pezzi pertinenti
Pochi, quelli che riguardano davvero la domanda. Se il recupero sbaglia, il modello risponderà bene su materiale sbagliato.
- 04
Il modello risponde solo su quei pezzi
Con l'istruzione esplicita di non usare altro e di dire quando non trova. È qui che si guadagna l'affidabilità.
Cosa determina se funziona
| Fattore | Impatto | Cosa fare |
|---|---|---|
| Quali versioni dei documenti valgono | Decisivo | Stabilirlo prima di indicizzare |
| Come sono divisi i documenti | Alto | Parti che mantengano un senso compiuto |
| Qualità dei PDF scansionati | Alto | Verificare l'estrazione su un campione |
| Presenza di tabelle e schemi | Alto | Vanno trattati a parte: il testo lineare li rovina |
| Numero di documenti | Basso | Non è la quantità a fare la qualità |
| Modello scelto | Medio | Meno di quanto si creda, se il recupero è buono |
L'ultima riga sorprende molti: cambiare modello migliora poco se il problema è il recupero. È come cambiare l'oratore quando il problema è che gli si passano le note sbagliate.
Come si verifica che risponda bene
Un insieme di controllo, da rieseguire nel tempo
- Venti o trenta domande vere, con la risposta corretta scritta accanto.
- Domande facili e domande sui casi limite, non solo le prime.
- Almeno tre domande la cui risposta non c'è: deve dire di non saperla.
- Un paio di domande la cui risposta è cambiata: deve usare la versione valida.
- Il tutto rieseguito a ogni cambio di modello, di configurazione o di documenti.
Senza questo insieme non si sa se una modifica ha migliorato o peggiorato, e i peggioramenti sono silenziosi: nessuno segnala una risposta un po' meno buona. È mezza giornata di lavoro iniziale che rende misurabile tutto il resto.