Il pregiudizio di automazione è la tendenza ad accettare l'output di un sistema automatico senza verificarlo davvero. È il motivo per cui la supervisione umana, che quasi tutti mettono nero su bianco quando adottano un'automazione AI, smette di funzionare dopo poche settimane di esercizio. Nessuno decide di smettere di controllare: semplicemente, dopo trenta conferme identiche tutte corrette, la trentunesima si approva senza leggerla.
È un difetto di progettazione, non di serietà delle persone. Si affronta come qualsiasi difetto di progettazione: misurando, riducendo il numero di controlli e rendendo leggibili quelli che restano.
Pregiudizio di automazione: cosa dice la ricerca
Non è un'intuizione da convegno. La revisione sistematica di Goddard, Roudsari e Wyatt pubblicata sul Journal of the American Medical Informatics Association ha esaminato 74 studi sul tema e ha trovato un effetto solido e ripetibile: quando un sistema di supporto alle decisioni dà un consiglio sbagliato, il rischio che l'operatore prenda la decisione sbagliata cresce del 26% rispetto a chi lavora senza suggerimenti. Nei casi peggiori, tra il 6% e l'11% delle decisioni inizialmente corrette venivano cambiate in errate dopo aver letto il suggerimento della macchina.
La stessa revisione distingue due errori speculari: quelli di commissione, cioè seguire un consiglio sbagliato, e quelli di omissione, cioè non vedere un problema perché il sistema non l'ha segnalato. Il secondo è più insidioso, perché non lascia traccia.
Interessanti sono soprattutto i fattori che aumentano l'effetto, perché descrivono con precisione l'ufficio medio di una PMI: carico di lavoro alto, pressione del tempo, complessità del compito, inesperienza sull'attività specifica e fiducia mal riposta nello strumento. Inoltre, chi ha poca fiducia nelle proprie competenze accetta il suggerimento più facilmente. Non serve un'AI sofisticata per innescare il meccanismo: basta una scadenza.
L'altra faccia: quando le conferme diventano rumore
Esiste un guasto opposto e altrettanto documentato. Se il sistema chiede troppe conferme, le persone smettono di leggerle e le scartano tutte, comprese quelle che contavano. La revisione di Poly e colleghi su JMIR Medical Informatics, su 23 studi relativi agli avvisi nelle prescrizioni elettroniche, ha misurato tassi medi di scarto tra il 46,2% e il 96,2%. Il motivo non è la superficialità del personale, ma la ripetitività di segnalazioni con valore clinico minimo.
Accettare tutto e scartare tutto sembrano comportamenti opposti, ma hanno la stessa origine: troppe richieste di conferma identiche, che il cervello impara a trattare come un passaggio burocratico. Ecco perché una supervisione "su tutto" è peggio di una supervisione su poco ma fatta sul serio.
Cosa succede a chi lavora con l'AI tutto il giorno
Il dato più recente arriva dal lavoro presentato alla conferenza CHI 2025 da un gruppo di ricercatori Microsoft e Carnegie Mellon: 319 professionisti intervistati su 936 casi reali di uso dell'AI sul lavoro. Il risultato centrale è netto e va letto due volte: più uno è sicuro delle capacità dello strumento, meno pensiero critico applica; più uno è sicuro delle proprie competenze, più ne applica, ma percependo una fatica maggiore.
Le barriere segnalate sono quelle di qualsiasi reparto operativo: poca consapevolezza, motivazione limitata per pressione del tempo o perché "non è compito mio", difficoltà a giudicare una risposta in ambiti che non si conoscono. L'impegno cala soprattutto sui compiti di routine o percepiti a basso rischio, cioè esattamente quelli che si automatizzano per primi.
C'è però un secondo risultato utile per chi progetta processi. Il lavoro intellettuale non sparisce: si sposta. Dalla produzione del testo alla verifica del testo, all'integrazione delle risposte e alla supervisione del compito nel suo insieme. Tradotto in termini aziendali: se un'automazione fa risparmiare tre ore, una parte di quel guadagno va restituita al controllo. Chi mette a preventivo il risparmio lordo e non il tempo di verifica sta comprando un rischio, non un'efficienza.
Progettare una conferma che venga davvero letta
La contromisura non è "fate più attenzione". È ridurre il numero di conferme e cambiare la forma di quelle che restano. Ecco cosa funziona, in ordine di efficacia pratica.
- Poche conferme, sulle azioni giuste. Approvazione umana solo dove l'azione è irreversibile o esce verso l'esterno: un pagamento, un'email al cliente, la cancellazione di un dato. Su tutto il resto, registro e possibilità di annullare. Abbiamo raccontato questo criterio in dettaglio parlando di autonomia degli agenti AI e permessi.
- Informazione invece di raccomandazione. La revisione JAMIA indica tra i mitigatori più efficaci il presentare dati anziché una risposta già confezionata, e il mostrare il livello di confidenza accanto al suggerimento. Una schermata che dice "ecco i tre elementi da confrontare" produce più attenzione di una che dice "approva".
- Attrito calcolato. Lo studio di Buçinca, Malaya e Gajos su 199 partecipanti mostra che le "funzioni di forzatura cognitiva" — far esprimere la persona prima di mostrarle la risposta dell'AI, mostrare il suggerimento solo su richiesta, introdurre una pausa — riducono il pregiudizio di automazione più di qualsiasi spiegazione aggiuntiva. C'è un prezzo: nello stesso studio, i disegni più efficaci erano anche quelli valutati peggio dagli utenti. Vanno negoziati, non imposti di nascosto.
- Nessun pulsante predefinito su "approva". Se la conferma si può dare senza aprire il contenuto, la conferma non esiste.
- Controllo a campione, non a tappeto. Dieci pratiche su cento riviste davvero valgono più di cento riviste di corsa — a patto che il campione sia casuale e che il risultato finisca in un numero.
Misurare il pregiudizio di automazione con due numeri
Il pregiudizio di automazione si misura, ed è la parte che quasi nessuno implementa. Bastano due indicatori, entrambi ricavabili dai registri che un'automazione già produce.
Il primo è il tasso di approvazione: la percentuale di richieste confermate senza modifiche. Se per sei settimane è il 100%, il checkpoint è decorativo e va rimosso o riprogettato. Il secondo è il tempo tra notifica e risposta: se la mediana è di pochi secondi su un documento di due pagine, nessuno lo sta leggendo. Sono le stesse informazioni che servono per il monitoraggio di un'automazione AI, lette con un'altra domanda in testa: non "il sistema funziona?", ma "la persona sta ancora guardando?".
Cosa chiede la legge, e perché conviene comunque
Il legislatore europeo ha messo il problema nel testo. L'articolo 14 dell'AI Act chiede che chi sorveglia un sistema ad alto rischio sia messo in condizione di "rimanere consapevole della possibile tendenza a fare automaticamente affidamento o a fare eccessivo affidamento sull'output" — l'automation bias è nominato esplicitamente — oltre che di interpretare correttamente il risultato, decidere di non usare il sistema, ignorare o ribaltare l'output e fermare la macchina in uno stato sicuro.
L'obbligo riguarda i sistemi ad alto rischio, e l'automazione media di una PMI non lo è. Quella lista resta però una buona checklist per chiunque: chi sorveglia ha le competenze per capire l'output? Può dire di no? Sa dove si preme il pulsante di arresto? Se una risposta è incerta, la supervisione è solo sulla carta.
Da dove parte un'azienda
Tre mosse, nell'ordine. Primo: contare le conferme che il team riceve in una settimana e tagliare quelle che non riguardano azioni irreversibili. Secondo: misurare tasso di approvazione e tempo di risposta per un mese, trattando un tasso fermo al 100% come un allarme e non come un successo. Terzo: assegnare un nome, non un ufficio, a ogni controllo rimasto: la responsabilità diffusa è la prima causa di approvazione automatica.
Vale anche il contrario: se un controllo non viene mai esercitato, è più onesto toglierlo e investire in una verifica a campione collegata a un set di prova per valutare l'AI in azienda. Un controllo finto è peggio di nessun controllo, perché dà sicurezza senza il lavoro che la giustifica.
Studiollice progetta agenti e automazioni su misura, e la supervisione la disegniamo insieme al resto: quali azioni fermare, chi le conferma, quali numeri dicono che il controllo è vivo.