Valutare un'AI in azienda è il passaggio che quasi tutti saltano. Si guarda una classifica di modelli, si sceglie quello in cima, si attiva l'abbonamento e si spera che funzioni. Poi, tre mesi dopo, nessuno sa dire se lo strumento stia lavorando bene o male: si va a sensazione. Il problema non è la tecnologia, è che manca un metro di misura costruito sul lavoro vero dell'impresa.
La buona notizia è che quel metro si costruisce in pochi giorni e non richiede un reparto di data science. Richiede però di smettere di guardare i punteggi pubblici e iniziare a guardare i propri casi.
Perché i benchmark pubblici dicono poco sulla tua azienda
I benchmark sono test standardizzati che misurano quanto un modello è bravo a rispondere a domande di matematica, a scrivere codice o a superare esami universitari. Servono ai ricercatori per confrontare i progressi. Servono molto meno a un imprenditore, per tre motivi concreti.
Il primo è la saturazione. L'AI Index 2026 di Stanford registra che su SWE-bench Verified, il test di riferimento per la scrittura di codice, i modelli di punta sono passati dal 60% a quasi il 100% in un anno. Quando tutti i candidati prendono trenta, l'esame non distingue più nessuno. Un paper del 2026 di Mark Esposito e Liu Zhang chiama questo fenomeno benchmark ceiling: il segnale utile si concentra nelle poche domande davvero difficili, che costano care da scrivere perché servono esperti veri.
Il secondo è la contaminazione. Molti test circolano su internet da anni e finiscono nei dati di addestramento dei modelli. Un punteggio alto può significare capacità reale oppure semplicemente che il modello ha già visto quelle domande.
Il terzo è il più insidioso: la competenza dell'AI è irregolare. Lo stesso rapporto di Stanford segnala che un modello capace di vincere una medaglia d'oro alle Olimpiadi Internazionali della Matematica legge correttamente un orologio analogico solo nel 50,1% dei casi. Bravissimo dove non te lo aspetti, incapace dove daresti per scontato. Nessuna classifica generale può prevedere in quale delle due zone cadrà il tuo processo aziendale.
Uno studio su 25 dataset di quattro settori — finanza, legale, cybersicurezza e sostenibilità — ha confrontato tredici modelli su compiti aziendali reali. Il risultato è che le prestazioni cambiano radicalmente da un dominio all'altro: nessun modello vince ovunque, e la scelta giusta dipende dal compito specifico. Tuttavia questa è esattamente l'informazione che una classifica unica non può darti.
Cosa vuol dire valutare un'AI in azienda
Valutare un'AI in azienda significa una cosa sola: definire prima cosa consideri un buon risultato, poi misurare quanto spesso lo strumento ci arriva. La documentazione tecnica di Anthropic sui criteri di successo lo dice senza giri di parole: un criterio deve essere specifico, misurabile, raggiungibile e rilevante. "Il modello deve classificare bene i messaggi" non è un criterio. "Deve smistare correttamente almeno il 90% delle email nella casella giusta, su un campione di 200 messaggi reali dello scorso trimestre" lo è.
Inoltre, la qualità non è mai una dimensione sola. Le categorie da tenere d'occhio sono fondamentalmente otto: fedeltà al compito, coerenza tra risposte simili, pertinenza, tono e stile, gestione dei dati riservati, uso corretto del contesto fornito, tempo di risposta e costo per chiamata. Un assistente che risponde benissimo in venti secondi è inutile allo sportello. Uno velocissimo che ogni tanto cita un prezzo inventato è peggio che inutile.
Questa è anche la ragione per cui la scelta del fornitore non si decide sulla brochure. Come abbiamo scritto parlando di quale modello AI scegliere per la tua azienda, il modello giusto è quello che supera la tua prova, non quello più potente in assoluto.
Come si costruisce un set di prova interno
Il set di prova è semplicemente una raccolta di casi reali con la risposta che consideri corretta. Si costruisce così.
- Pesca dallo storico, non dalla fantasia. Prendi da 30 a 100 casi realmente accaduti: email ricevute, richieste di preventivo, ticket, documenti da riassumere. I casi inventati sono sempre più facili di quelli veri.
- Includi i casi sporchi. La richiesta ambigua, il messaggio lunghissimo, quello fuori tema, quello scritto male, quello scritto in dialetto. È lì che l'AI sbanda, ed è lì che ti serve sapere come si comporta.
- Scrivi la risposta attesa accanto a ogni caso, o almeno i criteri per giudicarla corretta.
- Tienine una parte da parte. Se aggiusti le istruzioni guardando tutti i casi, finisci per costruire uno strumento bravo solo su quelli. Una quota di casi mai visti resta l'unica prova onesta.
Una nota controintuitiva ma utile: sulle prove conviene privilegiare la quantità. Cinquanta casi giudicati in modo automatico e un po' grossolano dicono più di dieci casi valutati a mano con cura. Il rumore si compensa, la scarsità di dati no.
Chi assegna il voto: codice, modello giudice o persona
Esistono tre modi di dare il voto, e vanno combinati. Il controllo automatico vale per tutto ciò che ha una risposta netta: la categoria assegnata è quella giusta, l'importo estratto dalla fattura coincide, il campo obbligatorio è presente. È gratis, immediato e ripetibile.
Il modello giudice serve per le qualità sfumate: il tono è cortese? La risposta resta dentro le informazioni fornite? La regola pratica è usare un modello diverso da quello che ha prodotto il testo, altrimenti si valuta da solo e si dà ragione. Funziona bene per giudizi binari (sì/no) o su scala da 1 a 5.
La persona resta indispensabile su un campione ridotto e sulle decisioni delicate. Non per rileggere tutto: per stabilire dove si trova l'asticella e per controllare che il modello giudice giudichi come giudicherebbe l'azienda.
Un test una tantum non basta: serve un controllo continuo
La valutazione fatta prima di partire misura il giorno zero. Poi i fornitori aggiornano i modelli, il linguaggio dei clienti cambia, si aggiungono documenti nuovi al contesto. Le prestazioni si spostano, e quasi sempre nessuno se ne accorge finché non arriva un reclamo.
Il rimedio è banale nella forma e prezioso nella sostanza: rieseguire il set di prova a ogni cambio di modello, di istruzioni o di fonte dati, e conservare il punteggio. Serve anche a capire in fretta cosa ha peggiorato le cose, perché ogni risultato resta legato alla versione esatta che l'ha prodotto. Non è un caso che lo stesso AI Index registri 362 incidenti documentati legati all'AI nel 2025, contro i 233 dell'anno prima: la capacità cresce più in fretta dei controlli.
Vale la pena aggiungere che un set di prova interno è anche il migliore antidoto alle allucinazioni dell'AI: non le elimina, ma ne misura la frequenza e ti dice quando è il momento di intervenire.
Da dove parte una PMI
Non serve una piattaforma. Serve un foglio di calcolo con tre colonne — caso reale, risposta attesa, risposta ottenuta — e mezza giornata di lavoro di chi quel processo lo conosce davvero. Chi gestisce le email dei clienti sa già quali sono i venti messaggi difficili: sono quelli su cui va costruita la prova.
Poi vale la stessa disciplina di qualsiasi progetto pilota AI: si fissa la soglia prima di guardare i risultati. Un'accuratezza dell'85% può essere ottima per smistare la posta e inaccettabile per calcolare un preventivo. La differenza non la decide il fornitore, la decide chi risponde al cliente.
Una nota utile anche per chi compra: un fornitore serio non si offende se gli chiedi come misura la qualità di quello che consegna. Se la risposta è una classifica di benchmark, la domanda va rifatta. Studiollice progetta agenti e automazioni su misura, e ogni agente della flotta nasce con il suo set di prova prima ancora di andare in produzione: è l'unico modo per sapere se sta lavorando bene anche quando nessuno lo sta guardando.