Il monitoraggio automazioni AI è la voce che quasi nessuno mette a preventivo. Si progetta l'agente, si sceglie il modello, si collega il gestionale — e poi si dà per scontato che il sistema funzioni perché ieri funzionava. Un'automazione basata sull'intelligenza artificiale, però, non si rompe come un software tradizionale: raramente si ferma con un errore rosso, molto più spesso continua a girare producendo risultati leggermente peggiori. Ed è per questo che serve un modo per sapere, ogni mattina, cosa ha fatto davvero il tuo agente il giorno prima.
Perché le automazioni AI falliscono in silenzio
Un processo automatizzato classico è deterministico: stessa richiesta, stessa risposta. Se si rompe, si vede subito — l'ordine non parte, la mail non esce, il server risponde 500. Un agente basato su un modello linguistico è invece non deterministico: davanti allo stesso documento può rispondere in modo leggermente diverso, e un peggioramento graduale non genera nessun errore tecnico.
Il risultato è un tipo di guasto nuovo: l'automazione resta "verde" mentre la qualità scivola. La mail di risposta arriva, ma cita il listino sbagliato. Il preventivo si genera, ma con la clausola dell'anno scorso. Nessun sistema di monitoraggio tradizionale se ne accorge, perché tecnicamente non è successo nulla di anomalo.
Non è un dettaglio da nerd. Gartner stima che oltre il 40% dei progetti di AI agentica verrà cancellato entro la fine del 2027: la previsione, basata su un sondaggio condotto su più di 3.400 organizzazioni, indica come cause i costi che sfuggono di mano, il valore di business mai dimostrato e i controlli di rischio inadeguati. Tutte e tre le voci hanno la stessa radice: nessuno stava misurando.
I quattro segnali d'oro, applicati a un agente
Non serve inventare una teoria nuova. Il manuale di Site Reliability Engineering di Google indica quattro segnali fondamentali da tenere d'occhio su qualsiasi sistema: latenza, traffico, errori e saturazione. Tradotti su un'automazione AI diventano quattro domande molto concrete.
- Traffico — quante richieste ha gestito l'agente ieri? Un crollo improvviso spesso significa che l'integrazione a monte si è staccata, non che i clienti sono spariti.
- Errori — quante volte una chiamata è fallita o è stata ritentata? Qui rientrano anche gli errori "morbidi": risposte vuote, formati non validi, richieste rifiutate dal modello.
- Latenza — quanto tempo passa tra la richiesta e la risposta? Un'automazione che risponde in tre minuti invece che in dieci secondi è, nei fatti, un'automazione che nessuno userà.
- Costo — al posto della saturazione, per un agente il vincolo vero sono i token consumati. È il primo indicatore che si gonfia quando qualcosa entra in un ciclo di ripetizioni.
Quattro numeri, un grafico per ciascuno. Chi dice che serve una piattaforma di osservabilità da decine di migliaia di euro per iniziare sta vendendo la piattaforma, non la soluzione.
Cosa registra davvero un agente ben costruito
La buona notizia è che il settore si sta standardizzando. Le semantic conventions per la GenAI di OpenTelemetry definiscono un vocabolario comune per la telemetria degli agenti: una traccia parte dallo span invoke_agent e si ramifica nei figli chat (le chiamate al modello) ed execute_tool (gli strumenti usati), con attributi standard per il modello impiegato, i token in ingresso e in uscita, il motivo per cui la generazione si è fermata e la durata di ogni passaggio.
Detto in italiano: si può leggere una singola operazione dell'agente come si legge lo scontrino della spesa, riga per riga. Perché la richiesta di ieri sera è costata dieci volte la media? Lo scontrino dice se il modello ha ragionato a lungo, se un tool ha risposto lento o se il sistema è entrato in un loop di tentativi. Senza traccia, come sintetizza la documentazione OpenTelemetry, non si diagnostica: si tira a indovinare.
Non è teoria da laboratorio. Gli agenti seri emettono già questi dati: Claude Code espone via OpenTelemetry metriche come claude_code.session.count, claude_code.cost.usage, claude_code.token.usage e claude_code.active_time.total, insieme a eventi per ogni richiesta API e per ogni decisione sui permessi degli strumenti — con esito, durata e tipo di errore. Quando valuti un fornitore, la domanda giusta non è "quanto è intelligente il vostro agente", ma "cosa mi lascia scritto quando lavora".
Il monitoraggio automazioni AI non finisce ai grafici
Qui arriva il limite da conoscere: le convenzioni tecniche coprono modello, token, latenza e costo, ma non misurano se la risposta era giusta. Nessuna metrica ti dice che il preventivo citava la clausola sbagliata. Il livello tecnico e il livello di qualità sono due strumenti diversi e servono entrambi.
Il secondo livello si costruisce con un set di prova interno: un campione di casi reali, la risposta attesa, una soglia decisa prima. È il lavoro che abbiamo descritto in valutare un'AI in azienda, e va rieseguito ogni volta che cambia qualcosa — modello, istruzioni, fonte dati. Il monitoraggio in produzione dice se il sistema gira; le prove dicono se gira bene.
Un terzo livello, spesso dimenticato, è il registro delle azioni: cosa ha toccato l'agente, con quali permessi, su quali dati. Serve per capire un errore a posteriori, ma anche per la sicurezza — un comportamento anomalo nei log è il primo segnale di un tentativo di prompt injection.
Avvisi che una persona legge davvero
Il rischio opposto all'assenza di controlli è la valanga di notifiche. La regola del manuale SRE di Google è netta: ogni avviso deve essere azionabile e urgente. Se arriva un messaggio a cui nessuno può fare nulla, non è monitoraggio: è rumore, e il rumore si smette di leggere dopo tre giorni.
Nella flotta di agenti che gestiamo in Studiollice la regola è una sola: un evento, un messaggio. L'agente che pubblica un contenuto avvisa quando ha pubblicato, non mentre lavora. Se la generazione dell'immagine fallisce o l'API di pubblicazione va in errore dopo i tentativi previsti, parte un'unica notifica diretta all'operatore, con il problema in una riga e il contesto nella riga dopo. Tutto il resto finisce nel log giornaliero, che si consulta solo quando serve.
Da dove parte una PMI
Non servono dashboard sofisticate per iniziare a fare monitoraggio automazioni AI in modo serio. Servono tre cose, nell'ordine.
- Un registro leggibile. Ogni esecuzione scrive una riga: quando, cosa ha ricevuto, cosa ha prodotto, quanto è costata, se è andata a buon fine. Anche un file di testo va bene il primo mese.
- Un numero al giorno. Scegli l'indicatore che rappresenta il valore dell'automazione — pratiche evase, mail smistate, preventivi generati — e guardalo ogni giorno. Le anomalie saltano all'occhio prima di qualsiasi allarme automatico.
- Una soglia con notifica. Una sola, all'inizio: "se le esecuzioni fallite superano il 5%, avvisami". Le altre si aggiungono dopo, quando sai cosa si rompe davvero.
Un'automazione che nessuno controlla non è un investimento: è un debito che matura in silenzio. Misurare quanto lavoro restituisce, del resto, è la stessa disciplina che serve per capire il ritorno reale di un agente AI.
Studiollice progetta agenti e automazioni su misura, con log, verifiche automatiche e notifiche pensate perché un errore si veda il giorno stesso e non tre mesi dopo.