Finestra di contesto: cosa significa davvero un milione di token

La finestra di contesto è diventata l'argomento di vendita preferito di chi propone intelligenza artificiale alle aziende: un milione di token, annunciato come se fosse la capienza di un disco. In realtà è lo spazio di lavoro che il modello ha a disposizione per una singola richiesta: tutto ciò che può leggere mentre scrive la risposta. Chi costruisce automazioni scopre presto tre cose che nelle brochure non ci sono. Quello spazio si riempie molto più in fretta del previsto, si svuota a ogni richiesta, e riempirlo fino all'orlo peggiora le risposte invece di migliorarle.

Cosa entra davvero in una finestra di contesto da un milione di token

Partiamo dalla traduzione pratica. Nella documentazione sul contesto lungo di Gemini, Google quantifica un milione di token in circa 50.000 righe di codice, otto romanzi di lunghezza media oppure le trascrizioni di oltre duecento episodi di podcast. Come regola spannometrica un token vale circa quattro caratteri, cioè poco meno di una parola. Sui modelli Claude con finestra da un milione, una singola richiesta può contenere fino a 600 immagini o pagine di PDF.

Numeri generosi, in apparenza. Tuttavia la finestra non ospita solo il documento che gli date voi. La documentazione di Anthropic è esplicita: contano le istruzioni di sistema, ogni messaggio dello scambio — inclusi i risultati degli strumenti, le immagini e i documenti — le definizioni degli strumenti disponibili e perfino il testo che il modello sta generando in quel momento.

In un agente che consulta cinque sistemi aziendali, quindi, la maggior parte dello spazio se ne va in materiale che nessuno ha scritto a mano: risposte di API, righe di gestionale, pagine web recuperate. Per dare la misura, una pagina di documentazione tecnica da 100 kB vale circa 25.000 token e un paper in PDF da 500 kB ne vale circa 125.000. Tre documenti del genere e un quarto della finestra è già occupato.

La finestra di contesto non è memoria: a ogni richiesta si riparte da zero

Questo è il punto che cambia i preventivi. Tra una chiamata e l'altra non resta nulla: a ogni turno il programma rispedisce l'intera conversazione. Il modello non ricorda, rilegge. Di conseguenza il costo non cresce in modo lineare con il lavoro svolto, ma si accumula turno dopo turno.

Un esempio aritmetico sui listini ufficiali. Un agente che si porta dietro 100.000 token di storico e compie venti passi per evadere una pratica rimanda circa due milioni di token in ingresso: con Claude Sonnet 5 a 2 dollari per milione sono circa 4 dollari per una sola pratica, pur avendo letto un solo fascicolo. Attivando la cache del prompt, che fa pagare le riletture un decimo del prezzo di ingresso, lo stesso lavoro scende sotto il mezzo dollaro. È la differenza tra un'automazione sostenibile e una che a fine mese non torna.

Va detto che il prezzo per token resta lineare: sui modelli recenti la finestra da un milione è inclusa a tariffa standard, e una richiesta da 900.000 token è fatturata come una da 9.000. Il moltiplicatore non è la dimensione della finestra, è il numero di volte che la riempite. Attenzione anche a un dettaglio poco visibile: i modelli più recenti usano un tokenizzatore che produce circa il 30% di token in più a parità di testo, quindi la stessa email non pesa uguale su due versioni diverse — una ragione in più per non dare per scontato che un aggiornamento del modello sia neutro sui costi.

Infine, quando lo spazio finisce non c'è nessun degrado morbido. Se l'input supera la finestra l'API risponde con un errore 400, «prompt is too long». Un'automazione che non prevede quel caso semplicemente si ferma, di solito nel momento peggiore: quando il fascicolo è più grosso del solito.

Riempirla tutta peggiora la qualità delle risposte

Qui cade l'equazione «più contesto uguale risposte migliori». Anthropic lo scrive nella stessa pagina in cui annuncia il milione di token: al crescere del numero di token, accuratezza e capacità di recupero degradano. Il fenomeno ha un nome, context rot, e una spiegazione strutturale. Nell'articolo tecnico sul context engineering il concetto è riassunto così: i modelli hanno un «budget di attenzione» e «ogni nuovo token introdotto ne consuma una parte». Un transformer deve mettere in relazione i token a coppie, quindi il lavoro relazionale cresce con il quadrato della lunghezza.

Non è una tesi di parte. Lo studio Lost in the Middle di Liu e colleghi documenta che le prestazioni sono più alte quando l'informazione rilevante si trova all'inizio o alla fine del contesto, e calano sensibilmente quando il modello deve pescarla in mezzo — anche nei modelli progettati apposta per il contesto lungo.

C'è poi una distinzione che la documentazione di Google fa e le demo no. Ritrovare un singolo dato nascosto in un testo enorme riesce con accuratezza intorno al 99%; ma quando i dati da ritrovare sono più di uno, «il modello non ottiene la stessa accuratezza». Tradotto in lavoro reale: caricare trecento pagine di contratti e chiedere «trova le incongruenze» è esattamente il caso a più aghi, quello in cui la finestra piena non vi salva. La demo con un documento e una domanda non assomiglia al vostro mestiere.

Cosa fa chi costruisce automazioni, invece di riempire la finestra

La regola che seguiamo in Studiollice è semplice: la finestra di contesto è una scrivania, non un archivio. Su una scrivania ci si mette quello che serve adesso, ordinato. L'archivio sta altrove e si consulta all'occorrenza. In pratica significa quattro scelte tecniche.

• Recupero al momento giusto. Invece di caricare tutto il manuale, si indicizzano i documenti e si porta in contesto solo il passaggio pertinente alla domanda. È il motivo per cui il recupero sui dati aziendali resta più efficace della forza bruta.
• Compattazione. Quando la conversazione si allunga, si riassume la parte vecchia e si riparte con la sintesi al posto della cronaca integrale.
• Appunti fuori dalla finestra. L'agente scrive lo stato del lavoro in un file o in una scheda persistente, così alla sessione successiva recupera il punto senza rileggere tutto.
• Sotto-agenti. Un compito specialistico viene delegato a un agente dedicato che restituisce solo la sintesi del suo lavoro, non i duecento risultati intermedi.

Vale la pena notare che i modelli stessi si stanno attrezzando: alcuni ricevono dal sistema il proprio budget residuo e avvisi del tipo «Token usage: 35000/200000», così gestiscono un compito lungo sapendo quanto spazio resta invece di tirare a indovinare. Resta però una scelta di progettazione, non un automatismo: il perimetro lo decide chi costruisce l'automazione, esattamente come la scelta del modello per ogni compito.

Tre domande prima di firmare

Se un fornitore vi propone una soluzione e cita il milione di token come argomento decisivo, tre domande chiariscono in fretta il livello del lavoro. Primo: quanto contesto viaggia a ogni chiamata, e quanta parte di quel contesto è stabile e quindi mettibile in cache? Secondo: cosa succede quando la finestra si riempie — errore, taglio silenzioso della parte più vecchia o riassunto? Il taglio silenzioso è il caso peggiore, perché l'automazione continua a rispondere come se nulla fosse. Terzo: come avete misurato la qualità con il contesto pieno, non con una pagina sola?

La dimensione della finestra di contesto è una specifica, non un risultato. Quello che distingue un'automazione che regge dalla demo che impressiona è la disciplina con cui si decide, ogni volta, cosa merita di stare sulla scrivania. Studiollice progetta agenti e automazioni su misura partendo proprio da lì: dal processo, dai documenti che contano davvero e da quanto costa farli leggere.