In breve
Nell'IA, un token è un piccolo pezzo di testo, all'incirca quattro caratteri o tre quarti di una parola inglese, in cui un modello di linguaggio legge e scrive. I modelli non vedono le parole intere come te; spezzano il testo in token, e il prezzo che paghi come la quantità che un modello può elaborare in una volta si misurano in token, non in parole. Capire i token è la chiave per pilotare sia il costo sia la qualità di tutto ciò che costruisci con l'IA.
Perché token, non parole
I modelli elaborano il testo in token perché questo permette loro di gestire qualsiasi lingua, il codice e le grafie strane in modo coerente. Una parola corta e frequente può essere un token; una parola lunga o insolita può esserne diversi. Il codice e il testo non inglese costano di solito più token della stessa idea in inglese semplice, il che influenza direttamente la tua fattura.
I token e la tua fattura
I prezzi dell'IA sono indicati per milione di token e ripartiti tra Input (ciò che invii) e Output (ciò che il modello restituisce), con l'Output di solito diverse volte più caro. In un workflow che gira migliaia di volte, accorciare un prompt gonfio può ridurre fortemente i tuoi costi. Inviare meno testo, ma più pertinente, è quasi sempre la mossa giusta.
Un altro "token" nella sicurezza
Attenzione a un'omonimia. Nell'IA, un token è un pezzo di testo. Nel login e nella sicurezza, un "token" significa tutt'altro: una stringa segreta che dimostra chi sei, come un access token. Condividono una parola ma sono concetti senza legame, quindi leggi il contesto per capire quale si intende.
I token e il context window
I token spiegano anche un limite che incontri, il context window: il numero massimo di token che un modello può considerare in una volta, comprese le tue istruzioni, i file incollati, la conversazione in corso e la risposta che sta scrivendo. Quando si riempie, il modello di fatto dimentica le parti più vecchie. È per questo che le lunghe chat che si dilungano perdono il filo di cose dette prima, e per questo che una conversazione nuova dà spesso risposte migliori dell'impilare su una vecchia. La lezione pratica è la stessa dei costi: invia meno testo, ma più pertinente. I token sono l'unità che collega ciò che un modello può ricordare, la qualità delle sue risposte e ciò che paghi, quindi averne un senso approssimativo ti rende migliore in tutto ciò che costruisci con l'IA.