In breve
Il Prompt Caching è una funzione che memorizza lo stato elaborato di una porzione ripetuta di prompt, perché le richieste successive la riutilizzino invece di ripagarne l'elaborazione. Quando molte richieste condividono lo stesso lungo inizio - un grosso System Prompt, definizioni di strumenti o un documento che interroghi di continuo -, il caching lascia che il modello salti il ricalcolo, il che riduce sia i costi sia la latenza. Nell'API Claude, per esempio, una lettura di cache costa circa un decimo del prezzo di Input normale, uno sconto di circa il 90 per cento sulla porzione in cache.
Come funziona il Prompt Caching
Marchi un punto del tuo prompt come cache breakpoint. Il fornitore memorizza lo stato codificato di tutto ciò che precede quel punto, e la richiesta successiva che inizia con esattamente gli stessi byte legge dal cache invece di ricalcolare. Il hit deve essere esatto: se anche un solo token differisce all'inizio, è un cache miss e paghi tariffa piena. Conta anche l'ordine, perché il prompt viene hashato come Tools, poi System Prompt, poi Messages.
- Metti il contenuto stabile e ripetuto davanti (Tools, System Prompt, lunghi documenti).
- Marchi poi un cache breakpoint; l'inizio fino a quel punto viene messo in cache.
- Una richiesta successiva con inizio identico legge il cache a costo minore.
Cosa costa e cosa risparmia
C'è un piccolo sovraccosto per scrivere il cache e un grosso risparmio per leggerlo. Nell'API Claude, una scrittura di cache costa circa 1,25 volte l'Input normale per una durata di vita di 5 minuti (o 2 volte per 1 ora), mentre una lettura di cache costa circa 0,1 volte l'Input, un risparmio di circa il 90 per cento. Il cache è effimero, con una breve durata di vita che si reimposta a ogni lettura, quindi una conversazione attiva tiene il suo cache caldo senza ripagare il costo di scrittura.
Quando usarlo
Il Prompt Caching si ripaga ogni volta che riutilizzi un grande inizio stabile su molte chiamate: un lungo System Prompt, un set fisso di definizioni di strumenti, un documento di conoscenza o una chat multi-passo dove il contesto iniziale resta identico. Non aiuta per i prompt unici che non si ripetono mai. Poiché il risparmio vale solo per l'inizio immutato, struttura i tuoi prompt perché le parti costanti vengano per prime e quelle variabili per ultime.