Memorizzazione nella cache del contesto

In un flusso di lavoro AI tipico, potresti passare gli stessi token di input più e più volte a un modello. L'API Gemini offre la memorizzazione nella cache implicita per ottimizzare prestazioni e costi.

Memorizzazione nella cache implicita

La memorizzazione nella cache implicita è abilitata per impostazione predefinita per tutti i modelli Gemini 2.5 e versioni successive. È supportata sia per le modalità di conversazione stateful (utilizzando previous_interaction_id) sia per quelle stateless. Trasmettiamo automaticamente i risparmi sui costi se la tua richiesta raggiunge le cache. Non devi fare nulla per abilitare questa funzionalità. Il conteggio minimo dei token di input per la memorizzazione nella cache del contesto è riportato nella tabella seguente per ogni modello:

Modello Limite minimo di token
Gemini 3.5 Flash 4096
Gemini 3.1 Pro (anteprima) 4096
Gemini 2.5 Flash 2048
Gemini 2.5 Pro 2048

Per aumentare la probabilità di un hit della cache implicita:

  • Prova a inserire contenuti di grandi dimensioni e comuni all'inizio del prompt
  • Prova a inviare richieste con prefisso simile in un breve periodo di tempo

Puoi visualizzare il numero di token che hanno generato hit della cache nel campo usage.total_cached_tokens (Python e JavaScript) dell'oggetto di risposta.