內容快取

Python Node.js Go REST

在典型的 AI 工作流程中，您可能會一再將相同的輸入符記傳遞至模型。使用 Gemini API 情境快取功能，您可以將部分內容傳遞至模型一次，快取輸入符記，然後在後續要求中參照快取的符記。在某些情況下，使用快取符記比重複傳遞相同的符記集合更省錢。

快取一組符記時，您可以選擇快取要保留多久，再自動刪除符記。這個快取時間長度稱為存留時間 (TTL)。如果未設定，TTL 預設為 1 小時。快取的成本取決於輸入符記的大小，以及您希望符記保留多久。

脈絡快取功能支援 Gemini 1.5 Pro 和 Gemini 1.5 Flash。

使用內容快取的時機

在較短要求中重複參照大量初始情境的情況下，情境快取功能特別適合。請考慮在下列用途中使用情境快取：

• 包含大量系統指示的聊天機器人
• 重複分析長篇影片檔案
• 針對大量文件集執行週期性查詢
• 經常分析或修正程式碼存放區

快取功能如何降低成本

情境快取是一項付費功能，旨在降低整體營運成本。費用則按照下列因素計算：

1. 快取符號數量：快取的輸入符號數量，如果納入後續提示，則以較低的費率計費。
2. 儲存時間：快取權杖的儲存時間 (TTL)，根據快取權杖數量的 TTL 時間計費。存留時間沒有最低或最高限制。
3. 其他因素：其他費用也會產生，例如未快取的輸入符記和輸出符記。

如需最新的定價詳細資料，請參閱 Gemini API 定價頁面。如要瞭解如何計算符記，請參閱符記指南。

如何使用脈絡快取

本節假設您已安裝 Gemini SDK (或已安裝 curl)，且已設定 API 金鑰，如快速入門所示。

其他注意事項

使用內容快取時，請注意下列事項：

• 快取內容參照的最小輸入符記數量為 32,768，上限則與指定模型的上限相同。(如要進一步瞭解如何計算符記，請參閱「符記指南」)。
• 模型不會區分快取符記和一般輸入符記。快取內容只是提示的字首。
• 快取內容沒有特別的頻率或用量限制；系統會套用 GenerateContent 的標準頻率限制，符記限制則包括快取的符記。
• 快取憑證的數量會在快取服務的建立、取得和清單作業的 usage_metadata 中傳回，也會在使用快取時的 GenerateContent 中傳回。