Dans un workflow d'IA typique, vous pouvez transmettre les mêmes jetons d'entrée à un modèle à plusieurs reprises. Grâce à la fonctionnalité de mise en cache de contexte de l'API Gemini, vous pouvez transmettre du contenu au modèle une fois, mettre en cache les jetons d'entrée, puis vous reporter aux jetons mis en cache pour les requêtes ultérieures. À certains volumes, l'utilisation de jetons mis en cache est moins coûteuse que de transmettre le même corpus de jetons à plusieurs reprises.
Lorsque vous mettez en cache un ensemble de jetons, vous pouvez choisir la durée d'existence du cache avant que les jetons ne soient supprimés automatiquement. Cette durée de mise en cache est appelée TTL (Time To Live). Si ce champ n'est pas défini, la valeur TTL est définie par défaut sur une heure. Le coût de la mise en cache dépend de la taille du jeton d'entrée et de la durée de conservation des jetons.
La mise en cache du contexte est compatible avec Gemini 1.5 Pro et Gemini 1.5 Flash.
Quand utiliser la mise en cache de contexte
La mise en cache de contexte est particulièrement adaptée aux scénarios où un contexte initial important est référencé à plusieurs reprises par des requêtes plus courtes. Envisagez d'utiliser la mise en cache de contexte pour les cas d'utilisation suivants :
- Chatbots avec des instructions système détaillées
- Analyse répétitive de fichiers vidéo longs
- Requêtes récurrentes sur des ensembles de documents volumineux
- Analyse fréquente du dépôt de code ou correction de bugs
Comment le cache réduit les coûts
La mise en cache de contexte est une fonctionnalité payante conçue pour réduire les coûts opérationnels globaux. La facturation dépend des facteurs suivants :
- Nombre de jetons mis en cache : nombre de jetons d'entrée mis en cache, facturés à un tarif réduit lorsqu'ils sont inclus dans les requêtes suivantes.
- Durée de stockage:durée pendant laquelle les jetons mis en cache sont stockés (TTL), facturée en fonction de la durée TTL du nombre de jetons mis en cache. Il n'existe aucune limite minimale ni maximale pour la valeur TTL.
- Autres facteurs : d'autres frais s'appliquent, par exemple pour les jetons d'entrée et de sortie non mis en cache.
Pour en savoir plus sur les tarifs à jour, consultez la page des tarifs de l'API Gemini. Pour savoir comment compter les jetons, consultez le guide des jetons.
Utiliser la mise en cache de contexte
Cette section suppose que vous avez installé un SDK Gemini (ou que curl est installé) et que vous avez configuré une clé API, comme indiqué dans le tutoriel de démarrage rapide.
Informations complémentaires
Tenez compte des points suivants lorsque vous utilisez la mise en cache de contexte:
- Le nombre minimal de jetons d'entrée pour le stockage en cache de contexte est de 32 768, et le nombre maximal est identique à celui du modèle donné. (Pour en savoir plus sur le comptage des jetons, consultez le guide des jetons.)
- Le modèle ne fait aucune distinction entre les jetons mis en cache et les jetons d'entrée normaux. Le contenu mis en cache est simplement un préfixe de la requête.
- Aucune limite de débit ou d'utilisation spéciale ne s'applique au stockage en cache de contexte. Les limites de débit standards pour
GenerateContents'appliquent, et les limites de jeton incluent les jetons mis en cache. - Le nombre de jetons mis en cache est renvoyé dans
usage_metadataà partir des opérations de création, d'obtention et de liste du service de cache, ainsi que dansGenerateContentlors de l'utilisation du cache.