Ruajtja e kontekstit në memorien specifike

Në një fluks tipik pune të IA-së, mund t'i kalosh të njëjtët kode hyrëse vazhdimisht te një model. Gemini API ofron ruajtje të nënkuptuar në memorien specifike për të optimizuar performancën dhe kostot.

Ruajtja e nënkuptuar në memorien specifike

Ruajtja e fshehtë e të dhënave është e aktivizuar si parazgjedhje për të gjitha modelet Gemini 2.5 dhe më të reja. Ai mbështetet për modalitetet e bisedës me gjendje (duke përdorur previous_interaction_id) dhe pa gjendje. Ne i kalojmë automatikisht kursimet e kostos nëse kërkesa jote arrin në memoriet specifike. Nuk ka asgjë që duhet të bësh për ta aktivizuar këtë. Numri minimal i kodeve hyrëse për ruajtjen në memorien specifike të kontekstit është listuar në tabelën e mëposhtme për secilin model:

Modeli Kufiri minimal i tokenëve
Gemini 3.8 Flash 4,096
Gemini 3.6 Flash 4,096
Gemini 3.1 Pro Preview 4,096
Gemini 2.5 Flash 2,048
Gemini 2.5 Pro 2,048

Për të rritur mundësinë e një përputhjeje të nënkuptuar të memories specifike:

  • Provo të vendosësh përmbajtje të mëdha dhe të zakonshme në fillim të kërkesës sate
  • Provo të dërgosh kërkesa me prefiks të ngjashëm në një kohë të shkurtër

Mund të shohësh numrin e kodeve që ishin goditje të memories specifike në fushën usage.total_cached_tokens (Python dhe JavaScript) të objektit të përgjigjes.