API-ja e Gemini ofron një sërë mekanizmash optimizimi për të të ndihmuar të balancosh shpejtësinë, koston dhe besueshmërinë bazuar në nevojat e tua specifike për ngarkesën e punës. Pavarësisht nëse po ndërton robotë bisedorë në kohë reale ose po ekzekuton linja të rënda për përpunimin e të dhënave offline, zgjedhja e paradigmës së duhur mund të ulë ndjeshëm kostot ose të rritë performancën.
| Veçoria | Standard | Tregim force | Me përparësi | Paketë | Po ruan memorien e përkohshme |
|---|---|---|---|---|---|
| Çmimet | Çmimi i plotë | 50% zbritje | 75% deri në 100% më shumë se standardi | 50% zbritje | 90% zbritje + hapësirë ruajtëse e llogaritur proporcionalisht për kodet |
| Vonesa | Sekonda në minuta | Minuta (objektivi 1-15 min.) | Sekonda | Deri në 24 orë | Koha më e shpejtë për tokenin e parë |
| Besueshmëria | E lartë / mesatarisht e lartë | Me përpjekjen më të mirë (i heqshëm) | E lartë (jo e heqshme) | E lartë (për rendiment) | Nuk ka |
| Ndërfaqja | Sinkron | Sinkron | Sinkron | Josinkron | Gjendja e ruajtur |
| Rasti më i mirë i përdorimit | Flukset e punës të aplikacioneve të përgjithshme | Zinxhirë jourgjentë sekuencialë | Aplikacionet e prodhimit të drejtuara ndaj përdoruesit | Grupime të mëdha të dhënash, vlerësime offline | Kërkesa të përsëritura për të njëjtin skedar |
Nivelet e shërbimit të përfundimeve (sinkron)
Mund të kalosh mes trafikut sinkron të optimizuar për besueshmëri dhe atij të optimizuar për kosto
duke kaluar parametrin service_tier në telefonatat e tua standarde të gjenerimit.
Përfundimi standard (parazgjedhja)
Niveli standard është opsioni i parazgjedhur për gjenerimin e përmbajtjes sekuenciale. Ai ofron kohë normale përgjigjeje pa tarifa shtesë ose radhë të gjata.
- Besueshmëria: Kriticitet standard
- Çmimi: Çmimi standard.
- Më i miri për: Aplikacionet më ndërvepruese të përditshme.
Inferenca me përparësi (e optimizuar për vonesën)
Përpunimi me përparësi i drejton kërkesat e tua te radhët e llogaritjes me nivel të lartë kriticiteti. Ky trafik është rreptësisht i patransferueshëm (nuk anulohet asnjëherë nga nivelet e tjera) dhe ofron besueshmërinë më të lartë. Nëse i tejkalon kufijtë e "Prioritetit dinamik", sistemi do ta ulë me kujdes nivelin e kërkesës në përpunim standard në vend që të dështojë me një gabim.
- Besueshmëria: Kriticiteti më i lartë
- Çmimi: 75% deri në 100% mbi tarifat standarde.
- Më së miri për: robotët e bisedës për klientët, zbulimin e mashtrimeve në kohë reale dhe pilotët ndihmës që janë kritikë për biznesin.
Deduksioni Flex (i optimizuar për kosto)
Përfundimi i Flex ofron një zbritje prej 50% në krahasim me tarifat standarde duke përdorur kapacitetin llogaritës oportunist jashtë orarit të pikut. Kërkesat përpunohen në mënyrë sinkrone, që do të thotë se nuk është nevoja të rishkruash kodin për të menaxhuar objektet në grup. Për shkak se është trafik "i heqshëm", kërkesat mund të parandalohen nëse sistemi përjeton kulme standarde të trafikut.
- Besueshmëria: Kriticitet i heqshëm, i pa garantuar
- Çmimi: 50% e çmimit standard (faturuar për token).
- Më i miri për: Flukset e punës agjentike me shumë hapa ku thirrja N+1 varet nga rezultati i thirrjes N, përditësimet e CRM-së në sfond dhe vlerësimet offline.
API-ja e grupeve (në masë, asinkrone)
API-ja e grupeve është krijuar për të përpunuar vëllime të mëdha kërkesash në mënyrë asinkrone me 50% të kostos standarde. Mund të dërgosh kërkesa si fjalorë të integruar ose duke përdorur një skedar hyrjeje JSONL (deri në 2 GB). Ai i përpunon kërkesat duke përdorur radhët e kapacitetit të prapavijës me një kohë të synuar përfundimi prej 24 orësh.
- Besueshmëria: Mund të hiqet, por me riprovime automatike 24-orëshe dhe sistem radhitjeje
- Çmimi: 50% e çmimit standard.
- Më e mira për: Parapërpunimin e grupeve të mëdha të të dhënave, ekzekutimin e paketave periodike të testimit të regresionit dhe gjenerimet e imazheve ose integrimeve në vëllime të mëdha.
Ruajtja në memorien specifike e kontekstit (kursimet e hyrjes)
Ruajtja në memorien specifike e kontekstit përdoret kur një kontekst fillestar i konsiderueshëm referohet në mënyrë të përsëritur nga kërkesa më të shkurtra.
- Ruajtja e fshehtë e të dhënave në mënyrë të nënkuptuar: Aktivizuar automatikisht në Gemini 2.5 dhe modelet më të reja. Sistemi kalon kursimet e kostos nëse kërkesa jote përputhet me memoriet specifike ekzistuese bazuar në parashtesat e zakonshme të kërkesave.
- Ruajtja specifike në memorien specifike: Mund të krijosh manualisht një objekt të memories specifike me një kohë specifike të qëndrimit aktiv (TTL). Pasi të krijohen, i referohesh kodeve të ruajtura në memorien specifike për kërkesat e mëvonshme për të shmangur kalimin e të njëjtit ngarkesë të korpusit në mënyrë të përsëritur.
- Çmimi: Faturuar bazuar në numrin e kodeve të memories specifike dhe kohëzgjatjen e ruajtjes (TTL).
- Më e mira për: Robotët e bisedës me udhëzime të gjera të sistemit, analiza të përsëritura të skedarëve të gjatë të videove ose kërkesa ndaj grupeve të mëdha të dokumenteve.
Zvogëlo kostot e hyrjes së videos me përpunimin me agjent
Për përmbajtjet e videove të gjata, përpunimi me agjent mund të reduktojë kostot e kodeve hyrëse me deri në 88% ndërkohë që përmirëson cilësinë e përgjigjes. Në vend që të nxjerrë çdo kuadër në 1 FPS (përpunim statik), modeli kërkon në mënyrë dinamike nëpër video, duke ngarkuar transkriptin dhe/ose kuadrot dhe/ose audion që kanë lidhje me kërkesën tënde. Për klipe të shkurtra (nën 5 minuta) ku vonesa është kritike, përpunimi statik mund të ofrojë një kohë më të shpejtë për marrjen e shenjës së parë (TTFT), pasi modaliteti i agjentit shkakton arsyetim të brendshëm dhe udhëtime vajtje-ardhje të veglave para se të fillojë gjenerimi.
Për të përdorur përpunimin agjentik me Gemini 3.8 Flash, 3.6 Flash ose 3.5 Flash Lite, cakto processing: "agentic" (Interactions API) ose media_processing: "AGENTIC" (GenerateContent API) në hyrjen e videos. Nëse modeli nuk e mbështet përpunimin me agjent, ai do të kthejë një gabim.
Shiko Kuptimin e videove nga agjentët për shembuj kodesh.