Përmbledhja e Gemini Live API

API-ja e transmetimit të drejtpërdrejtë mundëson ndërveprime me zë dhe pamje në kohë reale me vonesë të ulët me Gemini. Ai përpunon transmetime të vazhdueshme të audios, imazheve dhe tekstit për të ofruar përgjigje të menjëhershme të ligjëruara si nga një njeri, duke krijuar një përvojë natyrale bisedore për përdoruesit e tu.

Rastet e përdorimit

API-ja e Live mund të përdoret për të ndërtuar agjentë zanorë në kohë reale për një larmi industrish, duke përfshirë:

• Tregtia online dhe shitësit me pakicë: Asistentë për blerjet që ofrojnë rekomandime të personalizuara dhe agjentë të mbështetjes që zgjidhin problemet e klientëve.
• Lojëra: Personazhe ndërveprues që nuk mund të luhen (NPC), ndihmës brenda lojës dhe përkthim në kohë reale të përmbajtjeve brenda lojës.
• Ndërfaqet e gjeneratës së ardhshme: Përvojat e aktivizuara me zë dhe video në robotikë, syze inteligjente dhe automjete.
• Kujdesi shëndetësor: Shoqëruesit shëndetësorë për mbështetjen dhe edukimin e pacientëve.
• Shërbimet financiare: Këshilltarë të IA-së për menaxhimin e pasurisë dhe udhëzime për investimet.
• Edukimi: Mentorë me IA dhe shoqërues të nxënësve që ofrojnë udhëzime dhe komente të personalizuara.
• Përkthimi dhe lokalizimi: Përkthimi në kohë reale me vonesë të ulët i bisedave të folura, duke mundësuar komunikimin e pandërprerë në shumë gjuhë.
• Transkriptimi dhe titrat e drejtpërdrejta: Transmetimi i ligjërimit në tekst në kohë reale për titrat e drejtpërdrejta, transkriptimin e takimeve, diktimin me zë dhe regjistrimin e telefonatave me klientët.

Veçoritë kryesore

API-ja e drejtpërdrejtë ofron një grup gjithëpërfshirës veçorish për ndërtimin e agjentëve të fuqishëm zanorë:

• Mbështetja shumëgjuhëshe: Bisedo në 70 gjuhë të mbështetura.
• Ndërhyrja: Përdoruesit mund ta ndërpresin modelin në çdo kohë për ndërveprime të përgjegjshme.
• Përdorimi i veglës: Integron veglat si telefonatat e funksioneve dhe "Kërko në Google" për ndërveprime dinamike.
• Transkriptimet e audios: Ofron transkriptet me tekst të hyrjes së përdoruesit dhe daljes së modelit.
• Audio proaktiv: Të lejon të kontrollosh se kur përgjigjet modeli dhe në çfarë kontekstesh.
• Dialogu afektiv: Përshtat stilin dhe tonin e përgjigjes për t'iu përshtatur shprehjes së hyrjes së përdoruesit.
• Transkriptimi në çast: Transmetimi i vazhdueshëm i ligjërimit në tekst në kohë reale me zbulimin automatik të gjuhës dhe fjalorin e personalizuar.
• Përkthimi në çast: Përkthimi zë-zë në kohë reale në mbi 70 gjuhë.

Specifikimet teknike

Tabela e mëposhtme përcakton specifikimet teknike për API-në e transmetimit të drejtpërdrejtë:

Zgjidh një qasje zbatimi

Kur integrohesh me API-në e transmetimit të drejtpërdrejtë, do të duhet të zgjedhësh një nga qasjet e mëposhtme të zbatimit:

• Server-to-server: Backend-i yt lidhet me Live API duke përdorur WebSockets. Zakonisht, klienti yt dërgon të dhëna transmetimi (audio, video, tekst) në serverin tënd, i cili më pas i transferon ato te Live API.
• Klient-te-server: Kodi yt i frontend-it lidhet drejtpërdrejt me Live API duke përdorur WebSockets për të transmetuar të dhëna, duke anashkaluar backend-in tënd.

Fillo

Zgjidh udhëzuesin që përputhet me mjedisin tënd të zhvillimit: