Modele të hapura Gemma
Një familje e modeleve të hapura të lehta dhe moderne të ndërtuara nga i njëjti kërkim dhe teknologji e përdorur për krijimin e modeleve Gemini
Provoni Gemma 2
E ridizajnuar për performancë të madhe dhe efikasitet të pakrahasueshëm, Gemma 2 optimizon për përfundime të shpejta në pajisje të ndryshme.
5-gjuajtje
MMLU
Standardi MMLU është një test që mat gjerësinë e njohurive dhe aftësinë për zgjidhjen e problemeve të fituara nga modelet e mëdha gjuhësore gjatë para-trajnimit.
25-gjuajtje
ARC-C
Standardi ARC-c është një nëngrup më i fokusuar i grupit të të dhënave ARC-e, që përmban vetëm pyetje të përgjigjura gabimisht nga algoritmet e zakonshme (baza e rimarrjes dhe bashkë-ndodhja e fjalëve).
5-gjuajtje
GSM8K
Standardi GSM8K teston aftësinë e një modeli gjuhësor për të zgjidhur problemet matematikore të nivelit të shkollës që shpesh kërkojnë hapa të shumtë arsyetimi.
3-5-gjuajtje
AGIEval
Standardi AGIEval teston inteligjencën e përgjithshme të një modeli gjuhësor duke përdorur pyetje që rrjedhin nga provimet e botës reale të krijuara për të vlerësuar aftësitë intelektuale të njeriut.
3-shot, CoT
BBH
Standardi BBH (BIG-Bench Hard) fokusohet në detyrat që konsiderohen përtej aftësive të modeleve aktuale të gjuhës, duke testuar kufijtë e tyre në fusha të ndryshme arsyetimi dhe kuptimi.
3-gjuajtje, F1
RËZË
DROP është një pikë referimi e të kuptuarit të leximit që kërkon arsyetim të veçantë mbi paragrafët.
5-gjuajtje
Winogrande
Standardi Winogrande teston aftësinë e një modeli gjuhësor për të zgjidhur detyrat e paqarta të plotësimit të boshllëkut me opsione binare, që kërkojnë arsyetim të përgjithësuar me sens të përbashkët.
10-gjuajtje
HellaSwag
Standardi i HellaSwag sfidon aftësinë e një modeli gjuhësor për të kuptuar dhe zbatuar arsyetimin me sens të përbashkët duke zgjedhur përfundimin më logjik të një historie.
4-gjuajtje
MATEMATIKA
MATH vlerëson aftësinë e një modeli gjuhësor për të zgjidhur probleme komplekse matematikore të fjalëve, që kërkojnë arsyetim, zgjidhje të problemeve me shumë hapa dhe të kuptuarit e koncepteve matematikore.
0-gjuajtje
ARC-e
Standardi ARC-e teston aftësitë e avancuara të përgjigjes së pyetjeve të një modeli gjuhësor me pyetje shkencore të nivelit të mirëfilltë të klasës, me zgjedhje të shumëfishta.
0-gjuajtje
PIQA
Standardi PIQA teston aftësinë e një modeli gjuhësor për të kuptuar dhe zbatuar njohuritë fizike të sensit të përbashkët duke iu përgjigjur pyetjeve në lidhje me ndërveprimet e përditshme fizike.
0-gjuajtje
SIQA
Standardi SIQA vlerëson të kuptuarit e një modeli gjuhësor për ndërveprimet sociale dhe sensin e përbashkët shoqëror duke bërë pyetje rreth veprimeve të njerëzve dhe implikimeve të tyre sociale.
0-gjuajtje
Boolq
Standardi BoolQ teston aftësinë e një modeli gjuhësor për t'iu përgjigjur pyetjeve po/jo që ndodhin natyrshëm, duke testuar aftësinë e modeleve për të kryer detyra konkluzionesh të gjuhës natyrore në botën reale.
5-gjuajtje
TriviaQA
Standardi TriviaQA teston aftësitë e leximit të të kuptuarit me trefishin pyetje-përgjigje-provë.
5-gjuajtje
NQ
Standardi NQ (Pyetjet Natyrore) teston aftësinë e një modeli gjuhësor për të gjetur dhe kuptuar përgjigjet brenda artikujve të tërë të Wikipedia-s, duke simuluar skenarë në botën reale të përgjigjes së pyetjeve.
kaloj@1
HumanEval
Standardi HumanEval teston aftësitë e gjenerimit të kodit të një modeli gjuhësor duke vlerësuar nëse zgjidhjet e tij kalojnë testet e njësive funksionale për problemet e programimit.
3-gjuajtje
MBPP
Standardi MBPP teston aftësinë e një modeli gjuhe për të zgjidhur problemet bazë të programimit Python, duke u fokusuar në konceptet themelore të programimit dhe përdorimin standard të bibliotekës.
100%
75%
50%
25%
0%
100%
75%
50%
25%
0%
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
Gemma 1
2.5 B
Gemma 2
2.6B
Mistral
7B
Gemma 1
7B
Gemma 2
9B
Gemma 2
27B
*Këto janë standardet për modelet e trajnuara paraprakisht, shikoni raportin teknik për detaje mbi performancën me metodologji të tjera.
Modelet e Kërkimit
Zbuloni familjen e zgjeruar të modeleve Gemma







Eksploroni Gemmaverse
Një ekosistem i gjerë modelesh dhe mjetesh Gemma të krijuara nga komuniteti, gati për të fuqizuar dhe frymëzuar inovacionin tuaj
Ndërtoni
Filloni të ndërtoni me Gemma
Lexoni librin e gatimit Gemma
Shembuj dhe udhëzime praktike për modelet e hapura të Google
Eksploroni fletoret