Gemma 開放式模型
一系列先進的輕量級開放式模型,採用與建立 Gemini 模型時相同的研究成果和技術
試用 Gemma 2
Gemma 2 經過重新設計,可提供超越預期的效能和無與倫比的效率,在各種硬體上提供極快的推論效能。
5 格畫面
MMLU
MMLU 基準測試可評估大型語言模型在預先訓練期間獲得的知識廣度和解決問題能力。
25 格
ARC-C
ARC-c 基準是 ARC-e 資料集的更精確子集,只包含常見 (擷取和字詞共現) 演算法回答錯誤的問題。
5 格影像
GSM8K
GSM8K 基準測試可測試語言模型解決小學程度數學問題的能力,這類問題通常需要多個推理步驟才能解決。
3-5-shot
AGIEval
AGIEval 基準測試會使用來自實際考試的問題,針對語言模型的通用智慧進行測試,這些考試旨在評估人類的智力能力。
3 次拍攝、思維鏈
BBH
BBH (BIG-Bench Hard) 基準測試著重於目前語言模型無法勝任的任務,測試其在各種推理和理解領域的極限。
3 張相片,F1
丟棄
DROP 是閱讀理解基準測驗,需要針對段落進行獨立推理。
5 格影像
Winogrande
Winogrande 基準測試可測試語言模型解決含糊的填空題任務的能力,這些任務需要一般常識推理,並提供二元選項。
10 格
HellaSwag
HellaSwag 基準測試會要求語言模型選擇最合乎邏輯的故事結局,以測試模型理解和運用常識推理的能力。
4 格式
MATH
MATH 會評估語言模型解決複雜數學應用題的能力,這類題目需要推理、多步驟解題,以及理解數學概念。
0 張相片
ARC-e
ARC-e 基準測試會使用真實的國中科學選擇題,測試語言模型的進階問答技巧。
0 張相片
PIQA
PIQA 基準測試會透過回答日常物理互動問題,測試語言模型理解和運用物理常識知識的能力。
0 張相片
SIQA
SIQA 基準評估語言模型對社交互動和社會常識的理解程度,方法是詢問有關人類行為及其社會意涵的問題。
0 張相片
Boolq
BoolQ 基準測試可測試語言模型回答自然出現的「是/否」問題的能力,藉此測試模型執行真實自然語言推論作業的能力。
5 格影像
TriviaQA
TriviaQA 基準測試會使用問答證據三元組測試閱讀理解技巧。
5 格影像
NQ
NQ (自然問題) 基準測試可測試語言模型在整篇維基百科文章中尋找及理解答案的能力,模擬真實的問答情境。
pass@1
HumanEval
HumanEval 基準測試會評估語言模型的解決方案是否通過程式設計問題的功能單元測試,以此測試語言模型的程式碼產生能力。
3 張相片
MBPP
MBPP 基準測試可測試語言模型解決基本 Python 程式設計問題的能力,並著重於基本程式設計概念和標準程式庫的使用方式。
100%
75%
50%
25%
0%
100%
75%
50%
25%
0%
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
Gemma 1
25 億
Gemma 2
26 億
Mistral
7B
Gemma 1
7B
Gemma 2
90 億
Gemma 2
27B
*這是預先訓練模型的基準,如要進一步瞭解其他方法的成效,請參閱技術報告。
研究模型
探索擴充的 Gemma 模型系列







探索 Gemmaverse
社群建立的 Gemma 模型和工具組成的龐大生態系統,可為您的創新提供動力和靈感