Gemma 3 model kartı

Model Sayfası: Gemma

Kaynaklar ve Teknik Dokümanlar:

• Gemma 3 Teknik Raporu
• Sorumlu Üretken Yapay Zeka Aracı Kiti
• Kaggle'da Gemma
• Vertex Model Garden'da Gemma

Kullanım Şartları: Şartlar

Yazarlar: Google DeepMind

Model Bilgisi

Giriş ve çıkışların özet açıklaması ve kısa tanımı.

Açıklama

Gemma, Google'ın Gemini modellerini oluşturmak için kullanılan aynı araştırma ve teknolojiden yararlanarak geliştirilmiş, hafif ve son teknoloji açık modellerden oluşan bir ailedir. Gemma 3 modelleri çok modlu olup metin ve resim girişini işler ve hem önceden eğitilmiş varyantlar hem de talimatla ayarlanmış varyantlar için açık ağırlıklarla metin çıkışı oluşturur. Gemma 3, 128 KB'lık büyük bir bağlam penceresine, 140'tan fazla dilde çok dilli desteğe sahiptir ve önceki sürümlere kıyasla daha fazla boyutta mevcuttur. Gemma 3 modelleri; soru yanıtlama, özetleme ve akıl yürütme gibi çeşitli metin oluşturma ve resim anlama görevleri için idealdir. Nispeten küçük boyutları, bunları dizüstü bilgisayarlar, masaüstü bilgisayarlar veya kendi bulut altyapınız gibi sınırlı kaynaklara sahip ortamlarda dağıtmayı mümkün kılar. Bu sayede en son yapay zeka modellerine erişimi demokratikleştirir ve herkes için yeniliği teşvik etmeye yardımcı olur.

Girdiler ve çıktılar

• Giriş:

  • Özetlenecek soru, istem veya doküman gibi bir metin dizesi
  • 896 x 896 çözünürlüğe normalleştirilmiş ve her biri 256 jeton olarak kodlanmış resimler
  • 4 B, 12 B ve 27 B boyutları için 128.000 jeton ve 1 B boyutu için 32.000 jetonluk toplam giriş bağlamı

• Çıkış:

  • Girişe yanıt olarak oluşturulan metin (ör. bir soruya verilen yanıt, resim içeriğinin analizi veya bir dokümanın özeti)
  • 4 B, 12 B ve 27 B boyutları için 128 bin jetona kadar toplam çıkış bağlamı ve istek giriş jetonları çıkarıldıktan sonra istek başına 1 B boyutu için 32 bin jeton

Alıntı

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

Model verileri

Model eğitimi için kullanılan veriler ve verilerin nasıl işlendiği.

Eğitim Veri Kümesi

Bu modeller, çeşitli kaynaklardan elde edilen metin verilerinden oluşan bir veri kümesinde eğitilmiştir. 27 milyar model 14 trilyon jetonla, 12 milyar model 12 trilyon jetonla, 4 milyar model 4 trilyon jetonla ve 1 milyar model 2 trilyon jetonla eğitildi. Eğitim verilerinin bilgi sonlandırma tarihi Ağustos 2024'tür. Temel bileşenler şunlardır:

• Web belgeleri: Çeşitli web metinlerinden oluşan bir koleksiyon, modelin çeşitli dilsel üsluplara, konulara ve kelime dağarcığına maruz kalmasını sağlar. Eğitim veri kümesi 140'tan fazla dilde içerik içerir.
• Kod: Modeli koda maruz bırakmak, programlama dillerinin söz dizimini ve kalıplarını öğrenmesine yardımcı olur. Bu da kod oluşturma ve kodla ilgili soruları anlama becerisini geliştirir.
• Matematik: Matematiksel metinlerle eğitim, modelin mantıksal akıl yürütmeyi, sembolik temsili öğrenmesine ve matematiksel sorguları ele almasına yardımcı olur.
• Resimler: Çeşitli resimler, modelin resim analizi ve görsel veri ayıklama görevlerini gerçekleştirmesini sağlar.

Bu çeşitli veri kaynaklarının bir araya getirilmesi, çok çeşitli farklı görevleri ve veri biçimlerini işleyebilecek güçlü bir çok modlu model eğitmek için çok önemlidir.

Veri Ön İşleme

Eğitim verilerine uygulanan temel veri temizleme ve filtreleme yöntemleri şunlardır:

• CSAM Filtreleme: Zararlı ve yasa dışı içeriklerin hariç tutulması için veri hazırlama sürecindeki birden fazla aşamada titiz bir CSAM (Çocukların Cinsel İstismarı Nitelikli Materyal) filtreleme işlemi uygulandı.
• Hassas Veri Filtreleme: Gemma önceden eğitilmiş modellerini güvenli ve güvenilir hale getirmek için belirli kişisel bilgileri ve diğer hassas verileri eğitim veri kümelerinden filtrelemek amacıyla otomatik teknikler kullanıldı.
• Ek yöntemler: Politikalarımıza uygun olarak içerik kalitesine ve güvenliğine göre filtreleme

Uygulama Bilgileri

Modelin iç yapısıyla ilgili ayrıntılar.

Donanım

Gemma, Tensor İşleme Birimi (TPU) donanımı (TPUv4p, TPUv5p ve TPUv5e) kullanılarak eğitildi. Görsel dil modellerini (VLMS) eğitmek için önemli miktarda işlem gücü gerekir. Özellikle makine öğrenimindeki yaygın matris işlemleri için tasarlanmış TPU'lar bu alanda çeşitli avantajlar sunar:

• Performans: TPU'lar, özellikle VLM'leri eğitmeyle ilgili devasa hesaplamaları gerçekleştirmek için tasarlanmıştır. GPU'lar, CPU'lara kıyasla eğitimi önemli ölçüde hızlandırabilir.
• Bellek: TPU'lar genellikle büyük miktarlarda yüksek bant genişliğine sahip bellekle birlikte gelir. Bu sayede, eğitim sırasında büyük modeller ve toplu boyutlar kullanılabilir. Bu, model kalitesinin artmasına neden olabilir.
• Ölçeklenebilirlik: TPU kapsülleri (büyük TPU kümeleri), büyük temel modellerin artan karmaşıklığını yönetmek için ölçeklenebilir bir çözüm sağlar. Daha hızlı ve daha verimli işleme için eğitimi birden fazla TPU cihazına dağıtabilirsiniz.
• Maliyet etkinliği: TPU'lar, birçok senaryoda büyük modelleri eğitmek için CPU tabanlı altyapıya kıyasla daha uygun maliyetli bir çözüm sunabilir. Özellikle de daha hızlı eğitim sayesinde zamandan ve kaynaklardan tasarruf edildiği düşünüldüğünde bu durum geçerlidir.
• Bu avantajlar, Google'ın sürdürülebilir bir şekilde faaliyet göstermeye yönelik taahhütleriyle uyumludur.

Yazılım

Eğitim, JAX ve ML Pathways kullanılarak gerçekleştirildi.

JAX, araştırmacıların büyük modelleri daha hızlı ve verimli bir şekilde eğitmek için TPU'lar da dahil olmak üzere en yeni nesil donanımlardan yararlanmasına olanak tanır. ML Pathways, Google'ın birden fazla görevde genelleme yapabilen yapay zeka sistemleri oluşturma konusundaki en son çalışmasıdır. Bu, özellikle bunlar gibi büyük dil modelleri dahil olmak üzere temel modeller için uygundur.

JAX ve ML Pathways birlikte, Gemini model ailesiyle ilgili makalede açıklandığı şekilde kullanılır; "Jax ve Pathways'in "tek denetleyici" programlama modeli, tek bir Python sürecinin tüm eğitim çalıştırmasını koordine etmesine olanak tanıyarak geliştirme iş akışını önemli ölçüde basitleştirir."

Değerlendirme

Model değerlendirme metrikleri ve sonuçları.

Karşılaştırma Sonuçları

Bu modeller, metin oluşturmanın farklı yönlerini kapsayacak şekilde büyük bir farklı veri kümesi ve metrik koleksiyonuyla değerlendirildi. IT ile işaretlenmiş değerlendirme sonuçları, talimat ayarlı modeller içindir. PT ile işaretlenmiş değerlendirme sonuçları, önceden eğitilmiş modeller içindir.

Akıl yürütme ve gerçeklik

STEM ve kodlama

Birden çok dilde

Çok formatlı

Etik ve Güvenlik

Etik ve güvenlik değerlendirmesi yaklaşımı ve sonuçları.

Değerlendirme Yaklaşımı

Değerlendirme yöntemlerimiz arasında yapılandırılmış değerlendirmeler ve ilgili içerik politikalarının şirket içinde yapılan testleri yer alır. Kırmızı takım çalışması, her biri farklı hedeflere ve insan değerlendirme metriklerini kullanan çeşitli ekipler tarafından yürütüldü. Bu modeller, etik ve güvenlikle ilgili çeşitli kategorilere göre değerlendirildi. Örneğin:

• Çocuk Güvenliği: Çocukların cinsel istismarı ve istismarı da dahil olmak üzere çocuk güvenliği politikalarını kapsayan metin metne ve resim metne istemlerinin değerlendirilmesi.
• İçerik Güvenliği: Taciz, şiddet, vahşet ve nefret söylemi gibi güvenlik politikalarını kapsayan metinden metne ve resimden metne istemlerinin değerlendirilmesi.
• Temsilde Yanıltma: Metinden metne ve resimden metne istemlerinin, önyargı, klişeleştirme ve zararlı çağrışımlar ya da yanlışlıklar gibi güvenlik politikalarını kapsayacak şekilde değerlendirilmesi.

Geliştirme düzeyindeki değerlendirmelere ek olarak, sorumluluk yönetimi karar verirken kullandığımız "bağımsız" şirket içi değerlendirmelerimiz olan "güvenilirlik değerlendirmeleri" yaparız. Bu toplantılar, model geliştirme ekibinden ayrı olarak gerçekleştirilir. Böylece, modelin kullanıma sunulması konusunda karar verilebilir. Üst düzey bulgular model ekibine geri gönderilir ancak aşırı uyumlanmayı önlemek ve sonuçların karar verme sürecini bilgilendirme özelliğini korumak için istem kümeleri ayrılır. Güvence değerlendirmesi sonuçları, sürüm incelemesi kapsamında Sorumluluk ve Güvenlik Konseyimize bildirilir.

Değerlendirme Sonuçları

Güvenlik testinin tüm alanlarında, çocuk güvenliği, içerik güvenliği ve temsili zararlar kategorilerinde önceki Gemma modellerine kıyasla önemli iyileştirmeler gördük. Tüm testler, modelin özelliklerini ve davranışlarını değerlendirmek için güvenlik filtreleri olmadan gerçekleştirildi. Hem metinden metne hem de resimden metne dönüşümde ve tüm model boyutlarında model, minimum düzeyde politika ihlali gerçekleştirdi ve temelsiz çıkarımlarla ilgili olarak önceki Gemma modellerinin performansına kıyasla önemli iyileştirmeler gösterdi. Değerlendirmelerimizin bir sınırlaması, yalnızca İngilizce dilindeki istemleri içermesiydi.

Kullanım ve Sınırlılıklar

Bu modellerin kullanıcıların bilmesi gereken belirli sınırlamaları vardır.

Kullanım Amacı

Açık görüntü-dil modelleri (VLM'ler), çeşitli sektör ve alanlarda çok çeşitli uygulamalara sahiptir. Aşağıdaki olası kullanımlar listesi kapsamlı değildir. Bu listenin amacı, model oluşturucuların model eğitimi ve geliştirmesi kapsamında değerlendirdiği olası kullanım alanları hakkında bağlamsal bilgi sağlamaktır.

• İçerik Oluşturma ve İletişim
  • Metin Oluşturma: Bu modeller şiir, senaryo, kod, pazarlama metni ve e-posta taslağı gibi yaratıcı metin biçimleri oluşturmak için kullanılabilir.
  • Chatbot'lar ve Etkileşimli Yapay Zeka: Müşteri hizmetleri, sanal asistanlar veya etkileşimli uygulamalar için etkileşimli arayüzleri güçlendirin.
  • Metin Özetleme: Metin veri kümesi, araştırma makaleleri veya raporların kısa özetlerini oluşturun.
  • Görüntü Verileri Ayıklama: Bu modeller, metin iletişimleri için görsel verileri ayıklamak, yorumlamak ve özetlemek amacıyla kullanılabilir.
• Araştırma ve Eğitim
  • Doğal Dil İşleme (NLP) ve VLM Araştırması: Bu modeller, araştırmacıların VLM ve NLP tekniklerini denemeleri, algoritmalar geliştirmeleri ve alanın ilerlemesine katkıda bulunmaları için temel oluşturabilir.
  • Dil Öğrenme Araçları: Dil bilgisi düzeltmelerine yardımcı olarak veya yazma pratiği sunarak etkileşimli dil öğrenme deneyimlerini destekler.
  • Bilgi Keşfi: Özet oluşturarak veya belirli konularla ilgili soruları yanıtlayarak araştırmacıların büyük metinleri keşfetmesine yardımcı olun.

Sınırlamalar

• Eğitim Verileri
  • Eğitim verilerinin kalitesi ve çeşitliliği, modelin özelliklerini önemli ölçüde etkiler. Eğitim verilerindeki ön yargılar veya boşluklar, modelin yanıtlarında sınırlamalara neden olabilir.
  • Eğitim veri kümesinin kapsamı, modelin etkili bir şekilde işleyebileceği konu alanlarını belirler.
• Bağlam ve Görev Karmaşıklığı
  • Modeller, net istemler ve talimatlarla çerçevelenebilecek görevlerde daha iyi performans gösterir. Açık uçlu veya son derece karmaşık görevler zor olabilir.
  • Bir modelin performansı, sağlanan bağlam miktarından etkilenebilir (daha uzun bağlam genellikle belirli bir noktaya kadar daha iyi sonuçlara yol açar).
• Dildeki belirsizlik ve nüans
  • Doğal dil doğası gereği karmaşıktır. Modeller ince nüansları, ironiyi veya mecazi dili anlamakta zorlanabilir.
• Bilgilerin Doğruluğu
  • Modeller, eğitim veri kümelerinden öğrendikleri bilgilere göre yanıtlar oluşturur ancak bilgi bankası değildir. Bu kaynaklar yanlış veya güncel olmayan gerçek beyanlar oluşturabilir.
• Common Sense
  • Modeller, dildeki istatistiksel kalıpları kullanır. Belirli durumlarda sağduyulu düşünme becerisine sahip olmayabilirler.

Etik Konular ve Riskler

Görsel dil modellerinin (GDM) geliştirilmesi, çeşitli etik endişelere yol açar. Açık bir model oluştururken aşağıdakileri dikkatlice göz önünde bulundurduk:

• Önyargı ve Adalet
  • Gerçek dünyadan büyük ölçekli metin ve resim verileri kullanılarak eğitilen VLM'ler, eğitim materyaline yerleştirilmiş sosyo-kültürel önyargıları yansıtabilir. Bu modeller dikkatli bir şekilde incelendi, giriş verileri ön işleme alındı ve bu kartta raporlanan sonraki değerlendirmeler yapıldı.
• Yanlış bilgilendirme ve kötüye kullanım
  • VLM'ler yanlış, yanıltıcı veya zararlı metinler oluşturmak için kötüye kullanılabilir.
  • Modelin sorumlu kullanımıyla ilgili kurallar sağlanmıştır. Sorumlu Üretken Yapay Zeka Aracı Kiti'ne bakın.
• Şeffaflık ve Sorumluluk:
  • Bu model kartında, modellerin mimarisi, özellikleri, sınırlamaları ve değerlendirme süreçleri hakkındaki ayrıntılar özetlenmiştir.
  • Sorumluluk bilinciyle geliştirilmiş açık bir model, VLM teknolojisini yapay zeka ekosistemindeki geliştiricilere ve araştırmacılara sunarak yenilikleri paylaşma fırsatı sunar.

Tespit edilen riskler ve azaltma önlemleri:

• Eğilimlerin devam ettirilmesi: Model eğitimi, ince ayar ve diğer kullanım alanları sırasında sürekli izleme (değerlendirme metrikleri, gerçek kişiler tarafından inceleme kullanılarak) ve eğilimleri azaltma tekniklerinin keşfedilmesi önerilir.
• Zararlı içerik oluşturma: İçerik güvenliğiyle ilgili mekanizmalar ve kurallar çok önemlidir. Geliştiricilerin, belirli ürün politikalarına ve uygulama kullanım alanlarına göre dikkatli davranmaları ve uygun içerik güvenliği önlemlerini uygulamaları önerilir.
• Kötü amaçlarla kötüye kullanım: Teknik sınırlamalar ve geliştirici ile son kullanıcı eğitimi, VLM'lerin kötü amaçlı kullanımını azaltmaya yardımcı olabilir. Kullanıcıların kötüye kullanımları işaretlemeleri için eğitim kaynakları ve bildirim mekanizmaları sağlanmalıdır. Gemma modellerinin yasaklanmış kullanımları Gemma Yasaklanan Kullanım Politikası'nda açıklanmıştır.
• Gizlilik ihlalleri: Modeller, belirli kişisel bilgilerin ve diğer hassas verilerin kaldırılması için filtrelenen verilerle eğitildi. Geliştiricilerin, gizliliği korumaya yönelik tekniklerle gizlilik yönetmeliklerine uymaları önerilir.

Avantajları

Bu model ailesi, kullanıma sunulduğunda benzer boyutlu modellere kıyasla sorumlu yapay zeka geliştirme için sıfırdan tasarlanmış yüksek performanslı açık görüntü-dil modeli uygulamaları sunar.

Bu dokümanda açıklanan karşılaştırma değerlendirme metriklerini kullanarak bu modellerin, benzer boyutta diğer açık model alternatiflerine kıyasla üstün performans sağladığı gösterilmiştir.