Gemma 3n, telefon, dizüstü bilgisayar ve tablet gibi günlük kullanıma yönelik cihazlarda kullanılmak üzere optimize edilmiş bir üretken yapay zeka modelidir. Bu model, katman başına yerleştirme (PLE) parametre önbelleğe alma ve hesaplama ile bellek gereksinimlerini azaltma esnekliği sağlayan bir MatFormer model mimarisi de dahil olmak üzere parametre açısından verimli işleme alanındaki yenilikleri içerir. Bu modeller, ses girişi işleme özelliğinin yanı sıra metin ve görsel verileri de içerir.
Gemma 3n aşağıdaki temel özellikleri içerir:
- Ses girişi: Konuşma tanıma, çeviri ve ses verileri analizi için ses verilerini işleyin. Daha fazla bilgi
- Görsel ve metin girişi: Çok formatlı özellikler, çevrenizdeki dünyayı anlamanıza ve analiz etmenize yardımcı olmak için görüntü, ses ve metinle çalışmanıza olanak tanır. Daha fazla bilgi
- Görsel kodlayıcı: Yüksek performanslı MobileNet-V5 kodlayıcı, görsel verilerin işlenme hızını ve doğruluğunu önemli ölçüde artırır. Daha fazla bilgi
- PLE önbelleğe alma: Bu modellerde bulunan katman başına yerleştirme (PLE) parametreleri, model bellek çalıştırma maliyetlerini azaltmak için hızlı ve yerel depolama alanına önbelleğe alınabilir. Daha fazla bilgi
- MatFormer mimarisi: Matryoshka Transformer mimarisi, hesaplama maliyetini ve yanıt sürelerini azaltmak için istek başına model parametrelerinin seçmeli olarak etkinleştirilmesine olanak tanır. Daha fazla bilgi
- Koşullu parametre yükleme: Yüklenen parametrelerin toplam sayısını azaltmak ve bellek kaynaklarından tasarruf etmek için modelde görüntü ve ses parametrelerinin yüklenmesini atlayın. Daha fazla bilgi
- Geniş dil desteği: 140'tan fazla dilde eğitilmiş geniş dil becerileri.
- 32 bin jeton bağlamı: Verileri analiz etmek ve işleme görevlerini yönetmek için önemli giriş bağlamı.
Gemma 3n'ü deneyin Kaggle'den indirin Hugging Face'ten indirin
Diğer Gemma modellerinde olduğu gibi, Gemma 3n de açık ağırlıklarla sağlanır ve sorumlu ticari kullanım için lisanslanır. Bu sayede, modelinizi kendi proje ve uygulamalarınızda ayarlayabilir ve dağıtabilirsiniz.
Model parametreleri ve etkili parametreler
Gemma 3n modelleri, modellerde bulunan toplam parametre sayısından düşük olan E2B ve E4B gibi parametre sayılarıyla listelenir. E ön eki, bu modellerin daha az sayıda Etkili parametreyle çalışabileceğini gösterir. Bu azaltılmış parametre işlemi, Gemma 3n modellerinde yerleşik olan esnek parametre teknolojisi kullanılarak daha az kaynak kullanan cihazlarda verimli bir şekilde çalışmasına yardımcı olabilir.
Gemma 3n modellerindeki parametreler 4 ana gruba ayrılır: metin, görsel, ses ve katman başına yerleştirme (PLE) parametreleri. E2B modelinin standart şekilde yürütülmesiyle, model yürütülürken 5 milyardan fazla parametre yüklenir. Ancak parametre atlama ve PLE önbelleğe alma teknikleri kullanılarak bu model, Şekil 1'de gösterildiği gibi 2 milyarın (1,91 milyar) biraz altında bir etkili bellek yüküyle çalıştırılabilir.
Şekil 1. Standart yürütme modunda çalışan Gemma 3n E2B model parametreleri ile PLE önbelleğe alma ve parametre atlama teknikleri kullanılarak etkili bir şekilde daha düşük parametre yükü.
Bu parametre aktarma ve seçmeli etkinleştirme tekniklerini kullanarak modeli çok az sayıda parametreyle çalıştırabilir veya görsel ve ses gibi diğer veri türlerini işlemek için ek parametreleri etkinleştirebilirsiniz. Bu özellikler, cihaz özelliklerine veya görev gereksinimlerine göre model işlevini artırmanıza ya da azaltmanıza olanak tanır. Aşağıdaki bölümlerde, Gemma 3n modellerinde kullanılabilen parametre verimli teknikler hakkında daha fazla bilgi verilmektedir.
PLE önbelleğe alma
Gemma 3n modelleri, her model katmanının performansını artıran veriler oluşturmak için model çalıştırma sırasında kullanılan Katman Başına Yerleştirme (PLE) parametrelerini içerir. PLE verileri, modelin işletim belleği dışında ayrı olarak oluşturulabilir, hızlı depolama alanında önbelleğe alınabilir ve her katman çalıştırıldığında model çıkarım sürecine eklenebilir. Bu yaklaşım, PLE parametrelerinin model bellek alanından uzak tutulmasına olanak tanır. Böylece, model yanıt kalitesini artırırken kaynak tüketimi azaltılır.
MatFormer mimarisi
Gemma 3n modelleri, tek bir büyük model içinde iç içe yerleştirilmiş daha küçük modeller içeren bir Matryoshka Dönüştürücü veya MatFormer model mimarisini kullanır. İç içe yerleştirilmiş alt modeller, isteklere yanıt verirken kapsayıcı modellerin parametrelerini etkinleştirmeden çıkarımlarda bulunmak için kullanılabilir. MatFormer modelinde yalnızca küçük, temel modelleri çalıştırma özelliği, modelin bilgi işlem maliyetini, yanıt süresini ve enerji ayak izini azaltabilir. Gemma 3n'de E4B modeli, E2B modelinin parametrelerini içerir. Bu mimari, parametreleri seçmenize ve 2B ile 4B arasında değişen orta boyutlu modeller oluşturmanıza da olanak tanır. Bu yaklaşım hakkında daha fazla bilgi için MatFormer araştırma makalesine göz atın. MatFormer Lab kılavuzunu kullanarak Gemma 3n modelinin boyutunu küçültmek için MatFormer tekniklerini kullanmayı deneyin.
Koşullu parametre yükleme
PLE parametrelerine benzer şekilde, Gemma 3n modelinde bellek yükünü azaltmak için ses veya görsel parametreler gibi bazı parametrelerin belleğe yüklenmesini atlayabilirsiniz. Cihaz gerekli kaynaklara sahipse bu parametreler çalışma zamanında dinamik olarak yüklenebilir. Genel olarak parametre atlama, Gemma 3n modeli için gereken işletim belleğini daha da azaltarak daha geniş bir cihaz yelpazesinde yürütmeyi sağlar ve geliştiricilerin daha az talepkar görevler için kaynak verimliliğini artırmasına olanak tanır.
Oluşturmaya başlamaya hazır mısınız?
Gemma modellerini kullanmaya başlayın.