Gemma modeli ince ayarı

Gemma gibi bir üretken yapay zeka modeline ince ayar yapmak, modelin davranışını değiştirir. Gemma'yı genellikle belirli bir görev veya alandaki performansını iyileştirmek ya da müşteri hizmetleri gibi bir rolü daha iyi yerine getirmek amacıyla ince ayar yaparsınız. Gemma modelleri açık ağırlıklarla yayınlanır. Bu, ağırlıkları değiştirebileceğiniz ve modelin davranışını değiştirebileceğiniz anlamına gelir. Gemma modelini ince ayarlamaya yönelik genel adımlar şunlardır:

Bir çerçeve seçin

Gemma modelleri, çeşitli yapay zeka ayarlama çerçeveleriyle uyumludur. Her çerçeve çeşitli avantajlar sunar ve genellikle belirli bir model biçimiyle sınırlıdır. Çeşitli çerçevelerle Gemma modellerini ayarlamaya yönelik kılavuzları aşağıda bulabilirsiniz:

Kullanmayı planladığınız dağıtım modeli biçiminin (ör. Keras biçimi, Safetensors veya GGUF) seçtiğiniz çerçeve tarafından çıkış olarak desteklendiğinden emin olun.

Veri toplama

Model ayarlama için veri gerekir. Ayarlama verileri genellikle beklenen yanıtla birlikte giriş verileri çiftlerinden oluşur. Çeşitli görevler veya çıkışlar üzerinde eğitim için internette birçok herkese açık veri kümesi mevcuttur. Örneğin, bir Gemma modelini araba parçası açıklamalarını parça numaralarına çevirmek üzere eğitmek istiyorsanız veri kümeniz şunları içerebilir:

training_data = [
  {"input_text": "Part number for A4 brake caliper", "output_text": "4M0615107BS"},
  {"input_text": "Part number for Beetle fuel pump", "output_text": "6A127026H"},
  {"input_text": "Part number for Camaro cylinder head", "output_text": "12711770"},
]

Bir Gemma modelinin belirli bir görevler dizisini veya rolü yerine getirmesini istiyorsanız genellikle bu görevin birden fazla varyasyonunu gösteren bir veri kümesi derlemeniz gerekir. Bir modeli ayarlamak için ne kadar veriye ihtiyacınız olduğu hedeflerinize bağlıdır. Özellikle modelden ne kadar davranış değişikliği istediğiniz ve modelin, gerçekleştirilecek göreve ve giriş verilerindeki varyasyon düzeyine göre ne kadar iyi performans göstermesini istediğiniz önemlidir.

Genel olarak, görev ayarlama için küçük bir veri kümesiyle başlamanız, eğitim parametrelerini ayarlamanız ve ihtiyaçlarınızı karşılayan görev performansına ulaşana kadar veri eklemeniz gerekir. Örnek uygulamalarımızdan bazıları, yalnızca 20 istem ve yanıt çiftiyle Gemma modelinin davranışını etkileyebileceğinizi gösteriyor. Daha fazla bilgi için Gemma ile işletme e-postası yapay zeka asistanı oluşturma ve Gemma ile konuşma dilinde görevler başlıklı makalelere bakın.

Modele ince ayar yapma ve modeli test etme

Ayarlama çerçevesi ve ayarlama verileri hazır olduğunda Gemma model ayarlama işlemine başlayabilirsiniz. Ayarlama yaparken, ayarlama şeklinize bağlı olarak tamamlamanız gereken kaynakları etkileyen bazı seçenekleriniz vardır. Ayrıca, ince ayar yapıldıktan sonra modelinizin istediğiniz şekilde çalışıp çalışmadığını değerlendirmek için ince ayarlı modelinizle ilgili bir test planınız da olmalıdır.

Parametrelerin verimli kullanıldığı ayarlama

Gemma gibi açık ağırlıklı bir modeli ince ayarlarken modelin tüm parametrelerini ayarlayabilir veya daha az kaynak yoğun parametre açısından verimli bir ayarlama tekniği kullanarak parametrelerin bir alt kümesini güncelleyebilirsiniz. Tam ayarlama yaklaşımı, ayarlama verilerinizi uygularken modelin tüm parametreleri için yeni ağırlıklar hesapladığınız anlamına gelir. Bu yaklaşım, milyarlarca parametre için bu hesaplamaları yaptığınızdan yoğun bir şekilde hesaplama ve bellek gerektirir. Parametrelerin verimli kullanıldığı ince ayar (PEFT) olarak adlandırılan, daha az kaynak yoğunluklu ayarlama yaklaşımları kullanmak (ör. Low Rank Adapter (LoRA) ayarlama gibi teknikler) daha az işlem kaynağıyla benzer sonuçlar üretebilir. LoRA kullanarak daha az kaynakla ayarlama yapma hakkında ayrıntılı bilgi için LoRA kullanarak Keras'ta Gemma modellerine ince ayar yapma ve Hugging Face'te Gemma Modellerine İnce Ayar Yapma başlıklı makaleleri inceleyin.

İnce ayarlı modelleri test etme

Belirli bir görev için ayarladığınız modelin performansını, gerçekleştirmesini istediğiniz görevler grubuyla karşılaştırarak test etmeniz gerekir. Modelinizi, özellikle eğitilmediği görevler veya isteklerle test etmelisiniz. İnce ayar yaptığınız modeli nasıl test edeceğiniz, modelin gerçekleştirmesini istediğiniz göreve ve modelin giriş ve çıkışlarını ne kadar yakından yönettiğinize bağlıdır. Üretken model testini yönetmenin yaygın bir yolu, başarılı, başarısız ve sınırda olan durumları kullanmaktır:

  • Başarı testleri: Ayarlanmış modelin her zaman başarılı bir şekilde gerçekleştirebilmesi gereken istekler.
  • Hata testleri: Ayarlanmış modelin, istenmesi durumunda her zaman yapamaması veya açıkça yapmayı reddetmesi gereken istekler.
  • Sınır testleri: Ayarlanmış modelin, tanımlanmış bir sınır veya kabul edilebilir çıkış davranışının sınırları içinde kalması durumunda gerçekleştirebilmesi gereken istekler.

Üretken yapay zeka uygulamanızda hata veya sınır koşullarını test ederken Sorumlu Üretken Yapay Zeka Araç Seti'nde açıklanan üretken yapay zeka güvenlik yaklaşımlarını, tekniklerini ve araçlarını da uygulamanız gerekir.

Modeli dağıtma

İnce ayarınızı ve testinizi başarıyla tamamladıktan sonra modelinizi dağıtabilirsiniz. Ayarlanmış bir modeli nasıl dağıtacağınızla ilgili bilgileri genellikle seçtiğiniz çerçeveye ait dokümanlarda bulabilirsiniz.

LoRA ile ayarlanmış ağırlıklara sahip bir model dağıtıyorsanız bu teknikle genellikle orijinal modeli ve ağırlıklarını, model için ek bir hesaplama katmanı olarak LoRA ağırlıklarıyla birlikte dağıttığınızı unutmayın.