Tinh chỉnh mô hình Gemma

Tinh chỉnh một mô hình trí tuệ nhân tạo (AI) tạo sinh như Gemma sẽ sửa đổi hành vi của mô hình. Thông thường, bạn sẽ tinh chỉnh Gemma với mục đích cải thiện hiệu suất của mô hình này trong một nhiệm vụ hoặc miền cụ thể, hoặc để hoàn thành tốt hơn một vai trò, chẳng hạn như dịch vụ khách hàng. Các mô hình Gemma được phát hành với trọng số mở, tức là bạn có thể sửa đổi những trọng số đó, sau đó thay đổi hành vi của mô hình. Sau đây là các bước chung để tinh chỉnh một mô hình Gemma:

Chọn một khuôn khổ

Các mô hình Gemma tương thích với nhiều khung điều chỉnh AI. Mỗi khung hình đều mang lại nhiều lợi ích và thường bị giới hạn ở một định dạng mô hình cụ thể. Sau đây là hướng dẫn điều chỉnh các mô hình Gemma bằng nhiều khung:

Đảm bảo rằng định dạng mô hình triển khai dự kiến của bạn (chẳng hạn như định dạng Keras, Safetensors hoặc GGUF) được khung bạn chọn hỗ trợ dưới dạng đầu ra.

Thu thập dữ liệu

Bạn cần có dữ liệu để điều chỉnh mô hình. Dữ liệu điều chỉnh thường bao gồm các cặp dữ liệu đầu vào với phản hồi dự kiến. Có nhiều tập dữ liệu công khai trên mạng để huấn luyện về nhiều nhiệm vụ hoặc đầu ra. Ví dụ: nếu bạn muốn huấn luyện một mô hình Gemma để dịch nội dung mô tả phụ tùng ô tô sang số hiệu phụ tùng, thì tập dữ liệu của bạn có thể bao gồm những nội dung sau:

training_data = [
  {"input_text": "Part number for A4 brake caliper", "output_text": "4M0615107BS"},
  {"input_text": "Part number for Beetle fuel pump", "output_text": "6A127026H"},
  {"input_text": "Part number for Camaro cylinder head", "output_text": "12711770"},
]

Nếu muốn một mô hình Gemma thực hiện một nhóm nhiệm vụ hoặc vai trò cụ thể, bạn thường cần biên dịch một tập dữ liệu minh hoạ nhiều biến thể của nhiệm vụ đó. Lượng dữ liệu bạn cần để điều chỉnh một mô hình phụ thuộc vào mục tiêu của bạn, đặc biệt là mức độ thay đổi về hành vi mà bạn muốn mô hình mang lại và mức độ hiệu suất mà bạn muốn mô hình đạt được dựa trên nhiệm vụ cần hoàn thành và mức độ biến thiên của dữ liệu đầu vào.

Nói chung, bạn nên bắt đầu với một tập hợp nhỏ dữ liệu để điều chỉnh tác vụ, điều chỉnh các tham số huấn luyện và thêm dữ liệu cho đến khi đạt được hiệu suất tác vụ đáp ứng nhu cầu của bạn. Một số ứng dụng mẫu của chúng tôi cho thấy bạn có thể tác động đến hành vi của một mô hình Gemma chỉ với 20 cặp câu lệnh và câu trả lời. Để biết thêm thông tin chi tiết, hãy xem bài viết Xây dựng trợ lý AI cho email doanh nghiệp bằng Gemma và Các tác vụ bằng ngôn ngữ nói với Gemma.

Điều chỉnh và kiểm thử mô hình

Sau khi có khung điều chỉnh và dữ liệu điều chỉnh, bạn có thể bắt đầu quy trình điều chỉnh mô hình Gemma. Khi thực hiện quy trình điều chỉnh, bạn có một số lựa chọn về cách điều chỉnh, điều này ảnh hưởng đến các tài nguyên bạn cần để hoàn tất quy trình. Bạn cũng nên có một kế hoạch kiểm thử cho mô hình đã điều chỉnh để đánh giá xem mô hình có hoạt động theo cách bạn muốn sau khi điều chỉnh hay không.

Điều chỉnh hiệu quả về tham số

Khi tinh chỉnh một mô hình trọng số mở như Gemma, bạn có thể điều chỉnh tất cả các tham số của mô hình hoặc sử dụng kỹ thuật điều chỉnh hiệu quả tham số ít tốn tài nguyên hơn để cập nhật một số tham số. Phương pháp điều chỉnh toàn bộ có nghĩa là khi áp dụng dữ liệu điều chỉnh, bạn sẽ tính toán trọng số mới cho tất cả các tham số của mô hình. Phương pháp này đòi hỏi nhiều sức mạnh tính toán và bộ nhớ, vì bạn đang thực hiện những phép tính này cho hàng tỷ tham số. Việc sử dụng các phương pháp điều chỉnh ít tốn tài nguyên hơn, được gọi là điều chỉnh tinh vi hiệu quả về tham số (PEFT), bao gồm các kỹ thuật như điều chỉnh Low Rank Adapter (LoRA) có thể tạo ra kết quả tương tự với ít tài nguyên điện toán hơn. Để biết thông tin chi tiết về cách thực hiện quy trình điều chỉnh với ít tài nguyên hơn bằng LoRA, hãy xem bài viết Tinh chỉnh các mô hình Gemma trong Keras bằng LoRA và Tinh chỉnh các mô hình Gemma trong Hugging Face.

Thử nghiệm các mô hình được tinh chỉnh

Sau khi điều chỉnh một mô hình cho một nhiệm vụ cụ thể, bạn nên kiểm thử hiệu suất của mô hình đó dựa trên tập hợp các nhiệm vụ mà bạn muốn mô hình thực hiện. Bạn nên kiểm thử mô hình của mình bằng các nhiệm vụ hoặc yêu cầu mà mô hình đó không được huấn luyện cụ thể. Cách bạn kiểm thử mô hình đã tinh chỉnh phụ thuộc vào nhiệm vụ mà bạn muốn mô hình thực hiện và mức độ chặt chẽ mà bạn quản lý dữ liệu đầu vào và đầu ra cho mô hình. Một cách phổ biến để quản lý hoạt động kiểm thử mô hình tạo sinh là sử dụng các trường hợp thành công, thất bại và trường hợp ranh giới:

  • Thử nghiệm thành công: Các yêu cầu mà mô hình đã điều chỉnh phải luôn có thể thực hiện thành công.
  • Thử nghiệm lỗi: Các yêu cầu mà mô hình đã điều chỉnh không được phép thực hiện hoặc từ chối thực hiện một cách rõ ràng nếu được yêu cầu.
  • Kiểm thử ranh giới: Các yêu cầu mà mô hình đã điều chỉnh phải có khả năng thực hiện, nếu các yêu cầu đó nằm trong một ranh giới hoặc tập hợp ranh giới đã xác định về hành vi đầu ra chấp nhận được.

Khi kiểm thử các điều kiện thất bại hoặc điều kiện biên cho ứng dụng AI tạo sinh, bạn cũng nên áp dụng các phương pháp, kỹ thuật và công cụ an toàn cho AI tạo sinh như mô tả trong Bộ công cụ AI tạo sinh có trách nhiệm.

Triển khai mô hình

Sau khi hoàn tất quá trình điều chỉnh và thử nghiệm thành công, bạn có thể triển khai mô hình của mình. Thông thường, bạn có thể tham khảo tài liệu về khung đã chọn để biết cách triển khai một mô hình đã điều chỉnh.

Nếu đang triển khai một mô hình có trọng số được điều chỉnh LoRA, hãy lưu ý rằng với kỹ thuật này, bạn thường triển khai cả mô hình gốc và trọng số của mô hình đó với trọng số LoRA làm lớp tính toán bổ sung cho mô hình.