Giải pháp Google Cloud của AI Edge để thử nghiệm và đo điểm chuẩn cho công nghệ học máy (ML) trên thiết bị trên quy mô lớn.
Việc tối ưu hoá hiệu suất của mô hình học máy trên nhiều thiết bị di động có thể là một thách thức. Việc kiểm thử thủ công diễn ra chậm, tốn kém và thường không thể tiếp cận được với hầu hết các nhà phát triển, dẫn đến sự không chắc chắn về hiệu suất của mô hình trong thực tế. Cổng AI Edge của Google giải quyết vấn đề này bằng cách cho phép đo điểm chuẩn mô hình LiteRT trên nhiều thiết bị di động, giúp nhà phát triển tìm được cấu hình tốt nhất để triển khai mô hình học máy trên quy mô lớn.
Tối ưu hoá việc triển khai công nghệ học máy trên thiết bị di động
Đơn giản hoá và đẩy nhanh chu kỳ kiểm thử trên nhiều nền tảng phần cứng: Dễ dàng đánh giá hiệu suất của mô hình trên hàng trăm thiết bị di động tiêu biểu chỉ trong vài phút.
Chủ động đảm bảo chất lượng mô hình và xác định sớm các vấn đề: Xác định chính xác các biến thể hoặc hồi quy về hiệu suất dành riêng cho phần cứng (chẳng hạn như trên các chipset hoặc thiết bị bị hạn chế về bộ nhớ) trước khi triển khai.
Giảm chi phí kiểm thử thiết bị và tiếp cận phần cứng mới nhất: Kiểm thử trên nhiều thiết bị thực tế đa dạng và liên tục phát triển (hiện có hơn 100 mẫu thiết bị của nhiều nhà sản xuất thiết bị gốc (OEM) Android) mà không tốn kém và phức tạp như khi duy trì phòng thử nghiệm của riêng bạn.
Khai thác thông tin chi tiết kinh doanh và đưa ra quyết định hiệu quả dựa trên dữ liệu: Google AI Edge Portal cung cấp dữ liệu hiệu suất phong phú và thông tin so sánh, mang đến thông tin chi tiết kinh doanh quan trọng cần thiết để tự tin hướng dẫn việc tối ưu hoá mô hình và xác thực trạng thái sẵn sàng triển khai.
Điểm chuẩn mẫu:
Cách Google AI Edge Portal giúp bạn đo điểm chuẩn cho các mô hình LiteRT
Tải lên và định cấu hình: Tải tệp mô hình lên thông qua giao diện người dùng hoặc trỏ đến tệp đó trong bộ chứa Google Cloud Storage.
Chọn trình tăng tốc: Chỉ định kiểm thử dựa trên CPU hoặc GPU (có chế độ dự phòng CPU tự động). Chúng tôi dự định hỗ trợ NPU trong các bản phát hành trong tương lai.
Chọn thiết bị: Chọn thiết bị mục tiêu trong nhóm thiết bị đa dạng của chúng tôi bằng cách sử dụng bộ lọc (cấp thiết bị, thương hiệu, chipset, RAM) hoặc chọn danh sách được tuyển chọn bằng các lối tắt thuận tiện.
Tạo công việc đo điểm chuẩn mới trên hơn 100 thiết bị. (Lưu ý: Ảnh GIF được tăng tốc và chỉnh sửa để ngắn gọn)
Sau đó, hãy gửi công việc và chờ hoàn tất. Khi đã sẵn sàng, hãy khám phá kết quả trong Trang tổng quan tương tác:
So sánh cấu hình: Nhanh chóng hình dung sự khác biệt về các chỉ số hiệu suất (ví dụ: độ trễ trung bình, bộ nhớ đỉnh) khi sử dụng các trình tăng tốc khác nhau trên tất cả thiết bị được kiểm thử.
Phân tích mức tác động của thiết bị: Xem hiệu suất của một cấu hình mô hình cụ thể trên phạm vi thiết bị đã chọn. Sử dụng biểu đồ và biểu đồ tán xạ để nhanh chóng xác định các biến thể về hiệu suất liên quan đến các đặc điểm của thiết bị.
Chỉ số chi tiết: Truy cập vào một bảng chi tiết, có thể sắp xếp cho thấy các chỉ số cụ thể (thời gian khởi chạy, độ trễ suy luận, mức sử dụng bộ nhớ) cho từng thiết bị riêng lẻ, cùng với thông số kỹ thuật phần cứng của thiết bị đó.
Xem Kết quả đo điểm chuẩn trên Trang tổng quan tương tác. (Lưu ý: Ảnh GIF được tăng tốc và chỉnh sửa để ngắn gọn)
Tham gia bản dùng thử riêng của Google AI Edge Portal
Google AI Edge Portal hiện có bản dùng thử riêng tư dành cho những khách hàng Google Cloud có tên trong danh sách cho phép. Trong thời gian xem trước riêng tư này, bạn sẽ được cung cấp quyền truy cập miễn phí, tuân theo các điều khoản của bản xem trước.
Bản xem trước này phù hợp với các nhà phát triển và nhóm xây dựng ứng dụng học máy di động bằng LiteRT, những người cần dữ liệu đo điểm chuẩn đáng tin cậy trên nhiều phần cứng Android và sẵn sàng đưa ra ý kiến phản hồi để giúp định hình tương lai của sản phẩm. Để yêu cầu quyền truy cập, hãy điền vào biểu mẫu đăng ký tại đây để bày tỏ sự quan tâm. Quyền truy cập được cấp thông qua danh sách cho phép.