Tác vụ Trình nhận dạng cử chỉ MediaPipe cho phép bạn nhận dạng cử chỉ tay theo thời gian thực và cung cấp kết quả nhận dạng cử chỉ tay cùng với các điểm đánh dấu của bàn tay được phát hiện. Bạn có thể sử dụng tác vụ này để nhận dạng các cử chỉ tay cụ thể của người dùng và gọi các tính năng ứng dụng tương ứng với các cử chỉ đó.
Tác vụ này hoạt động trên dữ liệu hình ảnh bằng mô hình học máy (ML) và chấp nhận dữ liệu tĩnh hoặc luồng liên tục. Tác vụ này sẽ xuất ra các điểm đánh dấu tay theo toạ độ hình ảnh, các điểm đánh dấu tay theo toạ độ thế giới, thuận tay (tay trái/tay phải) và các danh mục cử chỉ tay của nhiều tay.
Bắt đầu
Bắt đầu sử dụng tác vụ này bằng cách làm theo một trong các hướng dẫn triển khai sau đây cho nền tảng mục tiêu của bạn. Các hướng dẫn dành riêng cho từng nền tảng này sẽ hướng dẫn bạn cách triển khai cơ bản nhiệm vụ này bằng cách sử dụng mô hình được đề xuất và cung cấp các ví dụ về mã với các tuỳ chọn cấu hình được đề xuất:
- Android – Ví dụ về mã
- Python – Ví dụ về mã
- Web – Ví dụ về mã – Hướng dẫn
Thông tin chi tiết về việc cần làm
Phần này mô tả các tính năng, dữ liệu đầu vào, dữ liệu đầu ra và tuỳ chọn cấu hình của tác vụ này.
Tính năng
- Xử lý hình ảnh đầu vào – Quá trình xử lý bao gồm xoay hình ảnh, đổi kích thước, chuẩn hoá và chuyển đổi không gian màu.
- Ngưỡng điểm – Lọc kết quả dựa trên điểm dự đoán.
- Nhãn danh sách cho phép và danh sách từ chối – Chỉ định các danh mục cử chỉ mà mô hình nhận dạng được.
| Dữ liệu đầu vào của việc cần làm | Kết quả của tác vụ |
|---|---|
Trình nhận dạng cử chỉ chấp nhận dữ liệu đầu vào thuộc một trong các loại dữ liệu sau:
|
Trình nhận dạng cử chỉ sẽ đưa ra kết quả sau:
|
Tuỳ chọn cấu hình
Tác vụ này có các tuỳ chọn cấu hình sau:
| Tên tuỳ chọn | Mô tả | Phạm vi giá trị | Giá trị mặc định | |
|---|---|---|---|---|
running_mode |
Đặt chế độ chạy cho tác vụ. Có 3 chế độ: HÌNH ẢNH: Chế độ cho dữ liệu đầu vào là một hình ảnh. VIDEO: Chế độ cho các khung hình đã giải mã của video. LIVE_STREAM: Chế độ phát trực tiếp dữ liệu đầu vào, chẳng hạn như từ máy ảnh. Ở chế độ này, bạn phải gọi resultListener để thiết lập trình nghe nhận kết quả một cách không đồng bộ. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
|
num_hands |
GestureRecognizer có thể phát hiện được số lượng tay tối đa.
|
Any integer > 0 |
1 |
|
min_hand_detection_confidence |
Điểm tin cậy tối thiểu để quá trình phát hiện bàn tay được coi là thành công trong mô hình phát hiện lòng bàn tay. | 0.0 - 1.0 |
0.5 |
|
min_hand_presence_confidence |
Điểm tin cậy tối thiểu của điểm số về sự hiện diện của bàn tay trong mô hình phát hiện điểm đánh dấu bàn tay. Ở chế độ Video và chế độ Phát trực tiếp của Trình nhận dạng cử chỉ, nếu điểm tự tin về sự hiện diện của bàn tay từ mô hình điểm đánh dấu bàn tay thấp hơn ngưỡng này, thì mô hình phát hiện lòng bàn tay sẽ được kích hoạt. Nếu không, một thuật toán theo dõi tay gọn nhẹ sẽ được dùng để xác định vị trí của(các) bàn tay để phát hiện các điểm đánh dấu tiếp theo. | 0.0 - 1.0 |
0.5 |
|
min_tracking_confidence |
Điểm tin cậy tối thiểu để tính năng theo dõi chuyển động tay được coi là thành công. Đây là ngưỡng IoU của hộp giới hạn giữa các bàn tay trong khung hình hiện tại và khung hình cuối cùng. Trong chế độ Video và chế độ Truyền trực tuyến của Trình nhận dạng cử chỉ, nếu không theo dõi được, Trình nhận dạng cử chỉ sẽ kích hoạt tính năng phát hiện tay. Nếu không, tính năng phát hiện tay sẽ bị bỏ qua. | 0.0 - 1.0 |
0.5 |
|
canned_gestures_classifier_options |
Các tuỳ chọn để định cấu hình hành vi của bộ phân loại cử chỉ đóng hộp. Cử chỉ soạn sẵn là ["None", "Closed_Fist", "Open_Palm", "Pointing_Up", "Thumb_Down", "Thumb_Up", "Victory", "ILoveYou"] |
|
|
|
custom_gestures_classifier_options |
Các tuỳ chọn để định cấu hình hành vi của bộ phân loại cử chỉ tuỳ chỉnh. |
|
|
|
result_callback |
Đặt trình nghe kết quả để nhận kết quả phân loại không đồng bộ khi trình nhận dạng cử chỉ ở chế độ phát trực tiếp.
Chỉ có thể sử dụng khi chế độ chạy được đặt thành LIVE_STREAM |
ResultListener |
Không áp dụng | Không áp dụng |
Mô hình
Trình nhận dạng cử chỉ sử dụng một gói mô hình có hai gói mô hình được đóng gói sẵn: gói mô hình điểm đánh dấu trên tay và gói mô hình phân loại cử chỉ. Mô hình điểm đánh dấu phát hiện sự hiện diện của bàn tay và hình dạng bàn tay, còn mô hình nhận dạng cử chỉ nhận dạng cử chỉ dựa trên hình dạng bàn tay.
| Tên mẫu thiết bị | Hình dạng đầu vào | Loại lượng tử hoá | Thẻ mô hình | Phiên bản |
|---|---|---|---|---|
| HandGestureClassifier | 192 x 192, 224 x 224 | float 16 | info | Mới nhất |
Tác vụ này cũng hỗ trợ sửa đổi gói mô hình bằng Trình tạo mô hình. Để biết thêm thông tin về cách sử dụng Trình tạo mô hình để tuỳ chỉnh mô hình cho tác vụ này, hãy xem trang Tuỳ chỉnh mô hình cho Trình nhận dạng cử chỉ.
Gói mô hình điểm tham chiếu trên tay
Gói mô hình điểm mốc của bàn tay phát hiện vị trí điểm chính của 21 toạ độ khớp ngón tay trong các vùng bàn tay đã phát hiện. Mô hình này được huấn luyện trên khoảng 30.000 hình ảnh thực tế, cũng như một số mô hình tay tổng hợp được kết xuất trên nhiều nền. Hãy xem định nghĩa của 21 điểm tham quan bên dưới:
Gói mô hình điểm đánh dấu trên tay chứa mô hình phát hiện lòng bàn tay và mô hình phát hiện điểm đánh dấu trên tay. Mô hình phát hiện lòng bàn tay xác định vị trí của bàn tay trong toàn bộ hình ảnh đầu vào, còn mô hình phát hiện điểm đặc trưng trên bàn tay sẽ tìm các điểm đặc trưng trên hình ảnh bàn tay đã cắt do mô hình phát hiện lòng bàn tay xác định.
Vì mô hình phát hiện lòng bàn tay tốn nhiều thời gian hơn, nên ở chế độ Video hoặc chế độ Truyền trực tiếp, Trình nhận dạng cử chỉ sử dụng hộp giới hạn do các điểm đánh dấu bàn tay được phát hiện trong khung hình hiện tại xác định để xác định vị trí khu vực bàn tay trong khung hình tiếp theo. Điều này giúp giảm số lần Trình nhận dạng cử chỉ kích hoạt mô hình phát hiện lòng bàn tay. Chỉ khi mô hình điểm đánh dấu trên tay không thể xác định đủ số lượng tay cần thiết hoặc không theo dõi được tay, mô hình phát hiện lòng bàn tay mới được gọi để xác định lại vị trí của tay.
Gói mô hình phân loại cử chỉ
Gói mô hình phân loại cử chỉ có thể nhận dạng các cử chỉ tay phổ biến sau:
0 - Unrecognized gesture, label: Unknown
1 - Closed fist, label: Closed_Fist
2 - Open palm, label: Open_Palm
3 - Pointing up, label: Pointing_Up
4 - Thumbs down, label: Thumb_Down
5 - Thumbs up, label: Thumb_Up
6 - Victory, label: Victory
7 - Love, label: ILoveYou
Nếu mô hình phát hiện bàn tay nhưng không nhận dạng được cử chỉ, thì trình nhận dạng cử chỉ sẽ trả về kết quả là "Không có". Nếu mô hình không phát hiện thấy bàn tay, thì trình nhận dạng cử chỉ sẽ trả về kết quả trống.
Gói mô hình phân loại cử chỉ chứa quy trình mạng nơron hai bước với mô hình nhúng cử chỉ, theo sau là mô hình phân loại cử chỉ. Xem thêm thông tin chi tiết trong thẻ Mô hình phân loại cử chỉ.
Mô hình nhúng cử chỉ mã hoá các đặc điểm hình ảnh thành một vectơ đặc điểm, còn mô hình phân loại là một thuật toán phân loại cử chỉ gọn nhẹ lấy vectơ đặc điểm làm đầu vào. Gói mô hình phân loại cử chỉ được cung cấp chứa trình phân loại cử chỉ đóng hộp, giúp phát hiện 7 cử chỉ tay phổ biến được giới thiệu ở trên. Bạn có thể mở rộng gói mô hình để nhận dạng nhiều cử chỉ hơn bằng cách huấn luyện bộ phân loại cử chỉ tuỳ chỉnh của riêng mình. Hãy xem thêm thông tin chi tiết trong phần Mô hình tuỳ chỉnh sau đây.
Trình nhận dạng cử chỉ có cả bộ phân loại cử chỉ đóng hộp và bộ phân loại cử chỉ tuỳ chỉnh sẽ ưu tiên cử chỉ tuỳ chỉnh nếu cả hai bộ phân loại đều nhận dạng cùng một cử chỉ trong các danh mục của chúng. Nếu chỉ một bộ phân loại cử chỉ nhận dạng được cử chỉ, thì Trình nhận dạng cử chỉ sẽ trực tiếp xuất ra cử chỉ đã nhận dạng.
Điểm chuẩn tác vụ
Dưới đây là điểm chuẩn tác vụ cho toàn bộ quy trình dựa trên các mô hình được huấn luyện trước ở trên. Kết quả độ trễ là độ trễ trung bình trên Pixel 6 khi sử dụng CPU / GPU.
| Tên mô hình | Độ trễ CPU | Độ trễ GPU |
|---|---|---|
| GestureRecognizer | 16,76 mili giây | 20,87 mili giây |
Mô hình tuỳ chỉnh
Nếu muốn cải thiện hoặc thay đổi chức năng của các mô hình được cung cấp trong nhiệm vụ này, bạn có thể sử dụng Trình tạo mô hình để sửa đổi các mô hình hiện có. Mô hình tuỳ chỉnh được sử dụng với MediaPipe phải ở định dạng .task, là tệp gói mô hình. Bạn nên cân nhắc sử dụng Trình tạo mô hình để sửa đổi các mô hình được cung cấp cho nhiệm vụ này trước khi tạo mô hình của riêng mình.
Để biết thêm thông tin về cách tuỳ chỉnh mô hình cho tác vụ này, hãy xem phần Tuỳ chỉnh mô hình cho Trình nhận dạng cử chỉ.