Hướng dẫn nhúng hình ảnh cho Python

Tác vụ Trình nhúng hình ảnh MediaPipe cho phép bạn chuyển đổi dữ liệu hình ảnh thành một giá trị đại diện dạng số để thực hiện các tác vụ xử lý hình ảnh liên quan đến học máy, chẳng hạn như so sánh mức độ tương đồng của hai hình ảnh. Các hướng dẫn này cho bạn biết cách sử dụng Trình nhúng hình ảnh bằng Python.

Để biết thêm thông tin về các tính năng, mô hình và tuỳ chọn cấu hình của tác vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã mẫu cho Trình nhúng hình ảnh cung cấp cách triển khai đầy đủ nhiệm vụ này trong Python để bạn tham khảo. Mã này giúp bạn kiểm thử nhiệm vụ này và bắt đầu tạo trình nhúng hình ảnh của riêng mình. Bạn có thể xem, chạy và chỉnh sửa mã ví dụ của Trình nhúng hình ảnh chỉ bằng trình duyệt web thông qua Google Colab. Bạn có thể xem mã nguồn cho ví dụ này trên GitHub.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và dự án mã dành riêng cho việc sử dụng Trình nhúng hình ảnh. Để biết thông tin chung về cách thiết lập môi trường phát triển cho việc sử dụng các tác vụ MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Python.

Gói

Tác vụ Trình nhúng hình ảnh gói mediapipe pip. Bạn có thể cài đặt phần phụ thuộc bằng cách sau:

$ python -m pip install mediapipe

Nhập

Nhập các lớp sau để truy cập vào các hàm tác vụ của Trình nhúng hình ảnh:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Mẫu

Tác vụ Trình nhúng hình ảnh MediaPipe yêu cầu một mô hình đã huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình nhúng hình ảnh, hãy xem phần Mô hình trong phần tổng quan về tác vụ.

Chọn và tải một mô hình xuống, sau đó lưu mô hình đó vào một thư mục cục bộ. Bạn có thể sử dụng mô hình MobileNetV3 được đề xuất.

model_path = '/absolute/path/to/mobilenet_v3_small_075_224_embedder.tflite'

Chỉ định đường dẫn của mô hình trong tham số model_asset_path, như minh hoạ dưới đây:

base_options = BaseOptions(model_asset_path=model_path)

Tạo việc cần làm

Bạn có thể sử dụng hàm create_from_options để tạo tác vụ. Hàm create_from_options chấp nhận các tuỳ chọn cấu hình để đặt các tuỳ chọn của trình nhúng. Để biết thêm thông tin về các tuỳ chọn cấu hình, hãy xem phần Tổng quan về cấu hình.

Tác vụ Trình nhúng hình ảnh hỗ trợ 3 loại dữ liệu đầu vào: ảnh tĩnh, tệp video và luồng video trực tiếp. Chọn thẻ tương ứng với loại dữ liệu đầu vào để xem cách tạo tác vụ và chạy quy trình suy luận.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageEmbedder = mp.tasks.vision.ImageEmbedder
ImageEmbedderOptions = mp.tasks.vision.ImageEmbedderOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageEmbedderOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    quantize=True,
    running_mode=VisionRunningMode.IMAGE)

with ImageEmbedder.create_from_options(options) as embedder:
  # The embedder is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageEmbedder = mp.tasks.vision.ImageEmbedder
ImageEmbedderOptions = mp.tasks.vision.ImageEmbedderOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageEmbedderOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    quantize=True,
    running_mode=VisionRunningMode.VIDEO)

with ImageEmbedder.create_from_options(options) as embedder:
  # The embedder is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageEmbedderResult = mp.tasks.vision.ImageEmbedder.ImageEmbedderResult
ImageEmbedder = mp.tasks.vision.ImageEmbedder
ImageEmbedderOptions = mp.tasks.vision.ImageEmbedderOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: ImageEmbedderResult, output_image: mp.Image, timestamp_ms: int):
    print('ImageEmbedderResult result: {}'.format(result))

options = ImageEmbedderOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    quantize=True,
    result_callback=print_result)

with ImageEmbedder.create_from_options(options) as embedder:
  # The embedder is initialized. Use it here.
  # ...
    

Các lựa chọn về cấu hình

Tác vụ này có các tuỳ chọn cấu hình sau đây cho các ứng dụng Python:

Chuẩn bị dữ liệu

Chuẩn bị dữ liệu đầu vào dưới dạng tệp hình ảnh hoặc mảng numpy, sau đó chuyển đổi dữ liệu đó thành đối tượng mediapipe.Image. Nếu dữ liệu đầu vào là tệp video hoặc luồng trực tiếp từ webcam, bạn có thể sử dụng thư viện bên ngoài như OpenCV để tải các khung hình đầu vào dưới dạng mảng numpy.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Chạy tác vụ

Bạn có thể gọi hàm nhúng tương ứng với chế độ chạy để kích hoạt suy luận. API Trình nhúng hình ảnh sẽ trả về các vectơ nhúng cho hình ảnh hoặc khung hình đầu vào.

# Perform image embedding on the provided single image.
embedding_result = embedder.embed(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform image embedding on the video frame.
embedding_result = embedder.embed_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform image embedding.
# Results are sent to the `result_callback` provided in the `ImageEmbedderOptions`.
embedder.embed_async(mp_image, frame_timestamp_ms)
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp cho tác vụ Trình nhúng hình ảnh dấu thời gian của khung đầu vào.
• Khi chạy trong mô hình hình ảnh hoặc video, tác vụ Trình nhúng hình ảnh sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung hình đầu vào.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình nhúng hình ảnh không chặn luồng hiện tại mà trả về ngay lập tức. Phương thức này sẽ gọi trình nghe kết quả với kết quả nhúng mỗi khi hoàn tất quá trình xử lý khung đầu vào. Nếu hàm embedAsync được gọi khi tác vụ Trình nhúng hình ảnh đang bận xử lý một khung hình khác, thì tác vụ này sẽ bỏ qua khung đầu vào mới.

Xử lý và hiển thị kết quả

Khi chạy quy trình suy luận, tác vụ Trình nhúng hình ảnh sẽ trả về một đối tượng ImageEmbedderResult chứa danh sách các danh mục có thể có cho các đối tượng trong hình ảnh hoặc khung đầu vào.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

ImageEmbedderResult:
  Embedding #0 (sole embedding head):
    float_embedding: {0.0, 0.0, ..., 0.0, 1.0, 0.0, 0.0, 2.0}
    head_index: 0

Kết quả này được lấy bằng cách nhúng hình ảnh sau:

Bạn có thể so sánh mức độ tương đồng của hai nội dung nhúng bằng cách sử dụng hàm ImageEmbedder.cosine_similarity. Hãy xem mã sau đây để biết ví dụ.

# Compute cosine similarity.
similarity = ImageEmbedder.cosine_similarity(
  embedding_result.embeddings[0],
  other_embedding_result.embeddings[0])