Python 適用的互動式圖片區隔指南

MediaPipe 互動式圖片分割器工作會取用圖片中的某個位置，估算該位置物件的邊界，並以圖片資料的形式傳回物件的分割結果。本操作說明將說明如何使用 Python 語言搭配互動式圖像分割器。如要進一步瞭解這項工作的功能、模型和設定選項，請參閱總覽。

程式碼範例

互動式圖片區塊分割器的範例程式碼會提供 Python 中此工作的完整實作方式，供您參考。這段程式碼可協助您測試這項工作，並開始建構自己的互動式圖像分割應用程式。您只需使用網頁瀏覽器，即可查看、執行及編輯互動式圖片分割器的範例程式碼。

設定

本節將說明設定開發環境和程式碼專案的關鍵步驟，以便使用互動式圖片分割器。如要進一步瞭解如何設定開發環境以使用 MediaPipe 工作，包括平台版本需求，請參閱 Python 設定指南。您可以在 GitHub 上查看這個範例的原始碼

套件

MediaPipe 互動圖片區塊劃分器工作需要 mediapipe 套件。您可以使用下列指令安裝必要的依附元件：

$ python -m pip install mediapipe

匯入

匯入下列類別，存取互動式圖片分割器工作函式：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

型號

MediaPipe 互動式圖片區隔器工作需要訓練的模型與此工作相容。如要進一步瞭解互動式圖片區隔器可用的訓練模型，請參閱任務總覽的「模型」一節。

選取並下載模型，然後將模型儲存在專案目錄中：

model_path = '/absolute/path/to/model.tflite'

在 model_asset_path 參數中指定模型的路徑，如下所示：

base_options = BaseOptions(model_asset_path=model_path)

建立工作

MediaPipe 互動式圖片區隔器工作會使用 create_from_options 函式設定工作。create_from_options 函式會接受設定選項的值，以便處理。如要進一步瞭解設定選項，請參閱「設定選項」。以下程式碼示範如何建構及設定此工作。

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

設定選項

此工作包含下列 Python 應用程式的設定選項：

選項名稱	說明	值範圍	預設值
`output_category_mask`	如果設為 `True`，輸出內容會包含分割遮罩，做為 uint8 圖片，其中每個像素值會指出該像素是否屬於位於感興趣區域的物件。	{`True, False`}	`False`
`output_confidence_masks`	如果設為 `True`，輸出內容會包含分割遮罩，做為浮點值圖片，其中每個浮點值代表像素是位於感興趣區域的物件部分的置信度。	{`True, False`}	`True`
`display_names_locale`	設定標籤語言，用於工作模型中繼資料中提供的顯示名稱 (如有)。預設值為英文的 `en`。您可以使用 TensorFlow Lite Metadata Writer API，在自訂模型的中繼資料中新增本地化標籤。	語言代碼	en

準備資料

將輸入內容設為圖片檔案或 Numpy 陣列，然後轉換為 mediapipe.Image 物件。

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

如需互動式圖片分割器的資料準備程式碼範例，請參閱程式碼範例。

執行工作

互動式圖像區隔器會使用 segment 函式觸發推論。針對圖片區隔，這包括預先處理輸入資料、執行區隔模型，以及將原始模型輸出內容後處理為區隔遮罩。

以下程式碼範例說明如何使用工作模型執行處理作業。

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

如需更完整的範例，請參閱程式碼範例，瞭解如何執行互動式圖片分割器推論。

處理及顯示結果

互動式圖像區隔器的輸出結果是 Image 資料清單，可能包含類別遮罩、信心遮罩或兩者皆有，這取決於您在設定工作時設定的內容。如果將 output_category_mask 設為 True，輸出內容會是清單，其中包含單一區隔遮罩，做為 uint8 圖片。像素值會指出該像素是否屬於感興趣區域的物件。輸入圖片的已辨識類別索引。如果您將 output_confidence_masks 設為 True，輸出內容會是包含像素值的通道清單，其中的像素值會落在 [0,1] 範圍內，代表在指定區域內，像素屬於物件的置信度分數。

以下各節將進一步說明此工作產生的輸出資料：

類別遮罩

下圖顯示分類值遮罩任務輸出的視覺化效果，其中標示出感興趣的點區域。每個像素都是 uint8 值，用於指出該像素是否位於感興趣區域的物件。第二張圖片中的黑白圓圈，代表所選取的興趣所在區域。

一隻狗站在一堆落葉中上一個圖片中狗的輪廓形狀

原始圖片和類別遮罩輸出結果。Pascal VOC 2012 資料集的原始圖片。

可信度遮罩

信心遮罩的輸出內容包含每個圖像輸入通道的 [0, 1] 之間浮點值。值越高，表示圖片像素是位於感興趣區域的物件一部分的可信度越高。