Python 的交互式图像分割指南

MediaPipe Interactive Image Segmenter 任务会获取图片中的位置，估算该位置的对象边界，并将对象的分割结果作为图片数据返回。以下说明介绍了如何将 Interactive Image Segmenter 与 Python 语言搭配使用。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

Interactive Image Segmenter 的示例代码提供了使用 Python 对此任务的完整实现，供您参考。此代码可帮助您测试此任务，并开始构建自己的互动式图像分割应用。您只需使用网络浏览器即可查看、运行和修改交互式图片分割器示例代码。

设置

本部分介绍了专门用于使用 Interactive Image Segmenter 设置开发环境和代码项目的关键步骤。如需了解有关设置开发环境以使用 MediaPipe 任务的一般信息（包括平台版本要求），请参阅 Python 设置指南。您可以在 GitHub 上查看此示例的源代码

软件包

MediaPipe Interactive Image Segmenter 任务需要 mediapipe 软件包。您可以使用以下命令安装所需的依赖项：

$ python -m pip install mediapipe

导入

导入以下类以访问 Interactive Image Segmenter 任务函数：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

型号

MediaPipe Interactive Image Segmenter 任务需要与此任务兼容的训练模型。如需详细了解 Interactive Image Segmenter 的可用训练模型，请参阅任务概览中的模型部分。

选择并下载模型，然后将其存储在项目目录中：

model_path = '/absolute/path/to/model.tflite'

在 model_asset_path 参数中指定模型的路径，如下所示：

base_options = BaseOptions(model_asset_path=model_path)

创建任务

MediaPipe Interactive Image Segmenter 任务使用 create_from_options 函数来设置任务。create_from_options 函数接受配置选项要处理的值。如需详细了解配置选项，请参阅配置选项。以下代码演示了如何构建和配置此任务。

BaseOptions = mp.tasks.BaseOptions
InteractiveSegmenter = mp.tasks.vision.InteractiveSegmenter
InteractiveSegmenterOptions = mp.tasks.vision.InteractiveSegmenterOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a image segmenter instance with the image mode:
options = InteractiveSegmenterOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE,
    output_type=InteractiveSegmenterOptions.OutputType.CATEGORY_MASK)
with InteractiveSegmenter.create_from_options(options) as segmenter:
# segmenter is initialized and ready to use

配置选项

此任务针对 Python 应用提供了以下配置选项：

选项名称	说明	值范围	默认值
`output_category_mask`	如果设置为 `True`，输出将包含作为 uint8 图片的细分掩码，其中每个像素值都表示该像素是否属于位于感兴趣区域内的对象。	{`True, False`}	`False`
`output_confidence_masks`	如果设置为 `True`，输出将包含作为浮点值图片的细分掩码，其中每个浮点值表示相应像素属于感兴趣区域内对象的置信度。	{`True, False`}	`True`
`display_names_locale`	设置要为任务模型的元数据（如果有）中提供的显示名称使用的标签语言。默认值为 `en`（英语）。您可以使用 TensorFlow Lite Metadata Writer API 向自定义模型的元数据添加本地化标签	语言区域代码	en

准备数据

将输入准备为图片文件或 NumPy 数组，然后将其转换为 mediapipe.Image 对象。

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)

如需查看展示如何为 Interactive Image Segmenter 准备数据的代码示例，请参阅代码示例。

运行任务

Interactive Image Segmenter 使用 segment 函数触发推理。对于图片分割，这包括预处理输入数据、运行分割模型，以及将原始模型输出后处理为分割掩码。

以下代码示例展示了如何使用任务模型执行处理。

RegionOfInterest = vision.InteractiveSegmenterRegionOfInterest
# Perform image segmentation on the provided single image.
# The image segmenter must be created with the image mode.
roi = RegionOfInterest(format=RegionOfInterest.Format.KEYPOINT,
                          keypoint=NormalizedKeypoint(x, y))
segmented_masks = segmenter.segment(mp_image, roi)

如需查看运行 Interactive Image Segmenter 推理的更完整示例，请参阅代码示例。

处理和显示结果

Interactive Image Segmenter 的输出结果是 Image 数据列表，可能包含类别掩码和/或置信度掩码，具体取决于您在配置任务时设置的内容。如果您将 output_category_mask 设置为 True，则输出将是一个列表，其中包含作为 uint8 图片的单个分段遮罩。像素值表示它是否属于感兴趣区域内的对象。输入图片的已识别类别索引。如果您将 output_confidence_masks 设置为 True，输出将是包含 [0,1] 范围内的像素值的通道列表，表示属于感兴趣区域内的对象的像素的置信度得分。

以下部分进一步介绍了此任务的输出数据：

类别遮罩

以下图片显示了类别值掩码的任务输出可视化结果，其中指明了兴趣点区域。每个像素都是一个 uint8 值，用于指示该像素是否属于位于感兴趣区域的对象。第二张图片上的黑白圆圈表示所选感兴趣的区域。

一只狗站在一堆树叶中上图中狗狗的轮廓

原始图片和类别遮罩输出。来自 Pascal VOC 2012 数据集的源图像。

置信度遮罩

置信度掩码的输出包含每个图片输入通道的介于 [0, 1] 之间的浮点值。值越高，表示图片像素属于感兴趣区域内对象的置信度就越高。