适用于 Android 的交互式图像分割指南

MediaPipe Interactive Image Segmenter 任务会获取图片中的位置，估算该位置的对象边界，并将对象的分割结果作为图片数据返回。以下说明介绍了如何将 Interactive Image Segmenter 与 Android 应用搭配使用。这些说明中介绍的代码示例可在 GitHub 上找到。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

MediaPipe Tasks 代码示例是对 Android 交互式图片分割器应用的简单实现。 此示例适用于从设备图库中选择的图片。

您可以将该应用用作您自己的 Android 应用的起点，也可以在修改现有应用时参考该应用。Interactive Image Segmenter 示例代码托管在 GitHub 上。

下载代码

以下说明介绍了如何使用 git 命令行工具创建示例代码的本地副本。

如需下载示例代码，请执行以下操作：

1. 使用以下命令克隆 Git 代码库：

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. （可选）将您的 Git 实例配置为使用稀疏检出，以便您只保留 Interactive Image Segmenter 示例应用的文件：

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/interactive_segmentation/android
   

创建示例代码的本地版本后，您可以将项目导入 Android Studio 并运行应用。如需了解相关说明，请参阅 Android 设置指南。

关键组件

以下文件包含此图像分割示例应用的重要代码：

• InteractiveSegmentationHelper.kt - 初始化 Interactive Image Segmenter 任务，并处理模型和代理选择。
• OverlayView.kt - 处理和设置细分结果的格式。

设置

本部分介绍了设置开发环境和编写代码项目以使用 Interactive Image Segmenter 的关键步骤。如需了解如何设置开发环境以使用 MediaPipe 任务（包括平台版本要求）的一般信息，请参阅 Android 设置指南。

依赖项

Interactive Image Segmenter 使用 com.google.mediapipe:tasks-vision 库。将此依赖项添加到 Android 应用开发项目的 build.gradle 文件中。使用以下代码导入所需的依赖项：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型号

MediaPipe Interactive Image Segmenter 任务需要与此任务兼容的训练模型。如需详细了解 Interactive Image Segmenter 的可用训练模型，请参阅任务概览的“模型”部分。

选择并下载模型，然后将其存储在项目目录中：

<dev-project-root>/src/main/assets

使用 BaseOptions.Builder.setModelAssetPath() 方法指定模型使用的路径。下一部分的代码示例中展示了此方法。

在交互式图片分割器示例代码中，模型在 setupInteractiveSegmenter() 函数的 InteractiveSegmenterHelper.kt 类中定义。

创建任务

您可以使用 createFromOptions 函数创建任务。createFromOptions 函数接受配置选项，包括遮罩输出类型。如需详细了解配置选项，请参阅配置概览。

InteractiveSegmenterOptions options =
  InteractiveSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener(exception -> {
         // Process the segmentation errors here.
    })    
    .build();
interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);

如需查看有关设置此任务的更详细示例，请参阅 InteractiveSegmenterHelper 类 setupInteractiveSegmenter() 函数。

配置选项

此任务针对 Android 应用提供了以下配置选项：

准备数据

Interactive Image Segmenter 适用于图片，并且该任务会处理数据输入预处理，包括调整大小、旋转和值归一化。您需要先将输入图片转换为 com.google.mediapipe.framework.image.MPImage 对象，然后才能将其传递给任务。

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
MPImage mpImage = new BitmapImageBuilder(bitmap).build();

在 Interactive Image Segmenter 示例代码中，数据准备由 segment() 函数在 InteractiveSegmenterHelper 类中处理。

运行任务

调用 segment 函数以运行预测并生成片段。 Interactive Image Segmenter 任务会返回输入图片中识别出的分段区域。

RegionOfInterest roi = RegionOfInterest.create(
    NormalizedKeypoint.create(
        normX * it.width,
        normY * it.height
    )
);

ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);

在 Interactive Image Segmenter 示例代码中，segment 函数在 InteractiveSegmenterHelper.kt 文件中定义。

处理和显示结果

运行推理后，Interactive Image Segmenter 任务会返回一个 ImageSegmenterResult 对象，其中包含分割任务的结果。输出内容可能包括类别掩码和/或置信度掩码，具体取决于您在配置任务时设置的内容。

以下部分进一步介绍了此任务的输出数据：

类别遮罩

以下图片显示了类别值掩码的任务输出可视化结果，其中指明了兴趣点区域。每个像素都是一个 uint8 值，用于指示该像素是否属于位于感兴趣区域的对象。第二张图片上的黑白圆圈表示所选感兴趣的区域。

原始图片和类别遮罩输出。来自 Pascal VOC 2012 数据集的源图像。

置信度遮罩

置信度掩码的输出包含每个图片输入通道的介于 [0, 1] 之间的浮点值。值越高，表示图片像素属于感兴趣区域内对象的置信度就越高。