适用于 Android 的图像分割指南

借助 MediaPipe 图片分割器任务，您可以根据预定义的类别将图片划分为多个区域，以应用背景模糊处理等视觉效果。以下说明介绍了如何将图片分割器与 Android 应用搭配使用。这些说明中介绍的代码示例可在 GitHub 上找到。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

MediaPipe Tasks 代码示例包含两个 Android 图片分割器应用的简单实现：

这些示例使用实体 Android 设备上的相机对实时相机画面执行图片分割，或者您也可以从设备图库中选择图片和视频。您可以将这些应用用作您自己的 Android 应用的起点，也可以在修改现有应用时参考这些应用。Image Segmenter 示例代码托管在 GitHub 上。

以下部分将介绍带有类别遮罩的图片分割器应用。

下载代码

以下说明介绍了如何使用 git 命令行工具创建示例代码的本地副本。

如需下载示例代码，请执行以下操作：

  1. 使用以下命令克隆 Git 代码库： 
    git clone https://github.com/google-ai-edge/mediapipe-samples
  2. （可选）将您的 Git 实例配置为使用稀疏检出，以便您只保留 Image Segmenter 示例应用的文件： 
    cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/image_segmentation/android

创建示例代码的本地版本后，您可以将项目导入 Android Studio 并运行应用。如需了解相关说明，请参阅 Android 设置指南。

关键组件

以下文件包含此图像分割示例应用的重要代码：

设置

本部分介绍了设置开发环境和代码项目以使用 Image Segmenter 的关键步骤。如需了解如何设置开发环境以使用 MediaPipe 任务（包括平台版本要求）的一般信息，请参阅 Android 设置指南。

依赖项

图片分割器使用 com.google.mediapipe:tasks-vision 库。将此依赖项添加到 Android 应用开发项目的 build.gradle 文件中。使用以下代码导入所需的依赖项：

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

型号

MediaPipe 图片分割器任务需要与此任务兼容的训练模型。如需详细了解适用于图片分割器的可用训练模型，请参阅任务概览的“模型”部分。

选择并下载模型，然后将其存储在项目目录中：

<dev-project-root>/src/main/assets

使用 BaseOptions.Builder.setModelAssetPath() 方法指定模型使用的路径。下一部分的代码示例中会提及此方法。

在图片分割器示例代码中，模型在 setupImageSegmenter() 函数的 ImageSegmenterHelper.kt 类中定义。

创建任务

您可以使用 createFromOptions 函数创建任务。createFromOptions 函数接受配置选项，包括遮罩输出类型。如需详细了解任务配置，请参阅配置选项。

图片分割器任务支持以下输入数据类型：静态图片、视频文件和实时视频流。创建任务时，您必须指定与输入数据类型对应的运行模式。选择输入数据类型对应的标签页，了解如何创建该任务。

Image

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);

视频

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);

直播

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)

图片分割器示例代码实现允许用户在处理模式之间切换。这种方法会使任务创建代码变得更复杂，可能不适合您的用例。您可以在 ImageSegmenterHelper 类中通过 setupImageSegmenter() 函数看到此代码。

配置选项

此任务针对 Android 应用提供了以下配置选项：

选项名称 说明 值范围 默认值
runningMode 设置任务的运行模式。共有三种模式：

IMAGE：适用于单张图片输入的模式。

视频：视频的解码帧的模式。

LIVE_STREAM：输入数据（例如来自摄像头）的直播模式。 在此模式下，必须调用 resultListener 以设置监听器以异步接收结果。 		{IMAGE, VIDEO, LIVE_STREAM} IMAGE
outputCategoryMask 如果设置为 True，输出将包含一个分割掩码（作为 uint8 图片），其中每个像素值都表示胜出的类别值。 {True, False} False
outputConfidenceMasks 如果设为 True，输出将包含作为浮点值图片的分割掩码，其中每个浮点值代表相应类别的置信度得分映射。 {True, False} True
displayNamesLocale 设置要为任务模型的元数据（如果有）中提供的显示名称使用的标签语言。默认值为 en（英语）。您可以使用 TensorFlow Lite Metadata Writer API 向自定义模型的元数据添加本地化标签 语言区域代码 en
resultListener 设置结果监听器，以便在图片分割器处于 LIVE_STREAM 模式时异步接收分割结果。 仅当运行模式设置为 LIVE_STREAM 时才能使用 不适用 不适用
errorListener 设置可选的错误监听器。 不适用 未设置

准备数据

图片分割器适用于图片、视频文件和直播视频。该任务会处理数据输入预处理，包括调整大小、旋转和值归一化。

您需要先将输入图片或帧转换为 com.google.mediapipe.framework.image.MPImage 对象，然后才能将其传递给图片分割器。

Image

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();

视频

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();

直播

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();

在图片分割器示例代码中，数据准备由 segmentLiveStreamFrame() 函数在 ImageSegmenterHelper 类中处理。

运行任务

您可以根据所使用的运行模式调用不同的 segment 函数。Image Segmenter 函数会返回输入图片或帧中标识出的分段区域。

Image

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);

视频

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);

直播

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);

请注意以下几点：

  • 在视频模式或直播模式下运行时，您还必须向图片分割器任务提供输入帧的时间戳。
  • 在图片或视频模式下运行时，图片分割器任务会阻塞当前线程，直到其处理完输入图片或帧。为避免阻塞界面，请在后台线程中执行处理。
  • 在直播模式下运行时，图片分割器任务不会阻塞当前线程，而是会立即返回。每当它处理完输入帧后，都会调用其结果监听器并传递检测结果。如果在图片分割器任务忙于处理其他帧时调用 segmentAsync 函数，该任务会忽略新的输入帧。

在图片分割器示例代码中，segment 函数在 ImageSegmenterHelper.kt 文件中定义。

处理和显示结果

运行推理后，图片分割器任务会返回一个 ImageSegmenterResult 对象，其中包含分割任务的结果。输出内容取决于您在配置任务时设置的 outputType。

以下部分显示了此任务的输出数据示例：

类别置信度

以下图片显示了类别置信度掩码的任务输出可视化结果。置信度掩码输出包含介于 [0, 1] 之间的浮点值。

两个女孩骑着马，还有一个女孩在马旁边走着 图片蒙版，用于勾勒出前一张照片中女孩和马的形状。系统捕获了图片左半部分的轮廓，但未捕获图片右半部分的轮廓

原始图片和类别置信度蒙版输出。来自 Pascal VOC 2012 数据集的源图像。

类别价值

以下图片显示了类别值掩码的任务输出的可视化结果。类别掩码范围为 [0, 255]，每个像素值代表模型输出的胜出类别索引。胜出类别索引是模型可以识别的类别中得分最高的类别。

两个女孩骑着马，还有一个女孩在马旁边走着 图片蒙版，用于勾勒出上图中女孩和马的形状。三个女孩和马匹的形状都已准确遮盖

原始图片和类别遮罩输出。来自 Pascal VOC 2012 数据集的源图像。