Guide de segmentation d'image

La tâche de segmentation d'image MediaPipe vous permet de diviser les images en régions en fonction de catégories prédéfinies. Vous pouvez utiliser cette fonctionnalité pour identifier des objets ou des textures spécifiques, puis appliquer des effets visuels tels que le floutage de l'arrière-plan. Cette tâche inclut plusieurs modèles spécialement entraînés pour segmenter les personnes et leurs caractéristiques dans les données d'image, y compris:

• Personne et arrière-plan
• Cheveux de la personne uniquement
• Cheveux, visage, peau, vêtements et accessoires d'une personne

Cette tâche fonctionne sur des données d'image avec un modèle de machine learning (ML) avec des images uniques ou un flux vidéo continu. Il génère une liste de régions segmentées, représentant des objets ou des zones d'une image, en fonction du modèle que vous choisissez.

Essayez !arrow_forward

Premiers pas

Pour commencer à utiliser cette tâche, suivez l'un de ces guides d'implémentation pour votre plate-forme cible. Ces guides spécifiques à la plate-forme vous expliquent comment implémenter de manière basique cette tâche, y compris un modèle recommandé et un exemple de code avec les options de configuration recommandées:

• Android – Exemple de code – Guide
• Python – Guide d'exemples de code
• Web – Exemple de code – Guide

Détails de la tâche

Cette section décrit les fonctionnalités, les entrées, les sorties et les options de configuration de cette tâche.

Fonctionnalités

• Traitement des images d'entrée : le traitement comprend la rotation, le redimensionnement, la normalisation et la conversion d'espaces colorimétriques des images.

Options de configuration

Cette tâche propose les options de configuration suivantes:

Modèles

Le segmenteur d'images peut être utilisé avec plusieurs modèles de ML. La plupart des modèles de segmentation suivants sont créés et entraînés pour effectuer une segmentation avec des images de personnes. Toutefois, le modèle DeepLab-v3 est conçu comme un segmenteur d'images à usage général. Sélectionnez le modèle qui convient le mieux à votre application.

Modèle de segmentation des selfies

Ce modèle peut segmenter le portrait d'une personne et peut être utilisé pour remplacer ou modifier l'arrière-plan d'une image. Le modèle produit deux catégories : l'arrière-plan à l'indice 0 et la personne à l'indice 1. Ce modèle comporte des versions avec différentes formes d'entrée, y compris une version carrée et une version paysage, qui peuvent être plus efficaces pour les applications où l'entrée est toujours de cette forme, comme les appels vidéo.

Modèle de segmentation des cheveux

Ce modèle prend une image d'une personne, localise les cheveux sur sa tête et génère une carte de segmentation d'image pour ses cheveux. Vous pouvez utiliser ce modèle pour recolorer les cheveux ou appliquer d'autres effets capillaires. Le modèle génère les catégories de segmentation suivantes:

0 - background
1 - hair

Modèle de segmentation des selfies à classes multiples

Ce modèle prend une image d'une personne, identifie différentes zones telles que les cheveux, la peau et les vêtements, puis génère une carte de segmentation d'image pour ces éléments. Vous pouvez utiliser ce modèle pour appliquer différents effets aux personnes sur des images ou des vidéos. Le modèle génère les catégories de segmentation suivantes:

0 - background
1 - hair
2 - body-skin
3 - face-skin
4 - clothes
5 - others (accessories)

Modèle DeepLab-v3

Ce modèle identifie des segments pour un certain nombre de catégories, y compris l'arrière-plan, la personne, le chat, le chien et la plante en pot. Le modèle utilise la pooling atrouse des pyramides spatiales pour capturer des informations à plus longue portée. Pour en savoir plus, consultez DeepLab-v3.

Benchmarks des tâches

Voici les benchmarks de tâche pour l'ensemble du pipeline basés sur les modèles pré-entraînés ci-dessus. Le résultat de la latence correspond à la latence moyenne sur le Pixel 6 à l'aide du processeur / GPU.