La tâche MediaPipe Pose Landmarker vous permet de détecter les points de repère des corps humains dans une image ou une vidéo. Vous pouvez utiliser cette tâche pour identifier les principaux points du corps, analyser la posture et catégoriser les mouvements. Cette tâche utilise des modèles de machine learning (ML) qui fonctionnent avec des images ou des vidéos uniques. La tâche génère des repères de position du corps en coordonnées d'image et en coordonnées mondiales tridimensionnelles.
L'exemple de code décrit dans ces instructions est disponible sur GitHub. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.
Exemple de code
L'exemple de code pour Pose Landmarker fournit une implémentation complète de cette tâche en Python à titre de référence. Ce code vous aide à tester cette tâche et à commencer à créer votre propre repère de pose. Vous pouvez afficher, exécuter et modifier l'exemple de code de Pose Landmarker à l'aide de votre navigateur Web.
Si vous implémentez le Pose Landmarker pour Raspberry Pi, consultez l'application exemple pour Raspberry Pi.
Configuration
Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement et vos projets de code spécifiquement pour utiliser Pose Landmarker. Pour en savoir plus sur la configuration de votre environnement de développement afin d'utiliser les tâches MediaPipe, y compris les exigences concernant les versions de la plate-forme, consultez le guide de configuration pour Python.
Colis
La tâche MediaPipe Pose Landmarker nécessite le package PyPI mediapipe. Vous pouvez installer et importer ces dépendances avec les commandes suivantes:
$ python -m pip install mediapipe
Importations
Importez les classes suivantes pour accéder aux fonctions de la tâche Pose Landmarker:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Modèle
La tâche de repère de pose MediaPipe nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Pose Landmarker, consultez la section Modèles de la présentation de la tâche.
Sélectionnez et téléchargez le modèle, puis stockez-le dans un répertoire local:
model_path = '/absolute/path/to/pose_landmarker.task'
Utilisez le paramètre model_asset_path de l'objet BaseOptions pour spécifier le chemin d'accès au modèle à utiliser. Pour obtenir un exemple de code, consultez la section suivante.
Créer la tâche
La tâche MediaPipe Pose Landmarker utilise la fonction create_from_options pour configurer la tâche. La fonction create_from_options accepte les valeurs que les options de configuration doivent gérer. Pour en savoir plus, consultez la section Options de configuration.
Le code suivant montre comment créer et configurer cette tâche.
Ces exemples montrent également les variations de la création de tâches pour les images, les fichiers vidéo et les diffusions en direct.
Image
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions PoseLandmarker = mp.tasks.vision.PoseLandmarker PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions VisionRunningMode = mp.tasks.vision.RunningMode options = PoseLandmarkerOptions( base_options=BaseOptions(model_asset_path=model_path), running_mode=VisionRunningMode.IMAGE) with PoseLandmarker.create_from_options(options) as landmarker: # The landmarker is initialized. Use it here. # ...
Vidéo
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions PoseLandmarker = mp.tasks.vision.PoseLandmarker PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions VisionRunningMode = mp.tasks.vision.RunningMode # Create a pose landmarker instance with the video mode: options = PoseLandmarkerOptions( base_options=BaseOptions(model_asset_path=model_path), running_mode=VisionRunningMode.VIDEO) with PoseLandmarker.create_from_options(options) as landmarker: # The landmarker is initialized. Use it here. # ...
Diffusion en direct
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions PoseLandmarker = mp.tasks.vision.PoseLandmarker PoseLandmarkerOptions = mp.tasks.vision.PoseLandmarkerOptions PoseLandmarkerResult = mp.tasks.vision.PoseLandmarkerResult VisionRunningMode = mp.tasks.vision.RunningMode # Create a pose landmarker instance with the live stream mode: def print_result(result: PoseLandmarkerResult, output_image: mp.Image, timestamp_ms: int): print('pose landmarker result: {}'.format(result)) options = PoseLandmarkerOptions( base_options=BaseOptions(model_asset_path=model_path), running_mode=VisionRunningMode.LIVE_STREAM, result_callback=print_result) with PoseLandmarker.create_from_options(options) as landmarker: # The landmarker is initialized. Use it here. # ...
Pour obtenir un exemple complet de création d'un repère de pose à utiliser avec une image, consultez l'exemple de code.
Options de configuration
Cette tâche propose les options de configuration suivantes pour les applications Python:
| Nom de l'option | Description | Plage de valeurs | Valeur par défaut |
|---|---|---|---|
running_mode |
Définit le mode d'exécution de la tâche. Il existe trois modes: IMAGE: mode pour les entrées d'une seule image. VIDEO: mode des images décodées d'une vidéo. LIVE_STREAM: mode de diffusion en direct des données d'entrée, par exemple à partir d'une caméra. Dans ce mode, resultListener doit être appelé pour configurer un écouteur afin de recevoir les résultats de manière asynchrone. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
Nombre maximal de poses pouvant être détectées par le repère de pose. | Integer > 0 |
1 |
min_pose_detection_confidence |
Score de confiance minimal pour que la détection de la position soit considérée comme réussie. | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
Score de confiance minimal de la présence de la pose dans la détection des repères de la pose. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Score de confiance minimal pour que le suivi de la position soit considéré comme réussi. | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
Indique si Pose Landmarker génère un masque de segmentation pour la position détectée. | Boolean |
False |
result_callback |
Définit l'écouteur de résultats pour qu'il reçoive les résultats du repère de manière asynchrone lorsque le repère de pose est en mode diffusion en direct.
Ne peut être utilisé que lorsque le mode d'exécution est défini sur LIVE_STREAM. |
ResultListener |
N/A |
Préparer les données
Préparez votre entrée en tant que fichier image ou tableau numpy, puis convertissez-la en objet mediapipe.Image. Si votre entrée est un fichier vidéo ou une diffusion en direct depuis une webcam, vous pouvez utiliser une bibliothèque externe telle que OpenCV pour charger vos frames d'entrée en tant que tableaux numpy.
Image
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Vidéo
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Diffusion en direct
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Exécuter la tâche
Le repère de position utilise les fonctions detect, detect_for_video et detect_async pour déclencher des inférences. Pour le repère de pose, cela implique de prétraiter les données d'entrée et de détecter les poses dans l'image.
Le code suivant montre comment exécuter le traitement avec le modèle de tâche.
Image
# Perform pose landmarking on the provided single image. # The pose landmarker must be created with the image mode. pose_landmarker_result = landmarker.detect(mp_image)
Vidéo
# Perform pose landmarking on the provided single image. # The pose landmarker must be created with the video mode. pose_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
Diffusion en direct
# Send live image data to perform pose landmarking. # The results are accessible via the `result_callback` provided in # the `PoseLandmarkerOptions` object. # The pose landmarker must be created with the live stream mode. landmarker.detect_async(mp_image, frame_timestamp_ms)
Veuillez noter les points suivants :
- Lorsque vous exécutez le mode vidéo ou le mode diffusion en direct, fournissez également à la tâche Pose Landmarker le code temporel du frame d'entrée.
- Lors de l'exécution dans le modèle d'image ou de vidéo, la tâche de repère de pose bloque le thread actuel jusqu'à ce qu'il ait terminé le traitement de l'image ou du frame d'entrée.
- Lorsqu'elle s'exécute en mode diffusion en direct, la tâche Pose Landmarker renvoie immédiatement et ne bloque pas le thread en cours. Il appelle l'écouteur de résultats avec le résultat de la détection chaque fois qu'il a terminé le traitement d'un frame d'entrée. Si la fonction de détection est appelée lorsque la tâche de repère de position est occupée à traiter un autre frame, la tâche ignore le nouveau frame d'entrée.
Pour obtenir un exemple complet d'exécution d'un repère de position sur une image, consultez l'exemple de code.
Gérer et afficher les résultats
Le repère de position renvoie un objet poseLandmarkerResult pour chaque exécution de détection. L'objet résultat contient les coordonnées de chaque repère de la pose.
Voici un exemple des données de sortie de cette tâche:
PoseLandmarkerResult:
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : 0.129959
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
visibility : 0.999909
presence : 0.999958
... (33 landmarks per pose)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
visibility : 0.999976
presence : 0.999998
... (33 world landmarks per pose)
SegmentationMasks:
... (pictured below)
La sortie contient à la fois des coordonnées normalisées (Landmarks) et des coordonnées mondiales (WorldLandmarks) pour chaque repère.
La sortie contient les coordonnées normalisées (Landmarks) suivantes :
xety: coordonnées des repères normalisées entre 0,0 et 1,0 en fonction de la largeur (x) et de la hauteur (y) de l'image.z: profondeur du repère, avec la profondeur au milieu des hanches comme origine. Plus la valeur est faible, plus le repère est proche de la caméra. L'ampleur de z utilise à peu près la même échelle quex.visibility: probabilité que le repère soit visible dans l'image.
La sortie contient les coordonnées mondiales (WorldLandmarks) suivantes :
x,yetz: coordonnées tridimensionnelles réelles en mètres, avec le milieu des hanches comme origine.visibility: probabilité que le repère soit visible dans l'image.
L'image suivante présente une visualisation du résultat de la tâche:
Le masque de segmentation facultatif représente la probabilité que chaque pixel appartienne à une personne détectée. L'image suivante est un masque de segmentation de la sortie de la tâche:
L'exemple de code du repère de position montre comment afficher les résultats renvoyés par la tâche. Pour en savoir plus, consultez l'exemple de code.